이제는 ‘학습’보다 ‘추론’…AI 반도체 판도가 바뀌고 있습니다

최근 AI 시장이 커다란 전환점을 맞이했습니다.

예전에는 AI를 똑똑하게 가르치는 '학습' 단계가 가장 중요했다면, 이제는 학습된 AI를 실제 서비스에 적용해 빠르게 답을 내놓는 '추론' 단계가 AI 경쟁의 핵심으로 떠올랐습니다.

학습에는 엄청난 고성능과 많은 전력이 필요해 외산 GPU가 주도권을 쥐고 있었지만, 추론은 이야기가 다릅니다.

추론 단계에서는 전력 소모를 최소화하면서 가성비는 극대화할 수 있는 전용 반도체, 즉 신경망처리장치(NPU)가 훨씬 유리하기 때문입니다.

이러한 흐름 속에서 정부가 AMD와 손잡고 국내 NPU 기업들의 해외 판로 개척을 돕기로 했습니다.

단순히 개별 칩 성능에만 매달리는 게 아니라, 다양한 반도체를 레고 블록처럼 유연하게 조립해 사용하는 '개방형 AI 컴퓨팅' 인프라를 구축하겠다는 구상입니다.

이는 우리가 특정 기업의 GPU 독점 구조에서 벗어나, 국내 반도체와 소프트웨어 기업들이 글로벌 공급망에 비집고 들어갈 수 있는 아주 중요한 지렛대가 될 것으로 보입니다.

왜 지금 '추론'이 중요할까요? AI 서비스가 일상이 되면서 기업들은 막대한 서버 운영 비용과 전력 문제에 직면했습니다. 무작정 고가의 GPU만 사다 쓰는 방식은 지속 가능하지 않기 때문입니다.

그래서 이제 시장은 '누가 더 똑똑한가'를 넘어 '누가 더 효율적으로 서비스를 운영하는가'를 따지는 방향으로 바뀌고 있습니다.

제가 보기에는 이번 정부의 행보가 국내 기업들에게 실질적인 시험대가 될 것으로 생각합니다. 그동안 국산 NPU는 기술력을 갖추고도 대규모 데이터센터 레퍼런스를 확보하는 데 어려움을 겪어왔습니다.

그런데 AMD라는 글로벌 기업과의 기술 협업을 통해 실증 사례를 만들어낸다면, 국산 반도체가 글로벌 표준으로 나아갈 수 있는 큰 발판이 마련되는 셈입니다.

단순히 하드웨어뿐만 아니라 CXL이나 DPU 같은 첨단 기술들이 결합된 '풀스택 역량'을 확보해야 한다는 업계의 목소리도 매우 의미심장합니다.

결국 소프트웨어와 플랫폼까지 아우르는 생태계를 갖춘 기업만이 이 시장에서 살아남을 수 있기 때문입니다.

앞으로 우리가 주목해야 할 변수는 '상용화 속도'입니다.

기술적으로는 NPU가 추론에 최적화되어 있다는 점이 명확하지만, 실제 데이터센터 현장에서 얼마나 안정적으로 구동되는지, 그리고 글로벌 클라우드 환경에서 얼마나 매끄럽게 돌아가는지가 관건입니다.

투자자나 기술 업계에 계신 분들이라면, 정부가 발표한 실증 지원 사업이 실제 기업들의 매출과 수출로 어떻게 이어지는지 지켜보셔야 합니다.

퓨리오사AI나 망고부스트 같은 국내 기업들이 AMD와 어떤 구체적인 프로젝트를 성사시키는지 확인하는 것이 좋습니다. 또한, 외산 GPU 일변도였던 국내 AI 인프라가 얼마나 다양해질지도 중요한 기준이 될 것입니다.

제 생각에는 이제는 단일 칩의 스펙보다는 그 칩을 둘러싼 생태계의 확장성을 보여주는 기업이 시장의 신뢰를 더 빨리 얻을 것으로 봅니다.