[더밸류뉴스=박수연 선임기자]

AI 산업의 무게중심이 '학습'에서 '추론'으로 이동하면서 한국 AI 반도체가 엔비디아 중심 시장에 도전장을 내밀고 있다.

지난 4일 과학기술정보통신부가 서울 소공동 롯데호텔에서 개최한 '2026 K-AI 반도체 성장 포럼'에서는 국산 신경망처리장치(NPU)의 상용화 성과가 공개됐다. 리벨리온의 '아톰맥스'는 SK텔레콤 AI 서비스 '에이닷'에 적용됐고, 딥엑스의 'DX-M1·M2'는 현대자동차 로보틱스랩 양산 체계에 들어갔다. 퓨리오사AI의 '레니게이드'는 삼성SDS 구독형 서버 탑재를 앞두고 있다.

AI 산업의 무게중심이 '학습'에서 '추론'으로 이동하면서 한국 AI 반도체가 엔비디아 중심 시장에 도전장을 내밀고 있다. [이미지=더밸류뉴스 | AI 생성]  

여기에 정부는 5년간 50조원 규모의 'K-엔비디아 육성 프로젝트'를 추진하고, 퓨리오사AI에 대한 대규모 정책금융 지원도 결정했다. 해외 시장에서는 국산 AI 반도체 적용 서비스가 3000만달러 규모 이상의 수출 계약 성과를 냈다.

포럼 다음날인 지난 5일 젠슨 황 엔비디아 최고경영자(CEO)가 7개월 만에 한국을 찾았다. 엔비디아가 GPU 공급사를 넘어 AI 인프라 플랫폼 기업으로 영향력을 넓히는 상황에서, K-AI칩의 진짜 시험대는 '학습'이 아닌 '추론' 시장에서 얼마나 빠르게 실사용 레퍼런스와 고객을 확보하느냐에 있다.

◆K-AI 반도체 글로벌 확장...추론에서 시작된 자립 신호탄

이날 포럼의 핵심은 '국산 AI 반도체가 실제 서비스에서 돌아가고 있느냐'였다. 발표 사례들은 연구개발 단계를 넘어 공공 서비스, 통화요약, 로봇, 해외 플랫폼 등 실사용 영역으로 확장되고 있었다. 박윤규 정보통신산업진흥원장은 "AI 반도체는 미래 산업 주도권과 기술 안보를 뒷받침하는 핵심 기반 산업"이라며 "이를 기반으로 실제 활용되는 산업 생태계를 만드는 것이 중요하다"고 강조했다.

AI추론 반도체 VS 전통 메모리·CPU 반도체 시장 규모. [자료= 가트너 외]

포럼에서 공개된 첫 번째 사례는 하이퍼엑셀의 추론 특화 칩 '베르다'와 사이오닉AI의 공공민원 분석 플랫폼이다. 순수 국산 반도체 위에서 국산 거대언어모델(LLM)이 구동되는 소버린 AI 사례다. SK텔레콤은 자체 LLM '에이닷엑스(A.X)'와 리벨리온의 NPU '아톰맥스'를 기반으로 한 '에이닷 전화 통화요약' 서비스가 일평균 최대 5000만 건의 API 호출을 처리하고 있다고 소개했다.

피지컬 AI 분야에서는 딥엑스가 주목받았다. 딥엑스는 자사 NPU 'DX-M1·M2'를 현대차 로보틱스랩에 적용해 양산 단계까지 협력을 이어가고 있다. 2023년 시작된 협력은 올해 CES 2026에서 양산 준비 완료 발표로 이어졌다. 김녹원 딥엑스 대표는 "DX-M1 양산 7개월 만에 8개국 30여 곳에서 구매 주문을 받았다"고 밝혔다.

해외 진출도 시작됐다. 영국 웨스트미들랜즈주의 교통약자 이동지원 플랫폼에 디노티시아의 벡터데이터전용(VPDU) 칩이 적용되는 등 해외 상용 프로젝트 적용 사례도 나오고 있다. 과기정통부는 국산 AI 반도체 기반 서비스가 해외 시장에서 3000만달러 규모 이상의 계약 성과를 냈다고 밝혔다. 규모 자체는 아직 초기 단계지만, 국내 실증을 넘어 해외 상용 레퍼런스를 확보했다는 점에서 의미가 있다.

기술력 검증도 이어졌다. 과기정통부와 한국정보통신기술협회(TTA)가 퓨리오사AI '레니게이드'와 리벨리온 '리벨100'을 시험한 결과, 응답 지연·처리량·안정성 등 주요 항목에서 기준을 충족했다. 국산 NPU가 실제 기업용 추론 서비스에 투입될 수 있는 수준까지 성능과 안정성을 끌어올렸다는 평가가 나온다.

◆학습 아닌 '추론'에 새 판...4750억달러 시장 열린다

AI 반도체 시장의 무게중심이 학습에서 추론으로 이동하고 있다. 시장조사기관 가트너에 따르면 세계 AI 반도체 시장 내 추론 영역 규모는 2024년 390억달러에서 2030년 4750억달러 이상으로 6년 새 12배 이상 성장할 전망이다. 시장조사업체 옴디아도 AI 가속기 시장 전체가 2023년 793억달러에서 2027년 2029억달러 규모로 확대될 것으로 내다봤다. 박성현 리벨리온 대표는 지난달 서울포럼 2026에서 "추론형 반도체만으로도 D램·CPU·낸드플래시 시장을 모두 합친 규모를 넘어설 수 있다"고 분석했다.

글로벌 AI 추론 반도체 시장 추이. [자료=가트너]

학습과 추론은 요구되는 성능과 경제성이 다르다. 학습은 거대 데이터를 한꺼번에 처리하는 슈퍼컴퓨터 작업에 가깝다면, 추론은 사용자의 질문에 실시간으로 응답하는 서비스 운영에 가깝다. 박 대표는 "학습이 올림픽 출전을 앞두고 기술을 익히는 몸만들기 과정이라면, 추론은 이미 완성된 모델을 매일 굴리는 일상 서비스"라고 비유했다. 추론 시장에서는 응답 지연, 전력 효율, 메모리 대역폭이 경쟁력을 좌우한다.

추론 시장이 주목받는 가장 큰 이유는 전력이다. AI 모델 규모가 커질수록 데이터센터 운영비에서 전력 비용이 차지하는 비중도 급격히 늘고 있다. 글로벌 데이터센터 전력 수요는 2024년 11GW에서 2030년 327GW 수준으로 증가할 것으로 전망된다. 박 대표는 "토큰 하나를 생성할 때 전력을 얼마나 사용하느냐가 기업 수익성을 결정하는 핵심 지표가 되고 있다"고 말했다. 백준호 퓨리오사AI 대표도 지난 4월 "2030년까지 새로 구축될 AI 데이터센터의 상당 부분이 추론 수요를 처리하는 데 사용될 것"이라고 전망했다.

한국 NPU 기업들이 기회를 보는 이유도 여기에 있다. 거대 AI 모델 학습에서는 엔비디아 GPU가 사실상 표준으로 자리 잡았지만, 추론 시장은 아직 승자가 정해지지 않았다. 전력 효율과 운영 비용 절감이 중요한 만큼 특정 영역에서는 NPU가 경쟁력을 확보할 수 있다는 평가가 나온다. 실제 국내 기업들은 데이터센터 추론, 피지컬 AI, 엣지 AI 등 각기 다른 분야에서 상용화를 시도하고 있다.

정부도 이 시장을 전략 산업으로 보고 있다. 지난 3월 발표된 'K-엔비디아 육성 프로젝트'는 국민성장펀드를 통해 AI·반도체 분야에 향후 5년간 50조원을 공급하는 내용을 담고 있다. 학습 시장에서는 엔비디아가 압도적 우위를 점하고 있지만, 추론 시장은 이제 막 경쟁이 시작된 영역이다. 정부가 대규모 자금을 투입하는 이유도 한국 기업들이 이 시장에서 새로운 성장 기회를 확보할 수 있다고 판단했기 때문이다.

◆유니콘 등극 K-AI칩 3강...과제는 '쿠다(CUDA)의 벽'

국내 NPU·추론칩 스타트업 시장은 리벨리온·퓨리오사AI·딥엑스 중심으로 압축되고 있다. 다만 세 회사의 출발점은 다르다. 리벨리온은 2024년 사피온코리아와의 합병 이후 SK텔레콤·SK하이닉스·SK스퀘어 등 SK그룹을 전략적 주주로 둔 대기업 연계형 팹리스에 가깝다. 반면 퓨리오사AI와 딥엑스는 창업자 중심의 독립 스타트업으로 외부 투자와 정책자금을 바탕으로 성장해왔다. 이 차이는 자본 조달과 고객 확보, 글로벌 사업 확장에서 서로 다른 강점으로 작용하고 있다.

K-AI칩 3강, 엔비디아 대비 5~10배 효율 비교우위. [자료= 각사 발표자료]

리벨리온은 SK텔레콤의 AI 서비스 '에이닷'을 대표 레퍼런스로 확보하며 데이터센터 추론 시장 공략에 속도를 내고 있다. 누적 투자금은 1조3000억원 규모에 이르고 KT·아람코·삼성전자 등도 주요 투자자로 참여하고 있다. 퓨리오사AI는 지난해 메타의 약 8억달러(1조2000억원) 규모 인수 제안을 거절한 뒤 독자 노선을 선택했고, 최근 최대 8000억원 규모의 정책금융 지원을 확보하며 차세대 AI 칩 개발에 속도를 내고 있다.

딥엑스는 피지컬 AI와 온디바이스 AI 분야에서 가장 강력한 상용 레퍼런스를 확보한 기업으로 평가받는다. 현대자동차 로보틱스랩과의 협력을 통해 양산 단계에 진입했고, 바이두·포스코DX·LG유플러스·에이온(AAEON) 등 국내외 고객사를 확보했다. 평균 2~3와트 수준의 초저전력 설계를 강점으로 산업용 로봇과 엣지 AI 시장을 공략하고 있다.

국산 NPU 생태계는 클라우드·시스템 통합(SI) 영역으로도 빠르게 확장되고 있다. KT클라우드는 지난 4일 국내 최초로 국산 반도체 기반 공공 전용 NPU 서버 상품 '구독형 NPU 서비스(NPUaaS)'를 출시했다. 삼성SDS는 7월부터 퓨리오사AI 레니게이드와 LG AI연구원의 '엑사원'을 결합한 구독형 서버를 가동하고, LG유플러스는 퓨리오사AI와 소버린 AI 어플라이언스 공동 개발에 나섰다. 국산 AI 반도체가 칩을 넘어 실제 서비스 생태계로 확장되기 시작했다는 의미다.

그러나 K-AI칩이 넘어야 할 가장 높은 벽은 칩 자체보다 소프트웨어 생태계다. 엔비디아가 AI 데이터센터 시장을 사실상 지배하는 이유는 칩 성능보다 'CUDA(쿠다)'로 대표되는 개발 환경에 있다. 전 세계 AI 개발자가 CUDA에 익숙한 만큼 다른 칩으로 옮기려면 복잡한 재최적화 작업이 필요하다. K-AI칩의 진짜 시험대 역시 두 가지다. 추론 시장이 2030년 4750억달러 규모로 성장하는 동안 의미 있는 글로벌 매출을 확보할 수 있느냐, 그리고 CUDA에 맞설 소프트웨어 스택을 구축할 수 있느냐다.

앞으로 한국 AI 반도체가 상대해야 할 경쟁자는 엔비디아만이 아니다. AMD, AWS, 구글, 브로드컴까지 추론 시장을 겨냥하고 있다. 그러나 가장 직접적인 경쟁자는 여전히 엔비디아다. 젠슨 황은 지난 4일 GTC 타이베이 2026에서 엔비디아의 인프라 사업자 전환을 선언했고, 이튿날 한국을 찾아 주요 대기업 총수들과 회동했다. 이는 K-AI칩이 노리는 추론·피지컬 AI 시장에서도 엔비디아가 적극적으로 영향력을 확대할 것임을 보여준다. 결국 한국 AI 반도체의 경쟁력은 소버린 AI 수요를 기반으로 한 내수 시장 구축과 대기업과의 수직 협력을 통한 저전력·저비용 추론 시장 선점에 달려 있다. 한국 AI 반도체에 필요한 것은 기술보다 실행이고, 가능성보다 시장이다. K-AI칩을 이끌어가는 기업들이 그 기회를 현실로 바꿔내길 기대한다.

ynsooyn@thevaluenews.co.kr

[저작권 ⓒ 더밸류뉴스. 무단 전재 및 재배포 금지]