← 이슈분석 목록으로
이슈분석 2026-11-03

中 AI 추론 시대, 이제 ‘칩 성능’보다 ‘토큰 1개 값’을 본다 🤖

中 AI 추론 시대, 이제 ‘칩 성능’보다 ‘토큰 1개 값’을 본다 🤖
테크·AI

무슨 일이 있었나

중국 AI 산업에서 고객들의 질문이 달라졌습니다. ‘연산 규모가 얼마나 크냐’가 아니라 ‘모델이 1초에 토큰을 몇 개 뽑아내고, 그 비용이 얼마냐’를 묻는다고 합니다. 중국 국가데이터국에 따르면 2025년 추론 데이터량이 처음으로 학습 데이터량을 넘었고, Gartner는 2026년 전 세계 추론 지출이 233억 달러로 학습 지출(190억 달러)을 추월할 것으로 내다봤습니다. 딥시크 100만 토큰 처리 비용은 연초 130위안에서 시스템 최적화만으로 3위안 이하까지 떨어졌습니다. 원문 보러가기

이게 왜 중요한가

학습 시대엔 엔비디아처럼 초대형 클러스터와 고속 네트워크를 쥔 쪽이 독주했지만, 추론 시대의 승부는 토큰 한 개당 비용과 전력 효율로 바뀌었습니다. ‘조달 결정권을 쥐는 건 성능 스펙이 아니라 지속 가능한 운영 능력’이라는 업계 관계자의 말처럼, 칩을 사는 것보다 시스템을 안정적으로 돌리는 공정 능력이 더 중요해진 셈입니다.

한국 독자·비즈니스에 주는 시사점

국내 AI 인프라·반도체 업계가 참고할 만한 지점이 여럿 보입니다.

  • 데이터센터 투자 의사결정 기준을 FLOPS 중심에서 ‘토큰당 비용·지연시간·가동 안정성’ 같은 운영 지표로 옮겨야 실제 고객 요구에 맞출 수 있습니다.
  • 엔비디아가 추론 전문 칩 기업 Groq를 약 200억 달러 규모로 기술 라이선스 인수한 것처럼, 국내 기업도 ASIC 추론 칩 분야의 기술 제휴·인재 영입에 선제적으로 움직일 필요가 있습니다.
  • C단 에이전트형 서비스는 일반 채팅보다 토큰 소모가 수십~수백 배에 달하므로, 국내 AI 서비스 기업은 수요 폭증 시나리오에 맞춘 긴급 증설 체계를 미리 갖춰야 합니다.

전망

업계 관계자는 금융·의료·제조 등 전통 산업까지 대형모델이 본격 도입되면 ‘지금 수요의 최소 100배’가 몰릴 거라 전망합니다. 추론 전성기는 아직 오지 않았고, 그 문이 열리는 순간을 준비한 기업만이 기회를 잡을 것입니다. 한국도 반도체·클라우드 투자를 추론 효율 중심으로 재편할 시간이 많지 않습니다.