코딩 시험 1등 Kimi K3, 실전에선 왜 헛발질했을까 🤖

무슨 일이 있었나

최근 중국 SNS에 한 테스트 영상이 화제였습니다. 벤치마크도, 순위표도, 수학 문제도 없이 그냥 AI에게 윈도우 명령창에서 아스키(ASCII) 버전 ‘갤러그’ 게임을 배치 스크립트로 짜달라고 시킨 겁니다. 조건은 단순했습니다. 진짜로 실행되고, 진짜로 플레이할 수 있고, 키보드로 캐릭터를 조작할 수 있어야 한다는 것. 그런데 정작 결과는 반전이었습니다. 글로벌 개발자 벤치마크인 WebDev Arena에서 1679점으로 세계 1위에 오른 중국 국산 모델 Kimi K3가, 정작 이 간단한 실전 테스트에서는 무료 버전이 키보드 조작조차 안 되는 게임 화면을 내놨고, 유료 구독판(699위안)으로 다섯 번을 다시 시도해도 화면조차 제대로 안 떴습니다. 같은 문제를 GPT-5.6 Codex는 단 한 번 만에 바로 실행되는 프로그램으로 완성했습니다.

이게 왜 중요한가

Kimi K3의 세계 1위 등극은 그 자체로 의미가 큽니다. 중국 국산 파운데이션 모델이 처음으로 글로벌 벤치마크 정상에 섰다는 뜻이니까요. 문제는 지금 업계 전체가 시험 잘 보기에만 매몰돼 있다는 점입니다. 벤치마크 고득점은 곧 높은 기업가치와 투자 유치로 이어지다 보니, 점수가 자본을 부르고 자본이 다시 점수 경쟁을 부추기는 순환 구조가 만들어졌습니다. 10년 전 인터넷 업계의 보조금 출혈 경쟁과 닮은꼴입니다. 이런 구도에서는 모델이 실전 문제를 진짜로 이해해서 푸는 게 아니라, 이미 익숙한 유형의 문제를 암기하듯 잘 처리하는 능력만 늘어날 위험이 있습니다.

다행히 일부 선두 기업은 이미 방향을 틀고 있습니다. 텐센트 훈위안 Hy3는 공개 벤치마크 순위 경쟁에 크게 매달리지 않고 실제 업무 시나리오 적용에 무게를 두고 있고, OpenAI 역시 순위표 언급을 줄이고 Operator, Deep Research, Codex처럼 실제 작업 완결형 기능 개발에 집중하고 있습니다. 결국 모델의 능력은 시험 잘 보는 능력과 일 잘하는 능력으로 나뉘는데, 진짜 시장에서 필요한 건 후자라는 이야기입니다.

한국 독자·비즈니스에 주는 시사점

한국의 AI 서비스 기업, 특히 네이버·카카오나 국내 스타트업들이 중국·미국 모델을 벤치마크 점수만 보고 도입 여부를 결정한다면 이번 사례를 곱씹어볼 필요가 있습니다. 벤치마크 1위 모델을 그대로 프로덕션에 넣었다가 실제 사용자 워크플로우에서 구멍이 뚫리는 리스크가 실재한다는 걸 Kimi K3 사례가 보여줬기 때문입니다. 기업 도입 담당자라면 벤치마크 점수보다 실제 업무 시나리오 파일럿 테스트를 반드시 거치는 절차를 표준화할 필요가 있고, 국내 AI 모델 개발사 입장에서도 벤치마크 경쟁에 매몰되기보다 실전 업무 완결형 능력을 어떻게 입증할지 고민할 시점입니다.

전망

중국 AI 업계는 이제 국산 모델이 세계 정상급 점수를 낼 수 있다는 걸 증명한 단계를 지나, 점수가 아니라 사용자가 실제로 인정하느냐로 경쟁 축이 옮겨가는 국면에 들어서고 있습니다. 이 전환이 얼마나 빨리 이뤄지느냐에 따라 중국 AI 기업들의 실제 매출·리텐션 경쟁력이 갈릴 것으로 보이고, 이는 한국을 포함한 전 세계 AI 서비스 기업들에도 같은 숙제를 던지고 있습니다.