국가대표 AI 2차 평가, 벤치마크 1위가 떨어진 이유

벤치마크 점수가 가장 높았던 모델이 국가대표 AI 선발에서 떨어졌습니다.

과학기술정보통신부는 8월 18일 독자 AI 파운데이션 모델 프로젝트의 2차 단계평가 결과를 발표하면서 업스테이지·SK텔레콤·LG AI연구원의 진출과 모티프테크놀로지스의 탈락을 알렸습니다.

글로벌 지표 1위가 왜 남지 못했는지, 그리고 이 결과가 남은 경쟁을 어디로 밀어붙일지를 공개된 배점 구조로 따져봅니다.

독파모 2차 평가에서 탈락한 모티프테크놀로지스는 글로벌 지표 AAII 원점수 1위였지만, 사용성·활용성에 75점이 걸린 배점 구조에서 뒤로 밀렸습니다. 네 팀의 영역별 점수 격차는 2.4~5점에 그쳤고, 최종 2개 팀은 내년 초에 가려집니다.

1등이 떨어진 결과, 왜 불편하게 느껴질까

발표 직후 가장 많이 나온 반응은 "그러면 무엇을 보고 뽑았느냐"는 물음이었습니다.

과기정통부는 팀별 총점도, 영역별 1위도 공개하지 않았습니다.

1위를 밝혔을 때의 실익과 다른 기업에 미칠 영향을 함께 고려했다는 것이 브리핑에서 나온 설명입니다.

세부 점수를 공개하라는 요구는 곧바로 이어졌고, 한상기 테크프론티어 대표는 평가 지표와 기업별 점수를 공개해야 하지 않느냐고 공개적으로 물었습니다.

점수표를 펼치면 보이는 것

공개된 수치만 놓고 보면 네 팀은 거의 붙어 있었습니다.

벤치마크는 AAII 25점과 NIA 15점을 합쳐 40점, 전문가 평가가 35점, 사용자 평가가 25점입니다.

평가 영역	배점	네 팀 평균	최고와 최저 차이
벤치마크	40점	22.5점	4점
전문가 평가	35점	28.8점	2.4점
사용자 평가	25점	17.6점	5점

사용자 평가 25점 안에는 일반 국민 몫 10점이 들어 있습니다. 1400명이 응모해 185명이 참여했고, 이 점수가 당락을 갈랐다고 보기는 어렵습니다.

벤치마크에서 30점을 넘긴 팀은 한 곳도 없었습니다.

영역별 1위가 모두 달랐고, 세 영역에서 내리 1등을 한 팀은 없었다는 것이 과기정통부 설명입니다.

팀별로 보면 결과가 더 선명해집니다. AAII 원점수는 8월 13일 공개된 값입니다.

팀	모델	AAII 원점수	2차 결과
LG AI연구원	K-엑사원 2.0	31점	진출
SK텔레콤	A.X-K2	35점	진출
업스테이지	솔라 오픈2	37점	진출
모티프테크놀로지스	모티프3	47점	탈락

벤치마크 1위가 탈락하고, 최하위가 진출했습니다.

이 16점 차이가 25점 배점으로 환산되며 4점 안팎으로 줄어든 구조입니다.

"기술력은 뛰어났지만, 75점 배점의 사용성·활용성 부분에 있어서 다른 기업들에 비해서 낮은 평가를 받았다." — 류제명 과학기술정보통신부 제2차관, 2차 평가 결과 브리핑

728x90

과장 두 갈래를 갈라 읽기

이 결과를 두고 방향이 정반대인 과장이 동시에 나옵니다.

하나는 벤치마크가 이제 쓸모없어졌다는 결론인데, 정부는 이른바 벤치맥싱 논란을 평가에 반영하지 않았다고 밝혔습니다.

평가 기관인 아티피셜 애널리시스가 체계적인 암기나 과적합을 입증할 단서를 찾지 못했다는 공식 답변을 보내왔기 때문입니다.

다른 하나는 한국 AI가 세계 3위에 올랐다는 요약으로, 근거는 AAII 리더보드에 등록된 모델 개발 기업 58곳 가운데 미국과 중국을 빼면 한국이 7곳으로 가장 많다는 집계입니다.

격차도 좁아졌습니다. 1월 국내 최고점은 32점으로 당시 1위 모델과 19점 차였고, 8월에는 47점으로 그 차이가 16점이 됐습니다.

반응형

다음 경쟁은 지능이 아니라 운영에서 갈립니다

2차 평가가 실제로 바꾼 것은 순위가 아니라 배점입니다.

사용성과 활용성에 75점이 걸린 구조에서는 모델을 잘 만드는 능력과 모델을 굴리는 능력이 따로 채점됩니다.

통과한 세 팀에는 고성능 GPU B200이 1000장씩 지원되고, 6개월 임차를 가정하면 팀당 400억 원·세 팀 합계 1200억 원 규모라고 과기정통부는 설명했습니다.

개인적으로는 이번 결과가 "누가 더 똑똑한 모델을 만드나"에서 "누가 이걸 현장에서 굴려내나"로 질문이 옮겨간 신호에 가깝다고 봅니다.

배점과 자원 배분이 같은 방향을 가리킨다는 점이 그 근거입니다.

다만 사용성 평가는 벤치마크보다 기준을 세우기 어렵고, 이용자 기반이 이미 넓은 쪽에 유리하게 작동할 소지도 남습니다.

---

지금 지켜볼 것과 미뤄도 되는 것

3차 단계평가는 하반기에 진행되고, 최종 2개 팀은 내년 초에 가려집니다.

평가 항목과 배점은 남은 세 기업과 협의해 확정한 뒤 발표할 계획이라고만 알려졌습니다.

더 큰 변수는 사업 자체의 재편으로, 류제명 차관은 지금 같은 경쟁 방식을 벗어나 프런티어급 기업들과 모델 경쟁이 가능한 방식으로 재편하자는 공감대가 있다고 말했습니다.

독파모 4단계를 이어갈지를 포함한 방향은 하반기 중 발표될 예정이며, 예산이 확정되지 않아 규모와 시기는 아직 알려지지 않았습니다.

국산 모델 도입을 검토 중이라면 3차 배점 발표를 기다리기보다 세 팀의 공개 모델을 자기 업무 문서로 직접 돌려보고, 하반기에 나올 프런티어급 사업 방향 발표만 따로 표시해 두는 편이 낫습니다.