점수는 당신이 생각하는 것이 아닙니다

2025년 7월, Google DeepMind의 Gemini Deep Think 모델은 — 비유적으로 — 국제 수학 올림피아드에 도전하기 위해 앉았습니다. 4.5시간의 시간 제한 내에 6문제 모두를 자연어로 답하고 35점을 획득했습니다: 금메달에 상당합니다. 1년 전, 같은 벤치마크는 은메달을 산출했습니다. 인간 금메달리스트는 전형적으로 35점에서 42점 사이를 획득합니다.

이 헤드라인은 판결로 읽히는 경향이 있습니다: AI가 우리를 이겼습니다. 사건 종결.

하지만 올해 4월에 발표된 스탠퍼드 2026 AI 인덱스는 더 복잡한 이야기를 합니다. IMO를 지배하는 그 동일한 시스템들이 아날로그 시계를 올바르게 읽는 것은 50.1%의 시간에 불과합니다. 보고서는 이것을 "들쭉날쭉한 프론티어"라고 부릅니다 — 그리고 이것이 실제로 어디에 있는지에 대한 가장 정직한 요약입니다.

다음은 검증된 벤치마크 데이터를 사용하여 AI가 현재 인간을 앞서는 곳, 인간이 아직 우위를 유지하는 곳, 그리고 이것이 AIHumanBench와 같은 플랫폼에서 훈련하는 인지 능력에 무엇을 의미하는지에 대한 분야별 분석입니다.

AI가 인간 성능을 명확히 능가한 분야

수학

IMO 금메달은 단 하나의 데이터 포인트입니다. AIME 2025 — 미국 올림픽 팀 후보를 선발하는 미국 고등학교 수학 경시대회 — 에서 GPT-5.2(2025년 12월 11일 출시)는 완벽한 100% 점수를 달성했습니다. 인간 경쟁자 중앙값은 15문제 중 약 4~6문제를 답합니다. AI는 더 이상 중앙값 수준에서 경쟁하지 않습니다; 구조화된 수학 작업에서 인간 전문가 성능의 상한선 근처에서 작동합니다.

GPT-5.2는 또한 FrontierMath에서 40.3%를 획득했습니다 — 심지어 전문 수학자들도 극도로 어렵다고 생각하는 미발표 연구 수준의 문제들로 구성된 벤치마크입니다. 그 숫자는 단독으로는 겸손해 보이지만, 불과 2년 전의 거의 0에서의 도약을 나타냅니다.

코딩 및 소프트웨어 엔지니어링

SWE-bench Verified — 모델에게 실제 코드베이스에서 실제 열린 GitHub 이슈를 해결하도록 요청하는 — 에서 스탠퍼드 2026 AI 인덱스에 따르면 2025년 한 해 동안만 성능이 약 60%에서 100% 근처로 상승했습니다. GPT-4o 에이전트는 시간 제한 조건에서 실제 GitHub 이슈의 67%를 해결했습니다. 같은 제약 조건에서 일하는 인간 개발자는 22%였습니다.

주의사항이 중요합니다: 2시간 예산의 짧고 잘 정의된 작업에서 최고 AI는 인간 전문가보다 약 4배 높은 점수를 얻습니다. 하지만 32시간 범위에서 — 지속적인 판단, 적응, 창의성을 필요로 하는 작업 — 인간은 2대1의 차이로 AI를 능가합니다. AI의 코딩 우위는 제한된 문제에서의 속도와 정밀도에 집중되어 있으며, 개방형 엔지니어링 판단이 아닙니다.

작업 기억

2024년 연구(arXiv: 2410.07391)는 표준 작업 기억 작업에서 프론티어 언어 모델을 인간 규범 데이터와 비교했습니다. 결과: 대부분의 상위 모델은 인간 집단의 99.5 백분위수 이상에서 성능을 발휘합니다. AIHumanBench의 작업 기억 테스트에서 발견되는 숫자 범위 및 n-back 작업 유형에서 AI는 실질적으로 인간 성능 분포의 상한을 포화시켰습니다.

이것은 AI가 인간처럼 "생각"한다는 것을 의미하지 않습니다 — 작업 기억 테스트가 측정하도록 설계된 특정 계산 작업들은 AI가 쉽게 처리하는 것들이라는 것을 의미합니다. 아키텍처는 다릅니다; 점수는 그렇지 않습니다.

읽기 이해 및 언어 이해

AI는 이미 2019~2021년에 GLUE 및 SuperGLUE(표준화된 영어 언어 벤치마크)에서 평균 인간 성능을 능가했습니다. 2026년에는 평균 인간 수준에서의 격차가 너무 커서 의미 있는 비교가 아닙니다. 프론티어는 더 어려운 목표로 이동했습니다: 박사 수준의 과학적 추론, 새로운 맥락 내 학습, 패턴 매칭이 아닌 진정한 이해가 필요한 작업.

인간이 아직 앞서는 분야

멀티모달 실세계 추론

MMMU — 실제 이미지, 차트, 다이어그램을 사용하여 대학 수준의 학문 분야에서 멀티모달 이해를 테스트하는 벤치마크 — 에서 OpenAI의 o1은 약 83%의 인간 기준선에 대해 78.2%를 기록했습니다. 이것은 AI가 아직 따라잡지 못한 하나의 주요 표준화된 분야이며, 더 광범위한 패턴을 가리킵니다: AI는 작업이 물리적 상식과 추상적 추론을 통합해야 할 때 어려움을 겪습니다.

스탠퍼드 보고서의 아날로그 시계 예는 설명적입니다. 아날로그 시계 읽기에서 50.1%의 정확도 — 여덟 살짜리 아이도 자동으로 처리하는 작업 — 는 AI의 인상적인 벤치마크 점수가 구현된 실세계 인식의 놀라운 격차와 공존할 수 있다는 것을 보여줍니다.

장기 복잡 작업

위에서 이미 인용된 RE-Bench 데이터는 이 이야기를 명확하게 합니다: 32시간 작업 범위에서 인간 전문가는 AI를 2대1로 능가합니다. 작업이 더 길고 개방적일수록 지속적인 판단, 문맥적 적응, 창의적인 문제 프레이밍에서 인간의 이점이 더 많이 작용합니다.

이 발견은 AI 도구가 가장 생산적으로 사용되는 방법에 직접적인 영향을 미칩니다. 그것들은 제한된 하위 작업의 가속기로서 뛰어나지만, 장기적이고 불확실한 프로젝트에 걸쳐 인간 판단의 자율적인 대체물로서는 그렇지 않습니다.

진정한 창의성과 새로운 추론

ARC-AGI — 암기를 저항하고 진정한 새로운 추론을 테스트하도록 특별히 설계된 벤치마크 — 는 AI에게 지속적인 도전이었습니다. GPT-5.2는 ARC-AGI-1에서 90%를 초과한 첫 번째 모델 중 하나로 보고되었습니다. 2026년 4월 23일에 출시된 GPT-5.5는 더 어려운 ARC-AGI-2에서 85%를 달성했습니다. 이것들은 주목할 만한 숫자들이지만, 벤치마크는 인간 일반 지능을 정의하는 유동적이고 전이 가능한 추론의 종류를 근사하도록 설계되었습니다. 프론티어 모델들이 지금에서야 그것에 접근하고 있다는 사실 — 제약 없는 실세계 문제 해결이 아니라 신중하게 통제된 테스트에서 — 은 여전히 중요합니다.

2026년 1월에 10만 명 이상의 참가자를 포함한 연구는 AI 시스템이 발산적 연상 작업에서 평균적인 인간을 능가하는 반면, 인간 창의적 사상가의 상위 10%는 개방형 창의적 작업 — 시, 서사, 도메인 간 아이디어 생성 — 에서 여전히 더 풍부하고 놀라운 결과물을 생산한다는 것을 발견했습니다.

사회적 및 감정적 지능

어떤 프론티어 모델도 비구조화된 실세계 맥락에서 신뢰할 수 있는 마음 이론, 대인 역학의 미묘한 읽기, 또는 진정한 감정적 반응성을 보여주지 못했습니다. AI는 표준화된 감정 인식 벤치마크에서 잘 수행되지만, 새로운 상황에서 감정적 단서를 사회적 맥락과 통합해야 할 때는 잘 수행되지 않습니다 — 정확히 AIHumanBench의 감정 인식 테스트가 탐구하는 작업 유형입니다.

당신이 받는 테스트에 대한 의미

위의 벤치마크는 넓은 풍경을 이해하는 데 유용하지만, AIHumanBench에서 연습하는 인지 능력과 동일하지 않습니다. 각 테스트 카테고리에 대해 데이터가 무엇을 말하고 무엇을 말하지 않는지에 대해 정확하게 살펴봅시다.

반응 시간: AI 추론은 아키텍처적으로 인간 신경 처리보다 빠릅니다 — 밀리초 대 200~250ms의 평균 인간 반응 시간. 하지만 AI의 "반응 시간"은 하드웨어와 네트워크 지연에 전적으로 의존합니다. 제어된 소프트웨어 테스트에서 AI가 이깁니다. 당신의 반응 시간 점수는 어떤 벤치마크도 복제할 수 없는 신경계에 관한 실제적인 것을 반영합니다.

작업 기억: AI는 표준 작업에서 인간의 99.5 백분위수 이상을 기록합니다. 하지만 인간적 의미에서의 작업 기억은 주의, 감정, 장기 기억과 동적으로 상호작용하는 제한된 용량의 시스템입니다. AIHumanBench에서의 작업 기억 점수는 학습, 압박 하의 추론, 일상적인 성능에 중요한 진정한 인지 능력을 반영합니다 — AI가 할 수 있거나 할 수 없는 것과 무관하게.

패턴 인식 및 추상적 추론: 이것들은 AI가 강하고 더 강해지는 분야입니다. 하지만 이 카테고리의 AIHumanBench 테스트는 인간 집단 규범에 대해 교정되어 있으며, 이는 당신의 점수가 다른 인간들에 비해 어디에 있는지를 알려준다는 것을 의미합니다 — AI 성능에 관계없이 완전히 의미 있는 비교입니다.

창의성 및 언어 유창성: 인간의 이점. 연구는 개방형 작업에서 최상위 인간의 창의적 성능이 AI보다 앞서 있다는 것을 명확히 합니다. 이것들은 개발할 가치가 있는 기술입니다.

솔직한 요약

AI는 금메달 수학, 제한된 작업에서의 거의 완벽한 코딩, 그리고 인간 규모를 포화시키는 작업 기억 성능을 달성했습니다. 5년 전에 거의 누구도 예측하지 못한 것보다 더 빠르게 그렇게 했습니다.

또한 시간의 절반에만 아날로그 시계를 올바르게 읽고 몇 시간 이상 연장되는 작업에서 인간 전문가에게 집니다.

스탠퍼드 2026 AI 인덱스의 "들쭉날쭉한 프론티어" 프레이밍이 맞습니다. 이것은 균일한 AI 우위나 전반적으로 굳건한 인간 예외주의의 이야기가 아닙니다. 진정으로, 구체적으로 불균일한 능력의 이야기입니다 — 그리고 그 불균일함이 바로 자신의 인지 프로필을 이해하는 것이 여전히 중요한 이유입니다.

어디서 강한지, 어디에 성장의 여지가 있는지, 그리고 성능이 인구 규범과 어떻게 비교되는지 아는 것은 귀중한 정보입니다. 그것이 인지 테스트가 당신에게 주는 것입니다 — 그리고 다음 분기에 어떤 AI 벤치마크가 무엇을 말하든 상관없이 귀중할 것입니다.