교과서 90점 시대에 물리 공학 시험대가 따로 나온 이유
요즘 나오는 대형 언어 모델들은 학계 시험 문제를 풀려 보면 90점을 가볍게 넘겨요. 객관식 지식이나 파이썬 코드 몇 줄 짜는 문제는 이미 상위권 모델들에겐 싱거운 과제가 됐거든요. 그런데 소프트웨어 안에서 돌아가는 디지털 업무를 벗어나서, 실제 건물을 올리거나 발전소를 짓는 물리 세계 설계로 넘어가면 이야기가 완전히 달라지죠.
구글 AI & 인프라 팀이 채용·평가 플랫폼 머코어(Mercor)와 손잡고 공개한 ’물리 공학의 마지막 시험(Physical-Engineering’s Last Exam, PLE)’은 바로 이 빈틈을 겨냥했어요. 현업 엔지니어가 실제로 돈을 받고 해내야 하는 수준의 설계 결과물을 에이전트에게 맡긴 건데요. 기계(30개), 전기(27개), 토목(18개), 구조(10개) 4개 분야에 걸쳐 총 85개의 장기 과제로 구성되어 있더라고요. 과제를 만든 방식은 두 갈래예요. 44개는 현업 엔지니어가 프로젝트 폴더와 채점 기준까지 직접 만든 ‘전문가 출제’ 과제이고, 나머지 41개는 엔지니어가 문제를 쓰면 에이전트 파이프라인이 작업 환경과 채점기를 꾸린 뒤 엔지니어가 검증하며 난도를 끌어올린 ‘공동 출제’ 과제거든요.
기존 벤치마크와 가장 다른 점은 문제의 형태예요. 프롬프트 창에 단문 질문 하나 던져주고 답을 요구하는 식이 아니거든요. 컨테이너 안에 실제 프로젝트 폴더가 통째로 주어지는데, 과제 하나당 평균 61개, 전체 벤치마크를 통틀어 5,170개의 파일이 들어 있어요. 시방서 PDF, 자재 단가 엑셀 시트, 주고받은 업무 이메일, 2D 캐드(CAD) 도면, 3D 건축 정보 모델(BIM), 수정 이력까지 현장 엔지니어가 받는 자료 그대로죠. 에이전트는 이 수많은 파일 사이를 오가며 법적 건축 규정과 물리적 한계를 계산하고, 실제 감리자가 검토해 도장을 찍을 수 있는 수준의 도면과 문서를 뽑아내야 해요.
14개 모델과 7개 하네스로 본 냉정한 성적표
연구진은 14개 최상위 모델을 7개 공개 에이전트 하네스(Antigravity, Claude Code, Codex, Hermes, OpenCode, OpenHands, Pi)에 물려 실측했어요. GPT-6 Astra는 Codex에서만, Grok 4.7은 자체 하네스인 Grok Build에서만 돌려서 모델·하네스 조합은 총 86개예요. 실행마다 6시간의 시간 예산이 주어졌고, 조합마다 모든 과제를 세 번씩 돌려 평균을 냈죠.
결과는 예상보다 훨씬 엄격했어요. 85개 전체 과제에서 평균 50%를 넘긴 조합은 앤트로픽의 최상위 모델인 Claude Opus 5.5를 Claude Code 하네스에 올린 구성(50.6%) 딱 하나뿐이었거든요. 이 1위 조합조차 과제당 평균 2,700만 개의 토큰을 쓰고 63분을 소모했어요.
다만 숫자를 볼 때 기준 하나는 구분해야 해요. 구글 블로그는 비공개 테스트 세트에서 모든 최상위 모델이 50%를 넘지 못했고 최고 점수가 48.3%였다고 썼거든요. 논문의 50.6%는 85개 전체 과제를 세 번씩 돌린 평균이고요. 이 글의 수치는 따로 밝히지 않으면 논문의 85개 전체 과제 기준이에요.
그 뒤를 바짝 쫓은 건 오픈AI의 GPT-6 Astra를 Codex 하네스에 올린 조합이었는데, 48.3%로 1위와 불과 2.3점 차이였어요. 눈여겨볼 대목은 비용 효율성이에요. Claude Opus 5.5가 과제당 평균 17.18달러를 쓴 반면, GPT-6 Astra는 약 절반 수준인 9.15달러로 비슷한 점수를 냈거든요.
비용 대비 성과가 가장 인상적인 모델은 구글의 Gemini 3.8 Flash였어요. Claude Code 하네스 기준으로 과제당 2.55달러만 쓰면서 28.2%를 기록했는데요. 최상위 구성 비용의 15%도 안 되는 돈으로 최고점의 56%에 달하는 성능을 지켜낸 셈이죠. 반면 Qwen3 Coder 480B, Kimi K2 Thinking, MiniMax M2, Llama 4 Maverick 같은 오픈 가중치 모델들은 가장 잘 맞는 하네스를 골라도 점수가 모두 7% 아래에 머물렀더라고요. 상위권 모델과의 격차가 뚜렷하게 드러난 셈이에요.
분야별로 보면 차이가 꽤 커요. 1위 구성(Claude Opus 5.5 + Claude Code) 기준으로 토목 공학이 69.9%로 가장 높았고, 구조 공학은 46.6%, 기계 공학은 40.5%에 그쳤거든요. 같은 구성에서도 공동 출제 과제(48.0%)가 전문가 출제 과제(53.1%)보다 어려웠어요.
91%를 만족해도 탈락하는 하드 세이프티 게이트의 벽
이번 논문에서 가장 뼈아픈 분석은 에이전트가 실패한 구체적인 이유예요. 전체 86개 모델·하네스 조합의 실행 중 23.2%가 0점을 맞았거든요. 그런데 1위 구성만 보면 255번 실행 중 0점은 11번뿐이었어요. 이 구성이 점수를 잃은 곳은 다른 데 있었죠.
공동 출제 과제에서 1위 구성의 산출 항목들은 개별 제약 조건을 평균 91%나 충족했어요. 대부분의 조건은 맞췄다는 이야기죠. 그런데 안전·실현 가능성에 관한 하드 제약을 모두 통과해 객관 점수를 받은 항목은 41.3%뿐이었어요.
소프트웨어 개발에서는 함수 열 개 중 아홉 개가 정상이고 하나에 사소한 버그가 있어도, 코드를 실행해 가며 고치거나 부분 점수를 받을 수 있잖아요. 하지만 교량 설계나 고압 전기 설비 같은 물리 공학에서는 91%의 완벽함이 아무런 의미를 갖지 못해요. 기둥 하나가 하중 계산을 견디지 못하거나 전선 굵기가 허용 전류를 버티지 못하면, 그 구조물은 현장에서 붕괴하거나 불타오르니까요.
PLE는 공동 출제 과제를 채점할 때 이런 안전 규정과 물리적 한계를 하드 제약으로 둬요. 산출 항목이 하드 제약을 하나라도 어기면, 나머지 조건을 아무리 잘 맞췄어도 그 항목은 객관 점수를 받지 못하죠. 부지 설계와 MEP(기계·전기·배관) 조정 과제의 채점기는 아예 전부 아니면 0점인 관문을 두고 있고요. 논문도 1위 구성이 점수를 잃은 주된 원인을 이 하드 제약에서 찾고 있어요. 조건 대부분을 맞추는 것과 치명적인 오류를 하나도 남기지 않는 건 전혀 다른 능력이라는 거예요.
하네스는 지갑을 털고 모델은 성적을 결정한다
에이전트를 쓸 때 모델만큼 신경 쓰이는 게 어떤 하네스에 올리느냐죠. 이 부분에서 PLE 결과는 꽤 분명한 답을 내놓아요.
동일한 모델을 썼을 때 하네스 종류에 따른 점수 차이는 중앙값 기준 3.0점에 불과했거든요. 하네스가 아무리 화려한 도구 호출 체인과 메모리 시스템을 갖추고 있어도, 모델 자체를 바꿨을 때 생기는 최대 50점의 점수 격차를 좁히지는 못했다는 의미예요. 물리 법칙을 이해하고 수십 개 도면 사이의 모순을 짚어내는 능력은 결국 모델 두뇌의 기본 체급에서 나온다는 뜻이죠.
하지만 비용은 이야기가 달라요. 가장 비싼 8개 구성은 모두 Antigravity, Claude Code, Codex에 올린 Claude 모델이었는데, 과제당 27~54달러를 쓰고도 점수는 33.8~49.3%에 머물렀거든요. 과제당 17.18달러로 50.6%를 낸 1위 구성보다 돈은 더 쓰고 점수는 낮았던 셈이죠. 그래서 논문도 PLE 결과는 모델과 하네스를 항상 함께 밝혀야 한다고 권하고 있어요.
구글과 머코어는 85개 과제 중 29개의 공개 과제와 채점 스크립트, 평가 컨테이너를 깃허브에 공개했어요. 나머지 56개 과제는 비공개 테스트 세트로 남겨 ple-bench.com에서 경쟁 리더보드를 운영하고요. 자기 에이전트 구성을 제출하면 비공개 세트로 평가받을 수 있고, 구글이 지원하는 13개 모델은 구글 서버에서 무료로 돌려 준다고 하네요. 상금 내용은 아직 공개되지 않았어요.