겔 사진 한 장이 있어요. 1번 레인은 마커, 3번은 원래 플라스미드, 4번부터 10번까지는 새로 키운 콜로니 시료예요. 할 일은 클로닝에 성공한 콜로니를 고르는 것. AI는 밴드를 두 그룹으로 정확하게 나눴어요. 그런데 고른 쪽이 반대였어요. 이 답을 믿고 다음 단계로 넘어갔다면 연구자는 원래 플라스미드를 열심히 정제했겠죠.

이 오답을 낸 모델은 OpenAI가 지금 가장 높게 내세우는 GPT-6 Astra예요. 11월 6일 공개된 BioBasicsBench에서 1등을 한 모델이기도 하고요. 그래서 이 벤치마크를 볼 때는 점수 하나보다 이 질문이 더 중요해요. AI가 논문 요약을 넘어서, 실험대 위의 지저분한 데이터를 믿고 맡길 수준까지 왔을까?

논문용 그림 대신 실패한 실험 사진으로 시험했어요

OpenAI가 짚은 문제의식은 단순해요. 지금까지의 과학 벤치마크는 논문에 싣기 위해 골라낸 깔끔한 차트와 이미지로 만들어졌거든요. 실제 실험실은 그렇지 않죠. 실패한 실험, 흐릿한 이미지, 서로 맞지 않는 관찰이 매일 쌓여요. BioBasicsBench는 그 일상을 그대로 시험지로 옮겼어요.

함께 만든 곳은 효소 설계 바이오테크 기업 Ligo예요. Ligo 과학자들이 자기 실험 데이터로 과제를 만들고 채점 기준을 직접 썼어요. 과제마다 작성에 참여하지 않은 Ligo 과학자의 내부 검토, 외부 습식 실험실 박사급 과학자의 검토, 최종 내부 검토를 거쳤고요. 과제는 100개이고 단백질 실험, 이미징·세포 분석, 정량·분석 실험, 핵산 실험, 분자 클로닝 다섯 분야에 걸쳐 있어요.

입력 자료를 보면 이 시험의 성격이 잘 보여요. 원문 표에서 몇 가지만 골라 옮기면 이래요. 한 과제에 여러 유형이 들어갈 수 있어서 합계는 100을 넘어요. 표에는 없지만 장비 화면 사진(13개), 원시 시퀀싱 파일(12개), 한천 배양 접시(7개)도 들어 있어요.

데이터 유형 과제 수 예시
겔·블롯 이미지 31 아가로스 DNA 겔, SDS-PAGE, 웨스턴 블롯
프로토콜·기록·사양 27 실험 노트, 손글씨 메모 사진, 장비 사양
표·장비 내보내기 데이터 20 CSV·Excel, 원시 유세포 분석(FCS) 파일
실험대·장치·시약 사진 18 전기영동 장치, PCR 플레이트, pH 시험지
현미경 관찰 14 명시야·형광 이미지, z-스택, 타임랩스
프로토콜 영상 7 획선 도말, 연속 희석, 칭량

채점 방식도 눈여겨볼 만해요. 정답 하나를 맞히면 끝나는 게 아니라 채점표의 기준마다 점수가 붙어요. 결론, 수치, 그 수치를 뒷받침하는 추론, 그리고 “이 근거로는 결론을 낼 수 없다”고 인정하는 것까지 점수 대상이에요. 모르는 걸 모른다고 말하는 능력을 따로 잰다는 점이 이 벤치마크의 핵심이에요.

범위도 분명히 해 둘게요. 모든 과제는 데이터를 보고 답을 내는 분석 작업이에요. 피펫을 잡거나 장비를 조작하는 일은 들어 있지 않아요. “AI 과학자”라는 말이 붙기 쉬운 소식이지만, 실제로 잰 건 실험 결과를 읽는 눈이에요.

7개 모델 성적표에서 토큰 수가 더 흥미로워요

OpenAI는 자사 모델 7개를 37개 모델·추론 노력 조합으로 돌렸어요. 조합마다 100개 과제를 5번씩 풀었으니 37 × 100 × 5 = 18,500개 결과예요. 일부 요약 기사에서 “7개 모델 × 37개 설정”으로 읽어 숫자가 맞지 않는다고 한 곳이 있는데, 37은 모델별 설정을 모두 합친 수라 계산이 정확히 맞아요.

아래는 7개 모델 모두 결과가 있는 가장 높은 설정인 xhigh 기준이에요.

모델 평균 보상 95% 신뢰 구간 과제당 출력 토큰
GPT-6 Astra 66.7% 60.3–73.1% 4,704
GPT-6.1 Sol 62.0% 55.6–68.4% 5,238
GPT-5.6 Sol 43.8% 37.6–50.0% 9,099
GPT-6 Luna 38.3% 32.3–44.5% 13,120
GPT-5.5 35.4% 29.7–41.0% 11,135
GPT-5.4 33.2% 28.3–38.4% 13,717
GPT-5.2 31.2% 26.2–36.3% 27,620

표에서 직접 계산해 보면 몇 가지가 보여요. Astra는 GPT-5.6 Sol보다 22.9%p 높으면서 출력 토큰은 52% 정도만 썼어요. GPT-5.2와 비교하면 토큰은 17% 수준인데 점수는 35.5%p 높고요. 더 오래 생각해서 점수를 올린 게 아니라, 처음부터 이미지를 더 잘 읽는 쪽으로 좋아졌다는 뜻이에요. OpenAI도 Astra가 낮은 추론 설정에서부터 크게 앞섰다며, 네이티브 멀티모달 능력이 핵심일 “수 있다”고 적었어요. 단정이 아니라 가설이라는 점은 기억해 두세요.

BioBasicsBench xhigh 설정의 과제당 출력 토큰과 평균 보상 산점도. GPT-6 Astra는 4,704토큰으로 66.7%, GPT-6.1 Sol은 5,238토큰으로 62.0%, GPT-5.2는 27,620토큰으로 31.2%

반대로 신뢰 구간을 겹쳐 보면 1, 2등의 차이는 생각보다 작아요. Astra(60.3–73.1%)와 GPT-6.1 Sol(55.6–68.4%)의 구간이 넓게 겹치거든요. 100개 과제로는 4.7%p 차이를 확실한 우열로 보기 어렵다는 얘기예요. Astra와 GPT-5.6 Sol 사이는 구간이 겹치지 않아서, 세대 차이는 분명해 보여요.

7개 모델의 평균 보상과 95% 신뢰 구간 막대그래프. GPT-6 Astra 60.3–73.1%와 GPT-6.1 Sol 55.6–68.4% 구간이 겹치고, GPT-5.6 Sol 37.6–50.0%와는 떨어져 있다

하나 더. GPT-6 세대라도 Luna는 38.3%로 이전 세대 GPT-5.6 Sol보다 낮았어요. 토큰은 더 많이 쓰고요. 세대 번호보다 등급(Astra·Sol·Luna)이 이 과제에서는 더 크게 작용했어요.

Astra가 나아진 지점은 “이걸로는 모른다”고 말하는 것

OpenAI가 고른 개선 사례 세 개는 모두 같은 방향을 가리켜요.

첫째는 대조군 접시예요. DNA 클로닝 과제에서 GPT-5.6 Sol은 음성 대조군 접시에 콜로니가 없다는 걸 보고 그대로 결론을 냈어요. Astra는 접시 테두리의 손글씨 라벨 “LB Kan50”을 읽었어요. 카나마이신이라는 뜻인데, 실험에 쓴 항생제는 암피실린이었거든요. 그래서 이 접시는 믿을 수 있는 대조군이 아니라고 판단했어요.

둘째는 형광 이미지예요. 죽은 세포를 표시하는 염료의 신호를 보고 GPT-5.6 Sol은 세포가 죽었다고 분류했어요. 그런데 두 염료의 검출 파장이 525–540nm 구간에서 겹쳐서, 다른 염료의 빛이 섞였을 수 있었어요. Astra는 이 모호함을 짚고 신호를 분리할 대조군이 더 필요하다고 답했어요.

셋째는 현미경 영상이에요. 세포가 점점 흐려지며 사라지는 영상을 두고 GPT-5.6 Sol은 생물학적 이유를 찾으려 했고, Astra는 서로 다른 깊이에서 찍은 z-스택이라는 걸 알아봤어요.

세 사례 모두 더 많이 아는 문제가 아니에요. 데이터가 말해 주는 범위를 넘지 않는 문제죠. 연구 현장에서 실제로 시간을 잡아먹는 실수가 바로 이쪽이에요.

틀린 방식이 점수보다 많은 걸 알려 줘요

OpenAI는 Astra의 실패 사례도 같이 공개했어요. 원문 표현을 빌리면 벤치마크 점수가 높아졌다고 해서 모델이 실험실에서 신뢰할 수 있는 판단을 내릴 수 있다는 뜻은 “아직” 아니라는 거예요.

맨 앞의 콜로니 PCR 사례가 대표적이에요. Astra는 레인을 두 그룹으로 정확히 나눴지만, 더 큰 PCR 산물이 클로닝 성공이라고 가정했어요. 그래서 4, 6, 7, 8번을 골랐고, 대조군과 비교한 기준 답안은 5, 9, 10번이었어요. 관찰은 맞고 해석이 반대였던 거죠.

액포 사례는 더 미묘해요. Astra는 여러 영역을 살펴보고 초점에 따라 명암이 바뀐다는 점까지 중간에 언급했어요. 그런데 최종 답에는 “액포가 더 어둡다”는 설명만 남겼어요. 자기가 본 반대 증거를 결론에서 지운 셈이에요.

콜로니 계수에서는 붙어 있는 콜로니를 하나로 세고, 보이는 콜로니를 놓치고, 빈 배지를 콜로니로 표시해서 기준값보다 약 12% 많이 셌어요. 도말 부피와 희석 배수가 같다면 형질전환 효율 추정치도 똑같이 12% 부풀려져요. 숫자 하나가 틀리면 그 뒤 계산이 전부 같은 비율로 틀어진다는 얘기예요.

세 실패의 공통점은 “중간까지는 맞았다”는 거예요. 지난주 다룬 Google의 물리 공학 벤치마크에서도 1위 구성이 개별 제약 조건의 91%를 만족했지만, 안전 조건을 모두 통과한 항목은 41.3%였어요. 분야는 달라도 같은 그림이에요. 부분 점수를 쌓는 능력과 마지막 판단을 틀리지 않는 능력은 다른 능력이에요.

그래서 66.7%를 “세 과제 중 두 개를 맞혔다”로 읽으면 곤란해요. 이 숫자는 과제별 부분 점수를 평균한 값이에요. 콜로니를 거꾸로 고른 답도 관찰과 그룹 구분에서 점수를 받을 수 있는 구조예요. 실험실에서 중요한 건 최종 선택인데, 평균 보상은 그 차이를 한 숫자로 뭉개요.

이 점수를 얼마나 믿어야 할까

결과를 받아들이기 전에 확인할 점이 있어요. 벤치마크는 OpenAI가 Ligo와 만들었고, 평가한 모델도 7개 모두 OpenAI 모델이에요. Claude나 Gemini 같은 다른 회사 모델의 점수는 없어요. 11월 12일 기준 공식 글에는 과제나 채점표를 공개한다는 안내도 없어서, 외부에서 같은 조건으로 재현하거나 다른 모델을 돌려 볼 방법이 아직 없어요.

그래도 OpenAI가 자기 최고 모델의 오답을 이렇게 자세히 공개한 점은 의미가 있어요. 성능 발표보다는 “어디까지 왔는지 재는 자” 쪽에 가까운 글이에요. OpenAI는 이 능력을 추적하는 게 생물안전과 생물보안 영향을 이해하는 데도 쓰인다고 밝혔어요. 실험 결과를 잘 읽는 AI는 연구를 돕는 만큼 위험한 실험도 도울 수 있으니, 같은 자로 양쪽을 재겠다는 뜻으로 읽혀요.

그래서 실험실에서는 어디까지 맡길 수 있나

지금 수준이라면 Astra는 “두 번째로 보는 사람” 정도가 맞아 보여요. 라벨과 대조군 조건을 다시 확인하거나, 데이터에서 결론을 낼 수 없는 지점을 찾아내는 일은 이미 꽤 잘해요. 반대로 어떤 콜로니를 키울지, 효율이 몇인지처럼 다음 실험을 결정하는 숫자는 아직 사람이 직접 확인해야 해요. 모델에게 쓸 때는 결론만 받지 말고 “어떤 대조군을 기준으로 판단했는지”를 함께 적게 하면 콜로니 PCR 같은 오류를 훨씬 빨리 잡을 수 있어요.

다음에 볼 건 이 벤치마크가 OpenAI 밖으로 나오느냐예요. 과제가 공개되고 다른 회사 모델과 같은 조건에서 비교되는 순간, 66.7%는 마케팅 숫자에서 업계 기준선으로 바뀌어요.