AI에게 실험 결과 해석을 맡겨도 될까? OpenAI BioBasicsBench 66.7%가 말해 주는 것
OpenAI가 Ligo와 만든 습식 실험 벤치마크 BioBasicsBench에서 GPT-6 Astra가 66.7%를 받았어요. 무엇을 쟀고, 어디서 틀렸고, 왜 아직 실험실 판단을 맡기기 어려운지 원문 기준으로 따져 봤어요.
OpenAI가 Ligo와 만든 습식 실험 벤치마크 BioBasicsBench에서 GPT-6 Astra가 66.7%를 받았어요. 무엇을 쟀고, 어디서 틀렸고, 왜 아직 실험실 판단을 맡기기 어려운지 원문 기준으로 따져 봤어요.
AI에 긴 문서를 통째로 넣으면 다 읽고 답할까요? 논문과 벤치마크 결과를 원문으로 확인하고, 구운몽 전문 8만 5천 자로 딥시크를 직접 시험했어요. 찾는 것과 맞히는 건 달랐어요.
AI 두 개를 맞붙이고 판정자가 승자를 고르는 '토론 기반 감독'에 대해 10월 arXiv 논문 두 편이 나왔어요. 사람 판정자는 토론으로 정답에 가까워졌지만, 말발에도 흔들렸고, 약한 AI 판정자는 대부분 나아지지 않았어요.
RAG(검색 증강 생성)는 AI가 답하기 전에 문서를 찾아 읽게 하는 방식이에요. 동작 원리, 논문 그림으로 본 실패 사례, 실제 구축에서 나온 7가지 실패 지점, 파인튜닝과의 차이를 정리했어요.
GPT의 T는 트랜스포머예요. 2017년 논문 'Attention Is All You Need'의 원본 그림으로 인코더·디코더 구조, 어텐션 계산, GPT와 BERT가 각각 어느 쪽을 가져갔는지 정리했어요.
방문 통계를 위해 Google 애널리틱스 쿠키를 사용해도 될까요? 거부해도 사이트의 모든 기능을 그대로 쓸 수 있습니다.개인정보처리방침