모델이 사람보다 잘하는 일이 늘수록 곤란한 질문이 하나 커져요. 사람이 답을 직접 검증할 수 없을 때, AI가 맞게 했는지는 누가 판단하죠? 이 문제를 ’확장 가능한 감독(scalable oversight)’이라고 부르고, 그 해법으로 오래 거론된 게 토론이에요. AI 두 개가 반대 입장에서 논쟁하고, 덜 똑똑한 판정자가 어느 쪽이 맞는지 고르는 방식이에요.
10월에 이 방식을 실험한 arXiv 논문 두 편이 2주 간격으로 나왔어요. 하나는 “사람은 토론으로 판단을 고친다”고 했고, 다른 하나는 “사람은 말발에 넘어간다”고 했어요. 제목만 보면 정반대인데, 실험을 뜯어 보면 같은 그림의 두 면에 가깝더라고요.
토론 기반 감독은 무엇을 약속했나
출발점은 2018년 Geoffrey Irving, Paul Christiano, Dario Amodei의 논문 “AI safety via debate”예요. 사람이 복잡한 결과를 직접 평가하는 대신, 두 에이전트가 짧은 주장을 주고받게 하고 사람은 더 참되고 유용한 정보를 준 쪽만 고르게 하자는 제안이었죠. 이론적으로는 판정자가 문제를 직접 풀 능력이 없어도, 양쪽이 최선을 다해 토론하면 훨씬 어려운 질문까지 답을 가릴 수 있다고 봤어요. 거짓말하는 쪽은 상대가 반박할 테니, 결국 참인 쪽이 이기기 쉽다는 가정이 깔려 있어요.
실험 근거도 쌓였어요. 2024년 Khan 외 연구에서는 토론을 거치자 비전문가 모델의 정답률이 48%에서 76%로, 사람은 60%에서 88%로 올랐어요. 이번 두 논문은 이 낙관을 조금 다른 각도에서 시험한 셈이에요.
첫 번째 논문: 사람은 나아졌고, AI 판정자는 들쭉날쭉했어요
Carro 외 17명의 논문(arXiv 2610.28539, 10월 20일)은 일반인에게 낯선 과학기술 주제 10개를 골라 주제마다 하위 질문 10개, 총 100개 문항을 만들었어요. ‘거울 생명체’ 같은 주제예요. 토론자는 Claude Opus 4.5였고, 판정자는 Prolific에서 모집한 사람 507명과 LLM 8종이었어요. LLM 판정 결정만 7만 5천 건이 넘어요.
사람 결과는 깔끔해요. 토론을 본 뒤 정답률이 41.3%에서 57.61%로 올랐고 통계적으로 유의했어요(p=.028). 한쪽 주장만 듣고 질문하는 ‘컨설턴시’ 방식은 51.25%에서 48.75%로 오히려 조금 내려갔고요. 가장 효과가 컸던 건 여러 사람이 확신도를 가중해 투표한 경우로, 45.83%에서 65.28%까지 올랐어요.
LLM 판정자 쪽은 모델마다 달랐어요. GPT-5.2는 84.85%에서 90.4%로 유의하게 올랐지만, Claude Sonnet 4는 토론 뒤 85.26%에서 78.95%로 내려갔어요. 오픈소스 모델은 어느 것도 토론으로 유의하게 나아지지 않았고, Gemma-3-4B는 72.3%에서 47.5%로 크게 떨어졌죠. 제목의 ’약한 AI’는 고정된 기준이 아니라 토론자보다 능력이 낮은 판정자를 뜻해요.
여러 LLM을 판정단으로 묶은 실험이 특히 흥미로워요. 같은 모델 세 개가 합의할 때까지 토의하게 하자 정답률이 48.96%에서 44.04%로 오히려 떨어졌어요(p=.022). 반면 서로 다른 판정자 일곱 개가 토의하면 58.26%에서 64.29%로 올랐어요(p=.006). 같은 모델끼리 모인 판정단에서는 정답을 가진 소수가 오답 쪽으로 넘어가는 비율(25.8%)이 오답을 가진 소수가 정답으로 오는 비율(17.7%)보다 높았고요. 연구진은 이런 판정단에서는 틀린 입장이 맞는 입장만큼, 혹은 그 이상으로 설득력 있게 보인다고 썼어요.
연구진이 밝힌 한계도 있어요. 상용 모델 판정자와 토론자의 능력 차이가 작아서 결과가 엇갈렸을 수 있고, 과제가 다단계 추론이 아니라 지식 판단에 가깝고, 문항을 전문가가 검증하지 않았어요.
두 번째 논문: 같은 사람이 말발에 흔들렸어요
Liu 외 5명의 논문(arXiv 2610.05461, 10월 4일)은 진실이 정해진 탐정 추리 이야기 네 편으로 토론 대화 68개를 만들었어요. 그리고 한쪽에만 네 가지 수사 기법을 심었어요. 처음 제시한 정보에 끌리게 하는 앵커링, 논리적 오류 끼워 넣기, 전문용어 남발, 장황하게 말하기예요. 같은 기법을 진범 쪽에도, 무고한 용의자 쪽에도 넣어서 기법의 효과와 정답 여부를 분리했어요. Prolific 참가자 369명이 한 사람당 토론 하나씩 판정했고, 실험 설계는 사전 등록됐어요.
결과는 네 기법을 합쳐 조작한 쪽 선택이 8.6%p 늘었어요(95% 신뢰구간 2.9~14.2%p, p=.002). 기법별로는 장황하게 말하기가 11.1%p로 가장 컸지만, 표본이 나뉘다 보니 다중 비교 보정 뒤에는 어느 것도 따로는 유의하지 않았어요. 더 신경 쓰이는 건 알아차림이에요. 조작된 쪽을 맞힌 참가자는 30%, 기법 종류까지 맞힌 참가자는 11%뿐이었거든요.
이 논문에서 가장 큰 숫자는 사실 조작이 아니라 순서였어요. 정답 쪽이 먼저 말했을 때 정답률이 63%, 나중에 말했을 때 41%였어요. 반대로 ’물리적 증거’를 근거로 판단을 설명한 응답은 77%가 맞았고, 그렇지 않은 응답은 46%였고요. 연구진은 평가 기준을 구조화하고 체크리스트로 증거에 주의를 돌리게 하자고 제안했지만, 그 효과는 아직 검증하지 않았다고 밝혔어요.
두 논문을 겹쳐 보면
두 논문은 서로를 반박하지 않아요. 첫 번째 논문의 사람 판정자는 토론으로 평균 16%p쯤 나아졌지만, 도착한 곳이 57.61%였어요. 열 문제 중 네 문제는 여전히 틀린다는 뜻이고, Khan 외 연구의 88%와는 거리가 꽤 있어요. 과제가 다르니 직접 비교할 수는 없지만, 토론의 효과가 과제에 따라 크게 달라진다는 건 분명해 보여요.
두 번째 논문의 숫자로 직접 계산해 보면 발언 순서의 효과(22%p)가 네 가지 수사 기법을 합친 효과(8.6%p)의 2.5배쯤 돼요. 판정자를 흔드는 건 일부러 심은 조작보다 토론 형식 그 자체일 수 있다는 얘기예요. 첫 번째 논문이 토론 순서를 바꿔 두 번씩 돌린 것도 이런 편향을 상쇄하려는 설계로 읽혀요.
그러니 합쳐서 말하면 이래요. 토론은 사람의 판단을 평균적으로 끌어올리지만 그 폭은 아직 크지 않고, 형식과 수사에 쉽게 흔들려요. 그리고 판정자 자리에 사람 대신 더 약한 AI를 앉히면 그 평균적인 이득마저 보장되지 않아요. 첫 번째 논문 연구진이 결론에서 토론의 이점이 AI 감독자, 특히 사람이 빠진 고위험 자동화 파이프라인으로 이어진다고 가정하지 말라고 쓴 이유예요.
AI 도구를 쓰는 사람에게 이게 왜 중요한가
이건 먼 안전 연구 얘기만은 아니에요. 요즘 에이전트 도구와 평가 파이프라인은 ‘LLM이 LLM을 채점하는’ 구조를 흔하게 쓰거든요. 코드 리뷰 봇이 다른 모델의 결과를 검토하거나, 여러 에이전트가 의견을 모아 답을 정하는 식이죠.
두 논문에서 바로 가져갈 만한 판단 기준이 있어요. 같은 모델 여러 개로 다수결이나 합의를 시키는 건 정확도를 올려 주지 않았고, 합의를 강제하면 오히려 떨어졌어요. 효과가 있었던 건 서로 다른 판정자를 섞는 쪽이었고요. 판정 프롬프트에서는 길고 그럴듯한 답, 먼저 나온 답에 점수가 쏠릴 수 있으니 순서를 바꿔 두 번 돌리고, 근거가 된 증거를 먼저 쓰게 하는 편이 안전해 보여요. 이건 두 논문의 결과를 실무에 옮긴 이 글의 해석이고, 연구진이 직접 시험한 처방은 아니에요.
두 논문 모두 arXiv에 올라온 사전 공개본이라 동료 검토를 거치기 전이에요. 첫 번째 논문의 판정단 실험은 연구진 스스로 ’예비 결과’라고 불렀고, 두 번째 논문은 탐정 이야기라는 좁은 영역에서 나온 결과예요. 그래도 같은 달에 나온 두 실험이 같은 약점을 가리킨다는 점은 가볍게 넘기기 어려워요.