AI 코딩 도구가 생산성을 올리느냐는 질문에는 지금 정반대 숫자가 같이 돌아다녀요. “숙련 개발자가 AI를 쓰니 19% 느려졌다”는 연구가 있고, “AI 에이전트를 도입한 엔지니어가 PR을 24% 더 머지했다”는 연구도 있거든요. 둘 다 진지한 연구예요. 그럼 어느 쪽이 맞을까요?
이 글은 연구 네 개를 나란히 놓고 봤어요. METR의 무작위 실험 두 번, Microsoft의 사내 도입 연구, 그리고 개발 지표 업체 Faros의 텔레메트리 보고서예요. 결론부터 말하면, 숫자가 엇갈리는 이유는 대부분 ’무엇을 쟀느냐’에 있어요. 그리고 네 연구를 겹치면 하나의 흐름이 꽤 선명하게 보여요.
19% 느려졌다는 실험은 무엇을 쟀나
출발점은 METR이 2025년 7월에 낸 실험이에요. 오픈소스 개발자 16명이 자기가 평소 기여하던 대형 저장소에서 실제 이슈 246개를 처리했고, 이슈마다 AI 사용 허용 여부를 무작위로 정했어요. 저장소는 평균 10년쯤 됐고 코드가 110만 줄이 넘었어요. 개발자들은 그 프로젝트에서 평균 5년쯤 일한 사람들이었고, 주로 Cursor Pro와 Claude 3.5/3.7 Sonnet을 썼어요.
결과는 AI를 허용하자 작업 시간이 19% 늘었다는 거예요(95% 신뢰구간 +2~+39%). 더 눈에 띄는 건 체감이에요. 개발자들은 시작 전에 AI가 시간을 24% 줄여 줄 거라고 예상했고, 실험이 끝난 뒤에도 20% 줄었다고 믿었어요. 실제로는 느려졌는데 빨라졌다고 느낀 거죠.
연구진이 꼽은 원인도 구체적이에요. 개발자들은 AI가 만든 코드의 44% 미만만 받아들였고, 녹화 영상을 분석한 일부 작업에서는 시간의 약 9%를 AI 결과물을 검토하고 고치는 데, 약 4%를 AI 응답을 기다리는 데 썼어요. 저장소를 너무 잘 아는 사람일수록, 코드베이스에 문서화되지 않은 맥락이 많을수록 AI가 덜 도움이 됐다고 해요. 즉 이 실험이 잰 건 “자기 집처럼 아는 거대한 코드에서 숙련자가 이슈 하나를 끝내는 시간”이에요.
후속 실험은 ‘빨라졌다’, 하지만 METR 스스로 믿지 않아요
METR은 2025년 8월부터 규모를 키워 다시 실험했고, 2026년 2월에 결과를 냈어요. 개발자 57명, 저장소 143개, 작업 800개 이상이에요. 원래 실험에 참여했던 10명은 작업 시간이 18% 줄었고(신뢰구간 -38~+9%), 새로 모집한 47명은 4% 줄었어요(-15~+9%). 두 신뢰구간 모두 0을 포함해서, 통계적으로는 “효과 없음”도 배제하지 못해요.
METR이 정작 강조한 건 숫자가 아니라 측정의 한계였어요. 개발자의 30~50%가 “AI 없이는 하기 싫은 작업”을 실험에서 빼 버렸거든요. AI가 가장 도움이 될 작업이 빠졌으니 실제 효과는 이 숫자보다 클 거라고 METR은 봤어요. 그래서 이번 결과는 믿기 어렵다고 스스로 밝히고, 실험 방식을 바꾸기로 했어요.
이 결과는 보도마다 정반대로 전해지기도 했어요. METR 원문 표기가 “speedup of -18%“라서, Particula 같은 매체는 이를 “18% 느려졌다”로 읽었죠. 그런데 METR 본문에는 “속도가 빨라진 증거가 있다”, “지금은 AI 덕에 더 빨라졌을 가능성이 높다”는 문장이 있어요. 그래서 이 글은 18% 빨라진 것으로 읽었어요. 같은 발표가 정반대 헤드라인이 될 수 있으니, 이런 숫자는 꼭 원문으로 확인하는 게 좋아요.
PR이 24% 늘었다는 연구는 무엇을 쟀나
Microsoft 연구진 세 명이 2026년 7월 arXiv에 올린 논문은 사내에 Claude Code와 GitHub Copilot CLI를 배포한 뒤 넉 달(2026년 1월 5일~4월 29일)을 봤어요. 대상은 수만 명 규모의 엔지니어예요. 도구를 쓰기 시작한 사람과 비슷한 패턴의 비사용자로 만든 ’합성 대조군’을 비교하는 방식이었어요.
도입자는 하루 엔지니어당 머지된 PR이 24.0% 늘었어요(신뢰구간 +14.5~+33.7%). 도입 전 가짜 시점으로 같은 분석을 돌린 위약 검사에서는 -1.1%로 효과가 없었고, 2월 +29.4%, 3~4월 +20.0%로 넉 달 동안 크게 줄지 않았어요. 주 3일 쓰는 주에는 +15.0%, 5일 이상 쓰는 주에는 +50.1%로 많이 쓸수록 더 늘었고요.
다만 연구진이 밝힌 한계가 분명해요. 측정한 건 머지된 PR 수뿐이고, 되돌린 코드나 리뷰 시간, 품질은 재지 않았어요. 작고 잦은 PR이 유리하게 잡힐 수 있다는 점도 인정했고요. 도구를 쓸지 말지는 엔지니어 스스로 정했고, 저자들이 Microsoft 직원이며 Microsoft가 GitHub을 소유하고 이 도구를 판매한다는 점도 논문에 적혀 있어요. 한 도구만 쓴 사람끼리 비교하면 Copilot CLI(+24.9%)가 Claude Code(+11.4%)의 약 2.2배였는데, 이런 조건을 생각하면 도구 우열의 근거로 쓰기는 조심스러워요.
품질까지 잰 보고서: 처리량보다 리뷰와 버그가 더 빨리 늘었어요
빠진 퍼즐 조각을 채우는 게 Faros의 2026년 4월 보고서예요. 2년 동안 4,000개 넘는 팀, 개발자 2만 2천 명의 텔레메트리를 봤고, 조직마다 AI 도입이 가장 낮았던 시기와 가장 높았던 시기를 비교했어요.
처리량은 분명히 늘었어요. 개발자당 작업 처리량이 33.7%, PR 머지율이 16.2% 올랐거든요. 그런데 같은 기간 개발자당 버그는 54%, PR당 장애 비율은 242.7% 늘었고, 리뷰에 머무는 시간의 중앙값은 441.5% 늘었어요. 리뷰 없이 머지된 PR도 31.3% 많아졌고요.
이 숫자로 직접 계산해 보면, PR 머지율이 1.16배가 되는 동안 리뷰에 머무는 중앙 시간은 약 5.4배가 됐어요. 코드가 나오는 속도는 조금 빨라졌는데, 그 코드를 확인하는 단계는 훨씬 크게 막힌 셈이에요. 다만 Faros는 개발 지표 분석 제품을 파는 회사이고, 표본은 자기 고객사예요. 절대값 없이 변화율만 공개했고, 측정 방식의 세부도 밝히지 않았어요. 방향은 참고하되 숫자는 크게 믿지 않는 게 좋아요.
네 연구를 겹쳐 보면
네 연구는 서로 다른 걸 쟀어요. METR은 숙련자가 익숙한 거대 저장소에서 작업 하나를 끝내는 시간, Microsoft는 회사 전체의 PR 수, Faros는 조직 단위의 처리량과 품질이에요. 이걸 같은 ’생산성’이라는 단어로 묶으니 정반대처럼 보였던 거예요.
겹치는 부분만 추리면 그림이 꽤 일관돼요. 코드가 나오는 양은 늘었어요. Microsoft의 PR +24%와 Faros의 PR 머지율 +16.2%는 같은 방향이고, METR 후속 실험도 불확실하지만 빨라지는 쪽을 가리켜요. 대신 비용이 검토 단계에 쌓여요. 2025년 METR 실험에서 이미 시간의 9%가 AI 결과물 검토에 들어갔고, Faros 데이터에서는 리뷰 시간과 버그가 처리량보다 훨씬 빠르게 늘었어요. 그리고 개발자의 체감은 이 모든 걸 잘 반영하지 못해요. 느려진 사람도 빨라졌다고 믿었거든요.
그래서 이 글의 결론은 이래요. AI 코딩 도구는 코드를 쓰는 단계를 빠르게 만들고, 병목을 리뷰와 검증으로 옮겨요. “빨라졌냐”는 질문의 답은 어디까지를 생산성으로 보느냐에 따라 달라지고, 작성 단계만 보면 ‘그렇다’, 배포된 결과물의 품질까지 보면 ’아직 모른다’에 가까워요.
팀에서 실제로 판단하려면
이 결론을 내 팀에 적용하려면 재는 대상을 바꾸는 게 먼저예요. PR 수나 “써 보니 빨라졌다”는 후기만 보면 Microsoft 논문의 한계와 METR 실험의 체감 착시를 그대로 반복하게 돼요. 도입 전후로 리뷰 대기 시간, 되돌린 커밋, 배포 뒤 버그나 장애처럼 검토 단계의 지표를 같이 봐야 이득이 진짜인지 알 수 있어요.
작업 종류도 나눠 볼 만해요. METR 첫 실험에서 AI가 가장 덜 도움이 된 건 개발자가 속속들이 아는, 문서화되지 않은 맥락이 많은 거대 저장소였어요. 반대로 낯선 코드나 반복 작업에서는 이득이 더 클 수 있죠. 이건 연구들이 직접 비교한 결과가 아니라 이 글의 해석이지만, 리뷰 인력이 버틸 수 있는 속도로 도입 범위를 넓히는 게 지금 데이터로는 가장 안전한 선택으로 보여요.