AI 코딩 모델, 실제 기업 코드에서는 최고도 38.8% — Real-SWE가 드러낸 현실

공개 벤치마크에서 높은 점수를 받은 AI 코딩 모델이 실제 기업의 프로덕션 코드에서도 같은 실력을 낼까. Specific Labs가 공개한 Real-SWE는 이 질문을 정면으로 시험한 벤치마크다.

Real-SWE는 공개 GitHub 저장소나 인위적으로 만든 문제 대신, 실제 기업으로부터 라이선스한 비공개 코드베이스와 그 회사 엔지니어가 다루는 업무를 평가에 사용했다. 결제·세금·고객 이전·API 사용량 측정·분산 시스템처럼 작은 실수도 사업 운영에 영향을 줄 수 있는 과제들이다.

결과는 냉정하다. 8개 최신 모델·코딩 도구 조합 가운데 가장 높은 해결률도 **38.8%**였다. 즉, 가장 좋은 조합조차 첫 시도에서 열 문제 중 여섯 문제 이상을 완전히 해결하지 못했다.

공개 벤치마크와 무엇이 다른가

대표적인 SWE-bench는 실제 공개 GitHub 이슈와 이를 해결한 패치를 이용해 모델이 문제를 고칠 수 있는지를 평가한다. 재현 가능하고 비교하기 쉽다는 장점이 있지만, 공개 저장소의 코드와 해결 과정이 인터넷에 남아 있어 최신 모델의 학습 데이터에 포함됐을 가능성을 완전히 배제하기 어렵다.

Real-SWE는 다음 세 가지 차이를 내세운다.

1. 비공개 코드베이스
   코드와 정답이 인터넷에 공개되지 않은 기업 시스템을 사용한다. 모델이 검색이나 학습 기억에 의존하기보다 처음 보는 구조를 직접 탐색해야 한다.

2. 사업상 결과가 있는 업무
   세금 계산, 청구서 발행, API 토큰 과금, 고객 데이터 이전처럼 실제 운영과 매출에 연결된 문제를 다룬다.

3. 기업별 규칙과 도구
   기존 아키텍처와 코딩 관례뿐 아니라 데이터베이스, 클라우드, Kubernetes, Slack, Linear, Google Drive, 이메일 같은 주변 시스템을 함께 이해해야 한다.

공개 벤치마크의 한 문제는 비교적 분명한 경계와 테스트를 갖는 경우가 많다. 반면 프로덕션 작업에서는 요구사항이 여러 서비스에 흩어져 있고, 기존 고객이 의존하는 동작을 보존하면서 변경해야 한다. 한 부분을 고친 코드가 다른 결제 흐름이나 데이터 이전 절차를 망가뜨릴 수도 있다.

Real-SWE는 어떻게 평가했나

Specific Labs 설명에 따르면 이번 공개 결과는 다음 조건으로 구성됐다.

• 실제 기업의 비공개 프로덕션 코드베이스
• 10개 소프트웨어 엔지니어링 과제
• 8개 모델·코딩 하네스 조합
• 과제별 8회의 독립 실행
• 총 640회의 채점된 실행
• 격리된 샌드박스 환경
• 실제 코드베이스의 테스트에서 가져오거나 이를 바탕으로 만든 검증기
• 해결률은 과제별 8회 실행의 평균인 pass@1 방식

과제에는 초과 사용 권한 계산, 다중 지역 처리, 세금 관할 판정, API 토큰 계량, API 키와 환경 분리, S3 데이터 측정, 고객 식별자 이전, 청구 일정 이전, 선형화 가능한 스캔, 분석 스트림 리듀서 등이 포함됐다.

일반적인 Real-SWE 지시문의 중앙값은 1,742자였다. 정답 패치는 중앙값 기준 11개 파일을 수정했다. 지시가 지나치게 길지는 않지만 실제 구현 범위는 넓다는 뜻이다.

최고 해결률도 38.8%

Specific Labs가 발표한 순위는 다음과 같다.

이 표는 모델만의 순위가 아니다. 각 모델을 특정 CLI 또는 에이전트 하네스와 결합한 결과다. 같은 모델이라도 도구 호출 방식, 컨텍스트 관리, 탐색 전략, 실행 시간과 권한이 달라지면 성능이 달라질 수 있다.

표본이 10개 과제에 불과하고 기업과 기술 스택도 제한돼 있으므로 이 결과만으로 모든 코딩 모델의 일반적 우열을 확정해서는 안 된다. 95% 신뢰구간이 제시됐더라도 과제 다양성의 한계는 별개의 문제다.

오래 실행한다고 반드시 해결되지는 않았다

실패한 실행 가운데 10분 미만 실행은 98회 중 70회, 즉 71.4%가 실패했다. 10분 이상 실행은 542회 중 398회, 73.4%가 실패했다.

이를 “짧게 실행하는 편이 낫다”고 해석해서는 안 된다. 어려운 과제가 자연히 더 오래 걸렸을 가능성이 있고, 실행 시간을 무작위로 배정한 통제 실험도 아니기 때문이다. 다만 에이전트에게 시간을 더 주는 것만으로 복잡한 기업 업무가 자동 해결되지는 않는다는 점은 분명하다.

평균 실행 비용도 약 2.50달러에서 6.96달러까지 차이가 났지만, 비용이 높다고 해결률이 비례해 높아지지는 않았다. 모델 가격이나 출력 토큰 수보다 올바른 탐색·요구사항 확인·통합 검증이 더 중요한 변수일 수 있다.

실제 실패는 ‘코드를 못 써서’만이 아니었다

Real-SWE가 분류한 실패 유형은 기업이 AI 코딩 도구를 도입할 때 특히 참고할 만하다.

• 검증되지 않은 가정: 저장소와 도구를 확인하지 않고 시스템 구조를 추측함
• 요구사항 누락: 지시문에 포함된 동작의 일부만 구현함
• 통합 오류: 아이디어는 맞지만 기존 시스템에 잘못 연결함
• 회귀: 새 기능을 고치면서 기존 동작을 깨뜨림
• 잘못된 파일 수정: 실제 애플리케이션이 사용하지 않는 위치에 코드를 작성함

모델마다 약점도 달랐다. 어떤 조합은 요구사항을 자주 놓쳤고, 어떤 조합은 통합 단계에서 더 많이 실패했으며, 또 다른 조합은 코드베이스를 확인하지 않은 가정에 의존했다. 모든 과제를 해결한 모델은 하나도 없었다.

이는 AI 코딩의 병목이 단순한 문법 생성에서 시스템 이해로 이동하고 있음을 보여준다. 코드는 그럴듯하게 작성할 수 있지만, 무엇을 확인해야 하는지 찾아내고 여러 서비스 사이의 계약을 지키는 일은 여전히 어렵다.

기업과 개인 개발자가 얻을 교훈

Real-SWE 결과를 “AI 코딩은 쓸모없다”는 결론으로 읽을 필요는 없다. 오히려 AI 에이전트를 어디까지 믿고 어떤 안전장치를 붙여야 하는지를 구체적으로 보여준다.

첫째, 작업을 작은 단위로 나눠야 한다. 결제·세금·권한·데이터 이전을 한 번에 맡기기보다 조사, 수정, 테스트, 검토 단계를 분리하는 편이 안전하다.

둘째, 에이전트가 먼저 조사하도록 해야 한다. 관련 파일, 호출 경로, 데이터 구조, 기존 테스트를 확인한 뒤 계획을 제시하게 하면 검증되지 않은 가정을 줄일 수 있다.

셋째, 완료 선언보다 증거를 요구해야 한다. 변경 파일 목록, 실행한 테스트, 실패한 테스트, 남은 위험과 실제 화면 또는 API 응답을 함께 확인해야 한다.

넷째, 모델과 실행 도구를 한 묶음으로 평가해야 한다. 실무 성능은 모델 이름뿐 아니라 Codex CLI, Claude Code, Gemini CLI 같은 하네스의 탐색·도구 사용 방식에 크게 좌우될 수 있다.

다섯째, 중요한 시스템에는 사람의 승인을 남겨야 한다. DB 마이그레이션, 결제, 인증, 배포처럼 되돌리기 어려운 작업은 읽기 전용 조사와 승인된 실행을 구분해야 한다.

이 원칙은 개인의 바이브 코딩에도 그대로 적용된다. “앱을 만들어줘”라는 한 문장보다 현재 폴더, 변경 금지 범위, 테스트 방법, 완료 조건을 알려주면 성공 가능성이 높아진다.

이 결과를 볼 때 주의할 점

Real-SWE는 실제 기업 코드와 업무를 사용한다는 점에서 의미가 크지만, 독립된 학술기관의 대규모 검증 결과는 아니다. 벤치마크 제작사인 Specific Labs가 과제를 선정하고 평가 환경을 구성해 발표한 초기 결과다.

비공개 코드베이스라는 특성 때문에 외부 연구자가 모든 문제와 정답을 직접 내려받아 동일하게 재현하기도 어렵다. 현재 공개된 숫자는 방법론 설명과 일부 예시, 결과표를 토대로 해석해야 한다. 또한 과제 수가 적어 특정 기업·언어·시스템 구성에 결과가 민감할 수 있다.

그러므로 이 벤치마크의 가장 중요한 가치는 특정 모델의 순위를 확정하는 데 있지 않다. 공개된 시험 문제에서 얻은 성적과 실제 기업 환경의 성공률 사이에 큰 간격이 존재할 수 있음을 보여준 데 있다.

결론

Real-SWE가 던지는 질문은 단순하다. AI 코딩 에이전트가 코드를 작성할 수 있느냐가 아니라, 처음 보는 기업 시스템을 이해하고 요구사항을 빠짐없이 지키며 기존 동작을 깨뜨리지 않은 채 실제 업무를 끝낼 수 있느냐는 것이다.

이번 평가에서 최고 해결률은 38.8%였다. 초기 벤치마크 하나의 결과를 과도하게 일반화해서는 안 되지만, 현재의 최신 에이전트조차 프로덕션 업무에서는 사람의 검토와 강한 테스트 체계가 필요하다는 경고로는 충분하다.

AI 에이전트는 이미 강력한 개발 파트너다. 그러나 실제 기업 코드에서 신뢰할 수 있는 동료가 되려면 더 긴 출력보다 더 정확한 조사, 요구사항 추적, 통합 테스트, 그리고 실패를 드러내는 정직한 검증이 필요하다.

참고 자료

• Specific Labs: Real-SWE Benchmark
• SWE-bench 공식 저장소
• Hacker News 토론

커버 및 본문 이미지는 Elisa Labs가 AI 이미지 생성 도구로 제작했습니다.