AI

Devin SWE-2가 핫한 이유, 성능보다 더 중요한 건 비용이었다

Cognition의 새 코딩 모델 SWE-2는 상위권 성능과 낮은 실행 비용을 동시에 노립니다. 벤치마크 강점과 한계, 실제 사용 가능 범위를 함께 봤습니다.

이 글에서01 SWE-2는 정확히 무엇인가02 벤치마크 숫자는 꽤 강하다03 Terminal-Bench 4에서는 약점도 보인다04 사람들이 주목하는 이유는 비용이다05 공식 단가로 다시 계산해 보면06 SWE-1 7보다 덜 헤맨다07 지금 바로 쓸 수 있나08 내가 쓸지 말지09 그래서 무엇이 달라졌나10 출처

SWE-2는 정확히 무엇인가

SWE-2는 Devin을 만드는 Cognition이 2026년 9월 10일 공개한 소프트웨어 엔지니어링 특화 모델입니다. 기반 모델은 Moonshot AI의 Kimi K3입니다. Cognition SWE-2 발표문은 SWE-2를 "Kimi K3에서 후속 학습(post-trained)했다"고 적었고 Kimi K3를 2.8T 파라미터 모델로 소개합니다. Cognition은 여기에 에이전트형 코딩 작업에 맞춘 추가 강화학습을 적용했습니다. 공개일 2026년 9월 10일도 같은 발표문에서 확인했습니다.

이번 모델의 핵심은 단순히 더 높은 정답률을 노리는 데 있지 않습니다. Cognition은 추론 단계별로 비용 페널티를 적용해, 같은 문제를 해결하더라도 불필요하게 오래 탐색하거나 많은 계산을 쓰지 않도록 학습했다고 설명합니다.

벤치마크 숫자는 꽤 강하다

벤치마크SWE-2Kimi K3Fable 5.1GPT-5.6 SolGPT-6 Astra
FrontierCode 1.1 Main50.0%44.2%50.9%47.5%53.3%
DeepSWE 1.173.0%68.5%67.4%72.7%74.1%
Terminal-Bench 2.192.8%88.3%91.4%88.8%89.9%
Terminal-Bench 427.3%21.5%55.8%37.3%57.9%

FrontierCode 1.1 Main에서 SWE-2는 50.0%를 기록해 Fable 5.1의 50.9%와 가까웠고, DeepSWE 1.1에서는 73.0%로 GPT-5.6 Sol의 72.7%와 비슷한 수준이었습니다. Terminal-Bench 2.1에서도 92.8%로 높은 점수를 냈습니다.

다만 이 표를 모델 전체의 절대적인 우열표로 읽으면 안 됩니다. FrontierCode는 Cognition이 직접 만든 평가이고, 각 벤치마크는 실행 환경과 에이전트 하네스의 영향을 받습니다.

Terminal-Bench 4에서는 약점도 보인다

특히 Terminal-Bench 4 결과는 눈에 띕니다. SWE-2는 27.3%로, 같은 표의 Fable 5.1 55.8%와 GPT-6 Astra 57.9%보다 크게 낮았습니다.

이 수치 하나만으로 특정 벤치마크에 과적합됐다고 단정할 수는 없습니다. 버전이 다른 Terminal-Bench는 난이도와 과제 구성이 달라 단순한 전후 비교가 어렵기 때문입니다. 그래도 최신·고난도 에이전트 작업에서도 항상 최상위 모델과 비슷하다고 보기는 어렵다는 신호로는 충분합니다.

사람들이 주목하는 이유는 비용이다

Cognition SWE-2 발표문에는 FrontierCode 1.1 Main에서 SWE-2가 Fable 5.1의 1점 안쪽(50.0% 대 50.9%)이면서 64% 싸다는 문장이 있습니다. GPT-6 Astra와는 "몇 점 안쪽에서 4분의 1 비용"이라고 적었습니다. 4분의 1은 발표문의 대략적 표현이며 정확한 배수는 아닙니다.

이 수치는 Cognition의 자체 측정치라 독립 검증과 구분해서 봐야 합니다. 하지만 코딩 에이전트에서는 비용 문제가 실제 사용성에 바로 연결됩니다. 파일을 찾고, 코드를 읽고, 수정하고, 테스트하고, 실패 원인을 찾는 과정을 반복하기 때문에 같은 성능이라면 더 적은 단계와 더 낮은 비용이 큰 차이를 만듭니다.

공식 단가로 다시 계산해 보면

64%라는 숫자를 단가에서 검산해 봤습니다. Devin Docs 모델·가격표에 따르면 SWE-2 정가는 입력 100만 토큰당 3달러, 출력 100만 토큰당 15달러입니다. Fable 5.1과 GPT-6 Astra는 같은 표에서 입력 10달러, 출력 50달러로 적혀 있습니다. 토큰 단가만 보면 SWE-2가 70% 쌉니다. 64% 절감은 같은 일을 하는 데 SWE-2가 토큰을 약 1.2배(0.36÷0.30) 쓴다는 뜻이 됩니다. 이 1.2배는 제가 단가에서 거꾸로 계산한 값이고, Cognition이 밝힌 숫자가 아닙니다.

작업 한 건 비용은 발표문 부록의 Fable 5.1 목록가에서 출발했습니다. 발표문 부록은 FrontierCode 1.1 Main에서 Fable 5.1 Medium이 건당 3.28달러, Max가 12.83달러라고 적습니다. 발표문은 비교에 쓴 Fable 5.1의 추론 강도를 밝히지 않았습니다. 50.9% 점수가 Medium 행과 일치해서 Medium일 것으로 추정했고, 이 추정은 확인된 사실이 아닙니다. SWE-2 건당 비용도 발표문에 없습니다. 아래 SWE-2 값은 Fable 5.1 값의 36%(64% 절감)로 계산한 추정치입니다.

작업 한 건·한 달 비용 추정. 2026년 10월 19일 서울 외환시장 종가 1,330.3원 기준 환산(대한경제 2026년 10월 19일 환율 기사), 부가세·카드 수수료 제외. 한 달 100건은 하루 5건, 20일을 가정한 값이며 실제 사용량이 아닙니다.
구성건당(달러)건당(원)한 달 100건(원)근거 구분
Fable 5.1 Medium 정가3.28약 4,360원약 43만 6천원발표문 부록 수치
SWE-2 (Fable Medium 대비 64% 절감 가정)약 1.18약 1,570원약 15만 7천원추정, 발표문에 건당 값 없음
Fable 5.1 Max 정가12.83약 17,070원약 170만 7천원발표문 부록 수치
SWE-2 (Fable Max 대비 64% 절감 가정)약 4.62약 6,140원약 61만 4천원추정
SWE-2 엔터프라이즈 75% 할인가 (Medium 기준)약 0.30약 390원약 3만 9천원추정, 2026년 12월 31일까지

할인 조건은 Devin Docs 모델·가격표의 안내 문구입니다. 이 문구는 엔터프라이즈 요금제에서 SWE-2가 정가(입력 3달러, 출력 15달러)의 75% 할인이며 2026년 12월 31일까지라고 적습니다. 같은 페이지에는 셀프서브 요금제에서 SWE-2가 2026년 10월 15일까지 무료이고 이후 정가가 적용된다는 문구도 있습니다. 10월 20일 현재 실제 청구가 어떻게 되는지는 계정에서 확인하지 못했습니다. 발표문은 비용을 "공개 할인 포함 목록가" 기준으로 계산했다고 밝혀서, 64%에 이 할인이 얼마나 들어갔는지도 알 수 없습니다.

월 구독료는 Devin Docs 셀프서브 요금제 기준으로 Pro 월 20달러(약 26,600원), Max 월 200달러(약 266,100원), Teams 정좌석 1명 월 40달러(약 53,200원)입니다. Pro·Teams는 일간·주간 쿼터, Max는 주간 쿼터를 주지만 쿼터의 실제 양은 문서에 없습니다. 쿼터를 넘으면 Devin Docs 쿼터 설명에 따라 모델의 API 정가로 추가 과금됩니다. 그래서 "구독료 안에서 몇 건을 풀 수 있는가"는 계산하지 못했습니다. 위 표는 쿼터 밖에서 정가로 쓸 때의 비용입니다.

SWE-1.7보다 덜 헤맨다

Cognition SWE-2 발표문에서 SWE-1.7은 첫 실제 수정까지 중앙값 48단계, SWE-2 Medium은 18단계였습니다. 평균 작업 단계는 발표문의 차트에서 SWE-1.7 127단계, SWE-2 Medium 53단계로 읽혔습니다.

Cognition은 같은 발표문에서 SWE-2 Medium이 SWE-1.7보다 높은 점수를 내면서 턴은 58% 적고 평균 비용은 81% 낮았다고 적었습니다. 단순히 모델을 작게 만드는 대신, 어디를 읽고 언제 실제 수정에 들어갈지를 더 효율적으로 판단하도록 만든 셈입니다.

지금 바로 쓸 수 있나

가능합니다. 다만 일반적인 독립 API 모델처럼 아무 에이전트에 붙이는 방식은 아닙니다.

9월 10일 공개 시점 기준 SWE-2는 Devin Desktop과 Devin CLI에서 사용할 수 있고, Devin Web과 Fusion에도 순차 적용되고 있습니다. 즉 현재는 Devin 생태계 안에서 사용하는 모델에 가깝습니다.

9월 11일 Cognition이 공개한 Fusion에서는 Fable 5.1 같은 상위 모델을 계획과 검토에 두고 SWE-2를 실행용 사이드킥으로 조합하는 방식을 권장하기도 했습니다. 이 흐름 역시 SWE-2의 포지션이 '무조건 최고 성능'보다 '상당한 성능을 더 싸게 쓰는 모델'에 가깝다는 점을 보여줍니다.

내가 쓸지 말지

제 판단은 "정가로 매일 쓰는 개인 개발자에게는 시험해 볼 가치가 있고, 아직 주력으로 바꿀 근거는 부족하다"입니다. 표의 Medium 기준으로 한 달 100건이면 Fable 5.1은 약 43만 6천원, SWE-2는 약 15만 7천원으로 차이가 약 27만 9천원입니다. 이 차이는 Max 구독(월 약 266,100원) 한 달 값과 비슷한 크기입니다. 건수가 하루 한두 건이면 차이는 월 몇만 원 수준이라 모델을 바꾸는 수고보다 작을 수 있습니다.

반대로 쓰지 말아야 할 조건도 숫자에서 나옵니다. 정답률이 같다는 근거는 FrontierCode 1.1 Main의 50.0% 대 50.9% 하나이고, 이 평가는 Cognition이 직접 만들었습니다. Terminal-Bench 4에서는 27.3% 대 55.8%로 두 배 가까이 벌어집니다. 어려운 터미널 작업에서 실패해 사람이 다시 하면, 건당 3,000원 안팎의 절감은 쉽게 사라집니다. 그래서 저라면 Fusion 방식처럼 계획과 검토는 상위 모델에, 실행은 SWE-2에 맡기는 구성으로 먼저 비용을 재 보겠습니다. 저는 SWE-2를 직접 써 보지 않았고, 이 판단은 공개 단가와 발표문 숫자만으로 한 것입니다. 쓰기 전에 본인 저장소의 작업 몇 건을 두 모델로 돌려 실제 토큰 사용량을 비교하길 권합니다.

그래서 무엇이 달라졌나

SWE-2를 단순히 새로운 최강 코딩 AI라고 부르기는 어렵습니다. Terminal-Bench 4에서는 약점이 뚜렷하고, 핵심 비용 수치도 아직 Cognition의 자체 측정치라는 한계가 있습니다.

그래도 방향은 분명합니다. 코딩 에이전트 경쟁이 이제는 최고 점수 하나보다, 실제 작업을 얼마나 적은 단계와 낮은 비용으로 끝내느냐까지 포함하는 경쟁으로 넓어지고 있습니다.

SWE-2가 지금 주목받는 이유는 50.0%라는 숫자 하나가 아니라, 상위권 코딩 성능을 유지하면서도 계산과 탐색 비용을 줄이려는 접근을 모델 학습 단계부터 밀어붙였다는 데 있습니다. 앞으로 볼 것은 독립 평가에서도 이 비용 효율이 유지되는지, 그리고 대규모 실제 코드베이스에서도 Terminal-Bench 4에서 보인 약점이 얼마나 드러나는지입니다.

출처

확인한 자료

01Introducing SWE-2: Pushing the Pareto Frontierhttps://cognition.com/blog/swe-202FrontierCode Leaderboardhttps://cognition.com/frontiercode03Introducing Fusion in Devin Desktop & CLIhttps://cognition.com/blog/local-fusion04Devin Docs — AI Models (SWE-2 단가·할인)https://docs.devin.ai/desktop/models05Devin Docs — Self-serve planshttps://docs.devin.ai/admin/billing/self-serve06Devin Docs — Quota-Based Usagehttps://docs.devin.ai/desktop/accounts/quota07대한경제 — 2026-10-19 원·달러 환율 1,330.3원https://www.dt.co.kr/article/12089944

글 검색