LG AI Research의 K-EXAONE 2.5를 추론 설정을 낮춰 다시 측정했습니다. 12문항으로 직접 돌려본 결과 7/12를 맞혔습니다. 결론부터 말하면 보조 용도로만 권합니다.
이 글은 K-EXAONE 2.5 1차 실측의 후속 글입니다. 1차에서는 12문항 중 3문항이 응답 시간 초과로 빠져 5/12로 기록됐습니다.
바꾼 것은 세 가지입니다 — reasoning_effort 를 low 로, temperature 를 0.7 로 맞추고, 문항당 시간 예산을 300초로 올렸습니다. 결과는 7/12, 응답 실패 0문항입니다. 1차에서 실패했던 문항이 이번엔 답을 냈습니다. 능력 문제가 아니라 시간 문제였습니다.
k-exaone-2.5가 뭔가
- 모델 ID —
exaone/k-exaone-2.5(API 모델명k-exaone_v2.5) - 이번 호출 옵션 —
reasoning_effort: low,temperature: 0.7, 문항당 최대 300초 - 컨텍스트 — 524,288 토큰 (설정값) · 실측 하한 524,288 (1차에서 측정)
- 가격 — 입력·출력 0 — 무료 API 키로 접근
- 지원 — 도구 호출 · 추론 강도 변형(
#high/#max) 선택
가중치 공개 여부·학습 데이터·파라미터 수는 확인하지 않았습니다. 제조사 공식 자료로 대조하지 않은 값은 쓰지 않았습니다.
스펙은 OpenCode 설정에 적힌 값입니다(2026-11-11). 제조사 공식 문서로 대조하지는 않았습니다.
5분 안에 써보기
터미널 두 줄이면 확인됩니다.
opencode models | grep k-exaone-2.5
opencode run -m exaone/k-exaone-2.5 "한 단어로 대답: PONG"어떤 작업에 강한가
- 긴 대화·긴 문서 기억 (맥락 유지 2/2) — 12,000자 문서 중간의 함수명을 정확히 되받았고, 앞선 대화의 요청 3가지도 빠짐없이 복원했습니다. 1차에서 부연 설명을 붙여 감점됐던 문항이 이번엔 통과했습니다.
- 코드 수정·리팩터링 (코딩 실무 2/4) — 중복 함수를 묶는 리팩터링과 로그 파서 작성은 제출 코드를 실제로 실행해 통과했습니다.
- 장애 원인 서술 (에이전트 2/4) — 타임아웃 원인을 한 문장으로 정리하고 diff까지 냈습니다.
어디서 걸리는가
12문항 중 5문항은 점수를 받지 못했습니다.
- Q4 · 코딩 실무 — 지시 미이행입니다. pytest 테스트를 새로 쓰라는 요청에 이미 있는 테스트를 다시 돌리겠다며 새 파일을 만들지 않았습니다. 222초를 썼지만 요구를 충족하지 못했습니다.
- Q11 · 에이전트(계획·도구·복구·판단) — 형식 실패입니다. 4단계 계획은 만들었지만 JSON 최상위를 배열이 아니라 객체로 감쌌습니다(285.4초).
- Q12 · 에이전트(계획·도구·복구·판단) — 채점기 오탐입니다. 답변은 '지금 바로(메일·느린 쿼리) / 오늘은 미뤄도 됨(버튼)'으로 정확히 나눴는데, 근거 문장의 '나중에'라는 단어 때문에 채점기가 그룹을 뒤집었습니다(152.9초).
- Q1은 형식 실패(고정 문자열·영문 식별자), Q3는 코드 실행 실패입니다.
한도에는 걸리지 않았습니다. 대신 응답 시간이 그대로 병목입니다 — 12문항 합계 17분, 가장 느린 문항이 285초였습니다.
응답이 가장 느렸던 문항입니다. 같은 모델·같은 조건입니다.
- 문항 11 — 285초
- 문항 4 — 222초
- 문항 12 — 153초
- 문항 5 — 97초
- 문항 3 — 63초
다른 무료 모델과 비교
같은 12문항, 같은 채점 기준으로 AIKOREA24가 실측한 값입니다. 모델마다 최신 측정 1건만 씁니다.
모델 | 결과 | 측정일 |
|---|---|---|
cat-jam-free | 10/12 | 10-16 |
iceman-free | 10/12 | 11-08 |
beam-free | 9/12 | 10-28 |
kilo/stealth/glyph-cluster | 9/12 | 10-28 |
inkling-2-small-free | 9/12 | 11-09 |
big-pickle | 8/12 | 10-20 |
mimo-v2.6-flash-free | 8/12 | 11-11 |
k-exaone-2.5 | 7/12 | 11-11 |
glm-5.3-flash-free | 6/12 | 10-18 |
ll-alpha-free | 5/12 | 10-16 |
k-exaone-2.5는 이번 조건(문항당 최대 300초)에서 12문항 전부 응답을 받은 7/12입니다.
한도와 비용 확인하는 법
무료라고 적혀 있어도 한도가 붙습니다. 실제로 확인하는 순서는 이렇습니다.
- 설정에서 이 모델의 가격이 0인지 확인합니다 — 무료 표시가 없으면 유료 경로입니다.
opencode run -m exaone/k-exaone-2.5 "한 단어로 대답: PONG"로 연결을 확인합니다(3~4초).- 문항당 타임아웃을 300초 이상으로 두십시오. 기본 60초로는 긴 문항이 잘려 점수가 실제보다 낮게 나옵니다 — 1차 측정이 그랬습니다.
AIK24 실측 결과 (2026-11-11)
항목 | 값 |
|---|---|
모델 ID |
|
결과 | 7/12 |
축별 | 지시 이행 1/2 · 코딩 실무 2/4 · 맥락 유지 2/2 · 에이전트(계획·도구·복구·판단) 2/4 |
검증 방법 | OpenCode CLI로 12문항 호출 · 문항별 결정적 채점 · 코드 문항은 실제 실행 |
니들 컨텍스트 실측 하한 | 524,288 토큰 |
토큰 사용량 | CLI 경유로 측정되지 않음 (미측정) |
12문항은 지시 이행 2 · 코딩 실무 4 · 맥락 유지 2 · 에이전트(계획·도구·복구·판단) 4로 구성됩니다. LLM 심사자에게 점수를 묻지 않고 문항마다 규칙 기반으로 채점했고, 코드 문항은 제출 코드를 실제로 실행했습니다. 긴 문서 요약 품질, 다국어 정확도, 이미지 입력은 이 평가에 포함되지 않습니다.
참고 자료
마무리 — 이럴 때 쓴다 / 이럴 때 쓰지 않는다
쓴다
- 한국어 문서를 읽고 요약·정리할 때 (응답이 올 때까지 기다릴 수 있는 작업)
- 앞선 대화 맥락을 오래 유지해야 하는 작업 — 맥락 유지 2/2
- 정답이 하나로 정해지지 않은 설명형 답변이 필요할 때
쓰지 않는다
- 응답 시간이 중요한 대화형 작업 — 가장 느린 문항이 285초였습니다
- 형식이 정확히 정해진 산출물(마지막 줄 고정 문자열, JSON 최상위 구조)
- 여러 문항을 연속으로 돌리는 자동 평가·배치 작업 — 12문항에 17분이 걸립니다
1차 5/12와 이번 7/12의 차이는 대부분 시간 예산에서 나왔습니다. 모델을 평가할 때 타임아웃을 먼저 의심하지 않으면 능력을 과소평가한다는 것이 이번 측정의 결론입니다.