K-EXAONE 2.5 후속 — 추론 설정을 낮추고 다시 재봤더니 7/12

LG AI Research의 K-EXAONE 2.5를 추론 설정을 낮춰 다시 측정했습니다. 12문항으로 직접 돌려본 결과 7/12를 맞혔습니다. 결론부터 말하면 보조 용도로만 권합니다.

LG AI Research의 K-EXAONE 2.5를 추론 설정을 낮춰 다시 측정했습니다. 12문항으로 직접 돌려본 결과 7/12를 맞혔습니다. 결론부터 말하면 보조 용도로만 권합니다.

이 글은 K-EXAONE 2.5 1차 실측의 후속 글입니다. 1차에서는 12문항 중 3문항이 응답 시간 초과로 빠져 5/12로 기록됐습니다.

바꾼 것은 세 가지입니다 — reasoning_effort 를 low 로, temperature 를 0.7 로 맞추고, 문항당 시간 예산을 300초로 올렸습니다. 결과는 7/12, 응답 실패 0문항입니다. 1차에서 실패했던 문항이 이번엔 답을 냈습니다. 능력 문제가 아니라 시간 문제였습니다.

k-exaone-2.5가 뭔가

  • 모델 ID — exaone/k-exaone-2.5 (API 모델명 k-exaone_v2.5)
  • 이번 호출 옵션 — reasoning_effort: low, temperature: 0.7, 문항당 최대 300초
  • 컨텍스트 — 524,288 토큰 (설정값) · 실측 하한 524,288 (1차에서 측정)
  • 가격 — 입력·출력 0 — 무료 API 키로 접근
  • 지원 — 도구 호출 · 추론 강도 변형(#high/#max) 선택

가중치 공개 여부·학습 데이터·파라미터 수는 확인하지 않았습니다. 제조사 공식 자료로 대조하지 않은 값은 쓰지 않았습니다.

스펙은 OpenCode 설정에 적힌 값입니다(2026-11-11). 제조사 공식 문서로 대조하지는 않았습니다.

5분 안에 써보기

터미널 두 줄이면 확인됩니다.

opencode models | grep k-exaone-2.5
opencode run -m exaone/k-exaone-2.5 "한 단어로 대답: PONG"

어떤 작업에 강한가

  • 긴 대화·긴 문서 기억 (맥락 유지 2/2) — 12,000자 문서 중간의 함수명을 정확히 되받았고, 앞선 대화의 요청 3가지도 빠짐없이 복원했습니다. 1차에서 부연 설명을 붙여 감점됐던 문항이 이번엔 통과했습니다.
  • 코드 수정·리팩터링 (코딩 실무 2/4) — 중복 함수를 묶는 리팩터링과 로그 파서 작성은 제출 코드를 실제로 실행해 통과했습니다.
  • 장애 원인 서술 (에이전트 2/4) — 타임아웃 원인을 한 문장으로 정리하고 diff까지 냈습니다.

어디서 걸리는가

12문항 중 5문항은 점수를 받지 못했습니다.

  • Q4 · 코딩 실무 — 지시 미이행입니다. pytest 테스트를 새로 쓰라는 요청에 이미 있는 테스트를 다시 돌리겠다며 새 파일을 만들지 않았습니다. 222초를 썼지만 요구를 충족하지 못했습니다.
  • Q11 · 에이전트(계획·도구·복구·판단) — 형식 실패입니다. 4단계 계획은 만들었지만 JSON 최상위를 배열이 아니라 객체로 감쌌습니다(285.4초).
  • Q12 · 에이전트(계획·도구·복구·판단) — 채점기 오탐입니다. 답변은 '지금 바로(메일·느린 쿼리) / 오늘은 미뤄도 됨(버튼)'으로 정확히 나눴는데, 근거 문장의 '나중에'라는 단어 때문에 채점기가 그룹을 뒤집었습니다(152.9초).
  • Q1은 형식 실패(고정 문자열·영문 식별자), Q3는 코드 실행 실패입니다.

한도에는 걸리지 않았습니다. 대신 응답 시간이 그대로 병목입니다 — 12문항 합계 17분, 가장 느린 문항이 285초였습니다.

응답이 가장 느렸던 문항입니다. 같은 모델·같은 조건입니다.

  • 문항 11 — 285초
  • 문항 4 — 222초
  • 문항 12 — 153초
  • 문항 5 — 97초
  • 문항 3 — 63초

다른 무료 모델과 비교

같은 12문항, 같은 채점 기준으로 AIKOREA24가 실측한 값입니다. 모델마다 최신 측정 1건만 씁니다.

모델

결과

측정일

cat-jam-free

10/12

10-16

iceman-free

10/12

11-08

beam-free

9/12

10-28

kilo/stealth/glyph-cluster

9/12

10-28

inkling-2-small-free

9/12

11-09

big-pickle

8/12

10-20

mimo-v2.6-flash-free

8/12

11-11

k-exaone-2.5

7/12

11-11

glm-5.3-flash-free

6/12

10-18

ll-alpha-free

5/12

10-16

k-exaone-2.5는 이번 조건(문항당 최대 300초)에서 12문항 전부 응답을 받은 7/12입니다.

한도와 비용 확인하는 법

무료라고 적혀 있어도 한도가 붙습니다. 실제로 확인하는 순서는 이렇습니다.

  1. 설정에서 이 모델의 가격이 0인지 확인합니다 — 무료 표시가 없으면 유료 경로입니다.
  2. opencode run -m exaone/k-exaone-2.5 "한 단어로 대답: PONG"로 연결을 확인합니다(3~4초).
  3. 문항당 타임아웃을 300초 이상으로 두십시오. 기본 60초로는 긴 문항이 잘려 점수가 실제보다 낮게 나옵니다 — 1차 측정이 그랬습니다.

AIK24 실측 결과 (2026-11-11)

항목

값

모델 ID

k-exaone-2.5

결과

7/12

축별

지시 이행 1/2 · 코딩 실무 2/4 · 맥락 유지 2/2 · 에이전트(계획·도구·복구·판단) 2/4

검증 방법

OpenCode CLI로 12문항 호출 · 문항별 결정적 채점 · 코드 문항은 실제 실행

니들 컨텍스트 실측 하한

524,288 토큰

토큰 사용량

CLI 경유로 측정되지 않음 (미측정)

12문항은 지시 이행 2 · 코딩 실무 4 · 맥락 유지 2 · 에이전트(계획·도구·복구·판단) 4로 구성됩니다. LLM 심사자에게 점수를 묻지 않고 문항마다 규칙 기반으로 채점했고, 코드 문항은 제출 코드를 실제로 실행했습니다. 긴 문서 요약 품질, 다국어 정확도, 이미지 입력은 이 평가에 포함되지 않습니다.

참고 자료

마무리 — 이럴 때 쓴다 / 이럴 때 쓰지 않는다

쓴다

  • 한국어 문서를 읽고 요약·정리할 때 (응답이 올 때까지 기다릴 수 있는 작업)
  • 앞선 대화 맥락을 오래 유지해야 하는 작업 — 맥락 유지 2/2
  • 정답이 하나로 정해지지 않은 설명형 답변이 필요할 때

쓰지 않는다

  • 응답 시간이 중요한 대화형 작업 — 가장 느린 문항이 285초였습니다
  • 형식이 정확히 정해진 산출물(마지막 줄 고정 문자열, JSON 최상위 구조)
  • 여러 문항을 연속으로 돌리는 자동 평가·배치 작업 — 12문항에 17분이 걸립니다

1차 5/12와 이번 7/12의 차이는 대부분 시간 예산에서 나왔습니다. 모델을 평가할 때 타임아웃을 먼저 의심하지 않으면 능력을 과소평가한다는 것이 이번 측정의 결론입니다.