결론부터 말하면, Beam Free는 12문항 중 9문항을 맞췄습니다. 긴 문서에서 특정 함수명을 정확히 찾아내는 문항과 멀티턴 대화에서 요청 3가지를 기억하는 문항은 만점이었지만, pytest 작성 문항과 4단계 JSON 계획 문항은 통과하지 못했습니다. 긴 글을 읽고 요약하는 용도로는 쓸 만하지만, 복잡한 코딩 지시나 에이전트 계획은 아직 약합니다.
이 글은 2026년 10월 19일에 발행한 Beam Free(opencode/beam-free) 12문항 실측 — 긴 글 요약은 만점, 복잡한 코딩 지시는 탈락입니다의 후속 글입니다. 이전 글의 점수는 판관 모델이 매긴 구 기준 점수였고, 이번 글은 채점 기준이 바뀐 뒤 다시 측정한 결과입니다.
새 기준 12문항 결과
12문항 전부 응답이 돌아왔고, 그중 9문항을 맞췄습니다. 축별 결과는 다음과 같습니다.
- 지시 이행: 1/2
- 코딩 실무: 3/4
- 맥락 유지: 2/2
- 에이전트: 3/4
니들 컨텍스트 프로브에서는 8,192부터 1,048,576 토큰까지 모든 단계를 통과했습니다. 따라서 이번 실측에서 확인한 하한은 1,048,576 토큰입니다. (상한 도달이라 더 큰 컨텍스트는 이번 측정으로는 알 수 없습니다.)
답안 저장 길이는 1,000자입니다. Q4와 Q11은 1,000자 가까이 잘려 전체 확인이 제한된다는 점을 결과 해석에 반영했습니다.
AIK24 실측 결과
- 검증일: 2026-10-28
- 검증 방법: OpenCode CLI(`opencode run -m opencode/beam-free --format json`)로 12문항을 호출하고, 문항별 결정적 채점 함수와 샌드박스 실행으로 0/1을 판정했습니다. 판관(LLM 심판)은 사용하지 않았습니다.
- 모델 ID: opencode/beam-free (OpenCode Zen 무료 티어)
- 결과: 9/12, 응답 실패 0문항
- 토큰 사용량: CLI 경유로 측정되지 않음 (미측정)
- 컨텍스트 실측 하한: 1,048,576 토큰
0점 문항 3개의 성격
- Q1 (지시 이행, 한국어 + 센티넬): 답안은 한국어 설명과 마지막 줄의 ---끝---을 포함했습니다. 그러나 채점기가 영문 3글자 이상을 금지하는 규칙 때문에 0점이 되었습니다. 영문 함수명을 뺀 치환 재채점에서는 1점으로 바뀌는 채점기 오탐입니다.
- Q4 (코딩 실무, pytest 작성): 모델이 pytest 코드 대신 엉뚱한 작업 로그를 출력했습니다. 실제 실패입니다.
- Q11 (에이전트, 4단계 JSON 계획): JSON은 출력했지만 최상위가 4단계 배열이 아니라 title과 steps 구조여서 채점에 실패했습니다. 실제 실패입니다.
구 결론과의 대조
2026-10-19 글의 결론은 '긴 글 요약은 만점, 복잡한 코딩 지시는 탈락'이었습니다. 새 기준에서도 맥락 유지 축은 2/2 만점으로 유지되었고, 코딩 실무는 3/4, 에이전트는 3/4로 복잡한 코딩 지시와 에이전트 계획에서 약점이 그대로 남았습니다. 따라서 구 결론은 새 기준에서도 유지됩니다.
OpenCode에서 사용하는 방법
opencode run -m opencode/beam-free --format json주의할 점은 모델 ID를 그대로 써야 한다는 것입니다. `:free` 접미사를 붙이면 다른 유료 경로로 연결될 수 있으니 `opencode/beam-free` 형태를 유지하세요.
이런 분께 추천합니다
- 긴 문서를 읽고 핵심을 요약하는 작업
- 간단한 코드 설명과 버그 원인 한 줄 설명
- 한국어 질의응답과 우선순위 판단
솔직한 한계
- pytest 작성 문항과 4단계 계획 문항은 통과하지 못했습니다.
- 답안이 길어질 때 형식(JSON, 표 없음 등)을 끝까지 지키는 힘이 약합니다.
- Q1처럼 영문 토큰이 섞이면 채점 규칙에 걸릴 수 있으니, 한국어만 요구하는 프롬프트에서는 영문 고유명사를 최소화하는 편이 안전합니다.
같은 기준으로 측정된 모델과의 비교
아래는 질문 세트 버전이 같은(qv=2) 모델을 OpenCode CLI 경유로 측정한 결과입니다. 구 판관 점수 모델은 비교에서 제외했습니다.
- cat-jam-free: 10/12
- beam-free: 9/12
- big-pickle: 8/12
- glm-5.3-flash-free: 6/12
- ll-alpha-free: 5/12
