OpenGateway가 정가의 10%로 파는 deepseek/deepseek-v4.1-flash-eco. 앞선 리뷰 글에서 가격과 호출 방법을 다뤘습니다. 이 글은 그 모델을 우리 프로젝트의 표준 평가인 12문항으로 직접 재본 결과입니다.
결과는 11/12입니다(문항 세트 qv3, 2026-11-16 재측정). 12문항 전부 응답이 돌아왔고 호출 실패는 0건입니다. 문항당 중간값 5.2초, 12문항 합계 166초. 0점은 1문항입니다. 직전 측정(qv2)은 8/12였는데, 그중 3문항은 모델이 아니라 우리 채점 하네스 결함으로 0점이었습니다 — 아래 '하네스를 고친 뒤 달라진 것'에 적었습니다.
이 모델은 무엇인가
모델 ID — deepseek/deepseek-v4.1-flash-eco (OpenGateway)
서빙 — sionic-ai · 입력 text · image / 출력 text
공식 컨텍스트 / 출력 — 1,000,000 / 65,536 토큰
실효 컨텍스트 실측 — 프로브 상한 구간까지 실패 없이 통과 (문서 길이 기준 1,048,576 지점, 근사치)
가격 — 입력 $0.03 / 출력 $0.12 (백만 토큰당, 리스트가 $0.30 / $1.20에서 90% 할인)
추론 — 공식 기본 effort high → 반드시 끄고 써야 합니다 (아래 '따라 하기' 참조)
스펙·가격은 OpenGateway /v1/models 공식 값(2026-11-15 조회), 컨텍스트 실측치는 우리 프로브 결과입니다. 프로브의 문서 길이는 근사치라 정밀한 토큰 수가 아니라, 공식 컨텍스트와 같은 규모에서 상한까지 통과했는지를 본 값입니다. 둘을 섞어 적지 않았습니다.12문항은 무엇인가
지시 이행 2 · 코딩 실무 4 · 맥락 유지 2 · 에이전트(계획·도구·복구·판단) 4 = 12문항. 코딩과 에이전트에 12문항 중 8문항을 배분했고, 챗봇 글쓰기 항목은 의도적으로 줄였습니다.
LLM 심사자에게 점수를 묻지 않습니다. 문항마다 규칙 기반 채점기(함수 9개)가 판정하므로 같은 답안은 언제나 같은 점수입니다. 코딩 문항은 말로 답한 게 아니라 제출한 코드를 실제로 실행해서 판정합니다.
문항 세트 버전 qv3 · 12문항 2026-11-16 재측정 · 컨텍스트 프로브는 2026-11-15 값 인용 (OpenCode CLI 경유).
따라 하기 — 우리 환경에서 재현하는 법
OpenGateway 가입 후 API 키를 받으면, opencode 설정에 openai-compatible 프로바이더로 등록합니다.
// ~/.config/opencode/opencode.json 의 "providers" 에 추가
"opengateway": {
"package": "@opencode-ai/ai/providers/openai-compatible",
"name": "OpenGateway",
"settings": {
"baseURL": "https://apis.opengateway.ai/v1",
"apiKey": "<OPENGATEWAY_API_KEY>"
},
"models": {
"deepseek/deepseek-v4.1-flash-eco": {
"name": "DeepSeek V4.1 Flash Eco",
"body": { "reasoning_effort": "none" }
}
}
}연결 확인은 두 줄이면 끝납니다.
opencode models | grep opengateway
opencode run -m opengateway/deepseek/deepseek-v4.1-flash-eco "한 단어로 대답: PONG"`reasoning_effort: none`이 필수입니다. 공식 기본값은 high라서, 끄지 않으면 추론이 토큰 예산을 다 소진해 본문이 빈 채로 돌아옵니다 — 링크투스레드 프로덕션에서 실측한 문제입니다(없으면 content 0자). 이 글의 측정도 none 고정 상태에서 돌렸습니다.
어떤 작업에 강한가
맥락 유지 2/2 — 12,000자 문서 중간에 있던 함수명을 정확히 되받았고, 대화에서 요청한 3가지도 복원했습니다.
에이전트 4/4 — 원인 분석·우선순위 분리·4단계 계획·PR 리뷰 항목을 모두 통과했습니다. 특히 Q11은 각 단계에 screen·state_model·verify를 요구하는 스키마를 그대로 지켜 냈습니다.
지시 이행 1/2 · 코딩 실무 4/4 — 코딩 문항 네 개를 전부 통과했고, 지시 이행에서 1개가 걸렸습니다.
속도 — 문항당 중간값 5.2초, 최대 72.5초(Q12), 12문항 합계 166초. 이번 측정에는 Q12에서 60초 타임아웃이 한 번 나 180초로 재시도한 시간이 합계에 포함돼 있습니다.
다만 이 지연은 짧은 입력 기준이라 실서비스 지연으로 보면 안 됩니다. 링크투스레드 프로덕션 로그 기준 한국어 카드 생성 1건은 평균 33.2초(최대 50초)였습니다 — 입력이 긴 실서비스 조건입니다.
하네스를 고친 뒤 달라진 것
직전 측정(qv2)에서 0점이던 4문항 중 3문항은 모델의 실패가 아니라 우리 채점기 문제였습니다. 셋 다 원인을 찾아 고쳤고(qv3), 같은 모델을 다시 쟀습니다.
Q3 · 코딩 실무 — 채점기가 답안이 인용한 원본 버그 코드를 먼저 실행해 NameError로 0점을 주고 있었습니다. 요구 함수를 정의한 블록만 실행하도록 고쳤더니, 이번에는 수정 코드가 실행 검증을 통과했습니다.
Q4 · 코딩 실무 — 평가 호출이 저장소 폴더에서 돌아 모델이 이미 있는 테스트 파일을 읽고 “새로 만들면 저장소가 더러워진다”며 답변을 거부했습니다. 측정 환경 오염이었습니다. 평가 호출을 빈 임시 폴더에서 돌리도록 격리하고, 문항에도 “파일을 만들지 말고 코드로만 답하라”고 명시했습니다.
Q11 · 에이전트 — 채점기는 screen·state_model·verify 키를 요구했는데 문항 본문에는 그 키 이름이 없었습니다. 계약을 문항에 적어 넣은 뒤 다시 재니 통과했습니다(4단계 배열 형식 그대로).
지금 남은 0점은 Q1 하나입니다. 한국어 산문으로만 답하라고 했는데 본문에 영어 단어 하나(concatenation)를 그대로 썼습니다. 채점기는 백틱 인라인 코드는 통과시키지만, 맨 영어 단어는 계약 위반으로 봅니다. 형식 계약을 지키는지 보는 문항이라 이 0점은 그대로 두었습니다.
다른 모델과 비교
같은 12문항(qv3), 같은 채점 기준으로 AIKOREA24가 2026-11-16에 다시 잰 값입니다. 모델마다 최신 측정 1건만 썼습니다.
모델 | 점수 | 측정일 |
|---|---|---|
beam-free | 12/12 | 11-16 |
big-pickle | 12/12 | 11-16 |
glm-5.3-flash-free | 11/12 | 11-16 |
iceman-free | 11/12 | 11-16 |
kilo/stealth/glyph-cluster | 11/12 | 11-16 |
opengateway/deepseek/deepseek-v4.1-flash-eco ← 이번 | 11/12 | 11-16 |
k-exaone-2.5 | 9/12 | 11-16 |
이번 재측정에서 가장 높은 점수는 12/12(beam-free·big-pickle)이고, 에코는 11/12로 그 아래 3개 모델과 같은 구간입니다(glm-5.3-flash-free·iceman-free·kilo/stealth/glyph-cluster). 이 표에 실린 값은 전부 같은 날(2026-11-16) 같은 하네스(qv3)로 다시 잰 것입니다 — 하네스를 고치기 전(qv2) 값과 섞으면 비교가 성립하지 않습니다. 이 목록에서 에코만 유료 모델입니다 — 나머지는 무료 티어입니다. 이번 재측정에서 표에 못 올린 모델이 있습니다. 무료 티어 일일 한도로 측정을 끝내지 못한 모델(inkling-2-small-free 6문항, longcat-2.5-free 10문항, mimo-v2.6-flash-free 첫 문항부터, nemotron-3.5-lightning-free 첫 문항부터)은 점수가 모델 능력이 아니라 한도의 함수라 표에서 뺐습니다 · OpenCode CLI 모델 목록에서 내려가 아예 측정할 수 없었던 모델은 cat-jam-free, ll-alpha-free, muse-spark-1.3-contributor-free, nvidia/nemotron-3.5-super-vl:free, space-bunny-free입니다.
AIK24 실측 결과 (2026-11-16 재측정, qv3)
문항 | 축 | 점수 | 지연(초) |
|---|---|---|---|
Q1 | 지시이행 | 0 | 12.3 |
Q2 | 지시이행 | 1 | 4.9 |
Q3 | 코딩실무 | 1 통과 | 5.4 |
Q4 | 코딩실무 | 1 | 12.4 |
Q5 | 코딩실무 | 1 통과 | 28.5 |
Q6 | 코딩실무 | 1 통과 | 4.9 |
Q7 | 맥락유지 | 1 | 3.3 |
Q8 | 맥락유지 | 1 | 3.2 |
Q9 | 에이전트 | 1 | 3.0 |
Q10 | 에이전트 | 1 | 3.5 |
Q11 | 에이전트 | 1 | 11.8 |
Q12 | 에이전트 | 1 | 72.5 |
축별 — 지시이행 1/2 · 코딩실무 4/4 · 맥락유지 2/2 · 에이전트 4/4 = 11/12. 채점된 문항 12개, 미응답 0, 호출 실패 0입니다.
측정 조건
측정일 2026-11-16 (12문항, qv3) · OpenCode CLI 경유 · LLM 심사자 없음 · 컨텍스트 프로브는 2026-11-15 측정값을 그대로 인용했습니다.
코딩 문항 Q3·Q5·Q6은 제출 코드를 실제로 실행해 판정했습니다 (세 문항 모두 통과). 429·한도 차단은 0건 — 유료 모델이라 무료 한도가 없습니다.
결과는 model_eval_cache.json에 캐시(TTL 20시간)로 남고 model_leaderboard.json에 누적됩니다. 같은 모델을 당일에 다시 재면 캐시가 반환되므로 중복 비용이 나지 않습니다.
레퍼럴 코드로 시작하기
아래 링크로 가입하면 첫 충전 시 추천인과 가입자 모두 혜택을 받습니다. 첫 결제액의 50%(최대 100달러)를 반반으로 나누고, 첫 결제가 20달러 이상이면 각자 10달러를 추가로 받습니다. 예를 들어 200달러를 충전하면 각자 60달러씩 받습니다. 추천인은 가입 후 90일간 가입자 결제액의 2.5%를 추가로 받습니다.
레퍼럴 코드: JWMTB6NK
이 글의 링크는 필자의 레퍼럴 링크입니다. 보상은 자동으로 들어가지 않고, 가입자도 추천인도 각자 콘솔의 Referral 페이지에서 Claim as OG Credit을 눌러야 잔액에 들어갑니다. 코드는 첫 결제 전에만 입력할 수 있고, 한 번 적용하면 바꿀 수 없습니다.
참고 자료
리뷰 글 — 딥시크 V4.1 플래시 에코, 정가의 10%로 써봤습니다
마무리 — 이럴 때 쓴다 / 이럴 때 쓰지 않는다
쓴다
- 긴 문서를 한 번에 넣어야 할 때 — 공식 컨텍스트 1,000,000 토큰, 프로브 상한 통과(문서 길이 1,048,576 근사)
- 답이 빨라야 할 때 — 12문항 합계 166초, 문항당 중간값 5.2초
- 앞선 대화 맥락을 되살려야 할 때 — 맥락 유지 2/2
- 근거를 달아야 하는 원인 분석·우선순위 정리 — 에이전트 4/4
쓰지 않는다
- 본문까지 한국어 산문으로만 써야 하는 산출물 — Q1에서 영어 단어 하나(concatenation)로 0점
- 응답 지연이 곧 비용인 대화형 작업 — 이번 측정에서 Q12가 60초 타임아웃으로 한 번 끊겨 180초로 재시도했습니다(최종 72.5초)
- 이미 같은 테스트가 있는 저장소에서 중복 작업을 시킬 때 — 저장소를 읽을 수 있는 환경에서는 “새로 만들면 더러워진다”며 답변을 거부합니다
- thinking을 끄지 않은 채로 긴 작업을 맡기면 — 본문이 빈 채로 돌아온다