4 min read

NVIDIA Nemotron 3.5 Lightning — 1M 컨텍스트의 고속 무료 AI 모델

30B의 몸집으로 1M 컨텍스트를 번개처럼 처리하는 NVIDIA의 실행 계층 모델.

30B 파라미터의 작은 몸집, 3B만 활성화되는 MoE 구조, 최대 100만 토큰 컨텍스트. NVIDIA가 에이전트 시대를 위해 만든 "실행 계층" 모델을 무료로 써보세요.

NVIDIA라는 회사

NVIDIA는 세계 최대의 GPU 제조사입니다. AI 붐의 최대 수혜자로, 데이터센터용 AI 칩 시장의 90% 이상을 장악하고 있습니다. CEO 젠슨 황(Jensen Huang)은 2026년 7월 "무료 AI는 하드웨어에 좋다(free AI should be great for hardware)"고 공개적으로 선언하며 오픈 모델 전략을 천명했습니다. 오픈 모델이 널리 쓰일수록 GPU 수요가 늘어난다는 계산입니다.

Nemotron 3.5 Lightning은 이 선언 이후 NVIDIA가 내놓은 첫 오픈소스 모델입니다. 가중치뿐만 아니라 학습 데이터와 레시피까지 공개하는 파격적인 행보입니다.

Nemotron 3.5 Lightning 스펙

항목

내용

전체 파라미터

30B (31.6B)

활성 파라미터

3B (토큰당)

아키텍처

MoE + Mamba-2 + Attention 하이브리드

컨텍스트

최대 1,000,000 토큰

출시일

2026년 8월 11일

라이선스

OpenMDW-1.1 (상업적 사용 허용)

학습 데이터

20조 토큰 이상

"Lightning"의 의미는 속도입니다. NVIDIA에 따르면 동급 크기 모델 대비 최대 4배 빠른 출력을 냅니다. NVFP4 양자화 버전에서는 초당 약 670토큰의 속도가 실측됐습니다. 단일 H100에서 초당 4,730토큰이라는 수치도 발표됐습니다.

MoE(Mixture-of-Experts) 구조가 핵심입니다. 30B 전체를 다 쓰는 게 아니라, 토큰마다 3B의 전문가(expert)만 활성화합니다. 작은 모델의 속도와 큰 모델의 능력을 동시에 노린 설계입니다.

주요 특징

1. 에이전트 실행 계층에 특화

Nemotron 3.5 Lightning은 "항상 켜져 있는(always-on)" AI 에이전트의 실행 계층을 맡도록 설계됐습니다. 에이전트가 하는 일의 대부분은 거창한 추론이 아니라 도구 호출(tool call), 결과 검증, 하위 에이전트 위임 같은 반복 작업입니다. 이런 고빈도 작업을 빠르고 싸게 처리하는 게 Lightning의 역할입니다.

NVIDIA는 함께 공개한 NeMo Switchyard라는 오픈소스 라우팅 라이브러리로 이 철학을 구현합니다. 계획·오케스트레이션은 큰 모델(Nemotron 3 Ultra)에게, 실행은 Lightning에게 자동 분배하는 구조입니다.

2. 1M 토큰 컨텍스트

최대 100만 토큰의 컨텍스트를 지원합니다. 긴 코드베이스 전체를 한 번에 읽히거나, 방대한 문서를 통째로 분석할 때 유용합니다. (단, 풀 1M은 8x H100급 하드웨어가 필요하고, 단일 H100에서는 256K까지 검증됐습니다.)

3. 에이전트 벤치마크 강세

  • SWE-bench Verified: 51.56
  • MMLU Pro: 81.94
  • GPQA Diamond: 75.44
  • PinchBench: 85.37

특히 에이전트 평가에서 전작(Nemotron 3 Nano) 대비 큰 도약을 이뤘습니다. Artificial Analysis Intelligence Index에서 24점을 기록해 OpenAI의 gpt-oss-120b(24)와 동급, 4배 큰 Nemotron 3 Super(26)에 근접했습니다.

4. 추론 모드 on/off

채팅 템플릿에서 enable_thinking=True/False로 추론 모드를 켜고 끌 수 있습니다. 간단한 작업에서는 추론을 꺼서 속도를 더 올릴 수 있습니다.

무료로 사용하는 방법

OpenCode에서 /models를 입력하거나 Ctrl → X → M을 순서대로 눌러 모델 선택 화면을 엽니다.

모델 목록에서 NVIDIA: Nemotron 3.5 Lightning (free) (Kilo)를 선택합니다. 선택하면 즉시 적용됩니다.

CLI로 직접 호출할 수도 있습니다:

opencode run -m kilo/nvidia/nemotron-3.5-lightning:free "한 단어로 대답: PONG"

주의: 모델 ID 끝의 :free를 반드시 포함하세요. OpenRouter에도 같은 모델이 등록되어 있지만 과금 경로가 다르므로 Kilo의 것을 선택하세요.

2026-10-15 실측: 위 명령으로 호출 성공, 응답 PONG 확인.

이런 분께 추천

  • AI 에이전트를 만드는 개발자: 도구 호출·결과 검증 같은 반복 작업을 빠르고 저렴하게 처리하고 싶을 때
  • 긴 문서를 다루는 분: 1M 컨텍스트로 대용량 코드베이스나 문서를 통째로 분석
  • 속도가 중요한 분: 실시간 응답이 필요한 챗봇·코딩 어시스턴트
  • 오픈소스 선호자: 가중치·데이터·레시피가 공개되어 파인튜닝·커스터마이징 가능

Nemotron 3 Ultra와의 차이점

3.5 Lightning

3 Ultra

크기

30B (3B 활성)

550B급 (추정)

역할

실행 계층 (빠른 반복 작업)

계획·오케스트레이션 (심층 추론)

속도

최대 4배 빠름

상대적으로 느림

컨텍스트

1M

1M

관계

Ultra에서 증류(distill)됨

Lightning의 "스승" 모델

한 문장으로 정리하면: Ultra가 두뇌라면, Lightning은 손발입니다. 복잡한 계획은 Ultra가 세우고, 실제 도구 호출과 실행은 Lightning이 번개처럼 처리하는 구조를 NVIDIA는 권장합니다.

AIK24 실측 결과

항목

내용

검증일

2026-10-15 (EVAL-07)

검증 방법

OpenCode CLI 실제 호출

모델 ID

kilo/nvidia/nemotron-3.5-lightning:free

결과

PASS — 정상 응답 확인

솔직한 한계: 30B급이라 심층 추론·복잡한 계획 수립은 Ultra에 못 미칩니다. 1M 컨텍스트 풀 활용에는 8x H100급이 필요하고, 단일 H100에서는 256K까지만 검증됐습니다.

이 글은 AIK24 무료 모델 리스트의 일부입니다. 전체 목록은 [무료 AI 모델 페이지](https://emdash.aikorea24.kr/posts/free-models)에서 확인하세요.

Continue reading