런웨이, 비디오 AI를 로봇 제어기로 변환하는 오픈소스 프락시스-1 공개

런웨이(Runway)가 비디오 생성 AI 기술을 로봇 공학에 접목한 새로운 오픈소스 모델 '프락시스-1(Praxis-1)'을 전격 공개했습니다

런웨이(Runway)가 비디오 생성 AI 기술을 로봇 공학에 접목한 새로운 오픈소스 모델 '프락시스-1(Praxis-1)'을 전격 공개했습니다. 이번 모델은 아파치 2.0 라이선스로 가중치와 소스 코드가 모두 개방되어 누구나 로봇 제어 연구에 활용할 수 있는 토대를 마련했습니다. 비디오 학습을 통해 습득한 물리적 세계에 대한 이해를 로봇의 동작 제어로 연결하는 이 기술은, 인공지능이 실제 물리 환경에서 로봇을 얼마나 효과적으로 통제할 수 있는지 보여주는 중요한 사례입니다.

1. 프락시스-1의 기술적 핵심 — 비디오에서 로봇 제어로

프락시스-1은 기존의 비디오 생성 모델이 가진 물리적 인지 능력을 로봇 제어기(Controller)로 전환하는 데 초점을 맞췄습니다. 로봇이 주변 환경을 인식하고 행동하려면 방대한 양의 데이터를 학습해야 하는데, 프락시스-1은 비디오 데이터를 통해 얻은 물리적 법칙과 움직임에 대한 지식을 로봇의 액션으로 변환합니다. 이는 로봇이 처음 마주하는 환경에서도 비디오 학습을 통해 얻은 일반적인 물리적 상식(Common Sense)을 바탕으로 행동을 결정할 수 있도록 돕습니다.

런웨이가 공개한 프락시스-1 공식 소개 페이지에 따르면, 이 모델은 로봇이 단순히 정해진 경로를 따라가는 것을 넘어, 실제 영상 데이터 속에 담긴 다양한 동작의 맥락을 이해하도록 설계되었습니다. 개발자들은 이제 영상 데이터를 활용해 로봇의 동작을 시뮬레이션하거나 실제 로봇 하드웨어에 적용하는 실험을 더 자유롭게 수행할 수 있습니다.

2. 성능 지표 — 엔비디아 RoboLab-120 벤치마크

프락시스-1은 출시와 동시에 엔비디아의 로봇 제어 관련 벤치마크에서 두각을 나타냈습니다. 특히 'RoboLab-120' 벤치마크는 다양한 로봇의 제어 모델 성능을 평가하는 기준으로 사용되는데, 프락시스-1은 이 중 월드 액션 모델(World Action Model) 부문에서 1위를 기록했습니다. 이는 비디오 데이터 기반의 로봇 제어 모델로서 현재 기술적 우위를 점하고 있음을 의미합니다.

평가 항목

프락시스-1 기록

비고

RoboLab-120 월드 액션 모델 순위

1위

엔비디아 벤치마크 기준

라이선스 방식

아파치 2.0

상업적 활용 및 수정 가능

핵심 학습 데이터

비디오 데이터

물리적 세계 표현 학습

오픈소스 제공 범위

가중치 및 소스 코드

Hugging Face 및 GitHub 제공

위 표에서 확인할 수 있듯이, 프락시스-1은 오픈소스 생태계에서 매우 개방적인 접근 방식을 취하고 있습니다. 엔비디아 RoboLab 리더보드를 확인하면 해당 모델이 어떤 환경에서 우수한 성능을 보이는지 구체적인 비교 데이터를 직접 확인할 수 있습니다.

3. 한계점과 기술적 당면 과제

프락시스-1이 뛰어난 인지 및 제어 성능을 보여주지만, 현재 기술 단계에서 해결해야 할 명확한 과제도 존재합니다. 가장 대표적인 제약 사항은 '복잡한 동작 순서의 계획(Planning)' 능력입니다. 로봇이 단일 동작을 수행하는 데는 탁월한 성능을 보이지만, 여러 단계가 얽힌 복합적인 과제를 스스로 순차적으로 계획하고 실행하는 능력은 아직 부족한 상황입니다.

예를 들어, 단순히 물체를 집어 옮기는 동작은 가능할 수 있으나, 주변 환경을 먼저 정리하고 물체를 분류한 뒤 최종적으로 특정 위치에 배치하는 식의 고도화된 추론이 필요한 작업에서는 추가적인 알고리즘 보완이 필요합니다. 런웨이 측에서도 이러한 한계를 인지하고 있으며, 향후 커뮤니티의 오픈소스 기여를 통해 이러한 계획 수립 능력을 고도화할 계획입니다.

4. 로봇 공학 연구자를 위한 활용 가이드

연구자나 개발자들은 Hugging Face 컬렉션에서 프락시스-1의 가중치를 다운로드할 수 있으며, 실제 구현에 필요한 소스 코드는 GitHub 저장소를 통해 확인할 수 있습니다. 이 모델은 로봇 제어 연구뿐만 아니라, 컴퓨터 비전과 로봇 공학이 만나는 접점에서의 다양한 실험 환경을 구축하는 데 최적화되어 있습니다.

로봇 제어 모델을 처음 접하는 사용자라면 먼저 GitHub 저장소의 'README' 파일을 통해 로컬 환경에서의 실행 조건을 확인해야 합니다. 비디오 데이터와 로봇 동작 데이터 간의 매핑을 어떻게 수행하는지 예제 코드를 따라가는 것만으로도, 기존 로봇 제어 방식과 비디오 AI 기반 방식의 차이를 즉시 파악할 수 있습니다.

5. 참고 자료

마무리 — 바로 시작할 3단계 실행 가이드

오늘 바로 프락시스-1을 살펴보고 자신의 연구 환경에 도입하는 3단계를 소개합니다.

  1. GitHub 저장소에 접속하여 전체 코드를 복제(clone)하고 필수 의존성 패키지를 설치합니다.
  2. Hugging Face 컬렉션에서 제공하는 사전 학습된 가중치 파일을 다운로드하여 로컬 프로젝트 경로에 배치합니다.
  3. 제공된 예제 스크립트를 실행하여 비디오 데이터가 로봇의 동작 지시자로 어떻게 변환되는지 출력을 확인합니다.

프락시스-1은 비디오와 로봇 공학의 결합을 연구하는 분들에게 강력한 도구가 될 것입니다. 다만, 복잡한 동작 계획 수립 능력은 아직 개발 중인 영역이므로, 단일 동작 제어 테스트부터 시작하는 것을 권장합니다. 현재까지 검증되지 않은 항목인 '실제 산업 현장의 대규모 로봇 군집 제어'에 대한 적용 가능성은 추후 커뮤니티의 검증 결과를 지켜봐야 합니다.