쿤룬테크, 게임 엔진에 실시간 영상 AI를 결합한 'Matrix-Game 4.0' 오픈소스 공개

쿤룬테크가 게임 엔진과 실시간 AI 영상 렌더링을 결합한 Matrix-Game 4.0을 오픈소스로 공개했어요.

중국 쿤룬테크(스카이워크 AI)가 10월 15일 게임 엔진과 실시간 AI 영상 렌더링을 하나로 묶은 오픈소스 시스템 'Matrix-Game 4.0'을 공개했어요. 회사 설명에 따르면 소비자용 그래픽카드인 엔비디아 RTX 5090 한 장으로 480p 해상도의 게임플레이를 초당 60프레임으로 돌릴 수 있고, 입력부터 화면 반응까지의 지연 시간도 150밀리초 미만이라고 해요.

구조가 꽤 흥미로운데요. 월드 상태와 물리, 상호작용 규칙은 기존처럼 게임 엔진이 맡고, 영상 생성 모델이 단순한 로우폴리 화면을 받아서 디테일한 비주얼로 바꿔 그려 주는 방식이에요. 여기에 코딩 에이전트가 붙어서 플레이어가 말로 지시한 내용을 새로운 게임 규칙과 프롬프트로 옮겨 주기 때문에, 게임플레이 자체와 AI가 그리는 그래픽을 함께 바꿀 수 있대요. 이번 공개에는 모델 가중치와 추론 코드, 브라우저 데모, 슈팅·드라이빙 시나리오용 게임 에셋까지 포함됐어요.

팀은 앞으로 해상도를 높이고, 지원하는 게임 장르를 넓히며, 여러 플레이어가 같은 화면을 일관되게 보는 멀티플레이 경험도 연구할 계획이라고 밝혔어요. 아직 480p라 실제 상용 게임에 바로 쓰기는 어렵지만, 로우폴리 블록아웃 위에 AI로 룩을 입히는 '뉴럴 렌더링' 방식을 누구나 직접 실험해 볼 수 있게 됐다는 점에서 아트 파이프라인의 미래를 가늠해 볼 수 있는 소식이에요.

원문: TechNode