엔비디아 ACE, NeMo SteerLM 통해 AI 기반 NPC 엔진 향상

https://youtu.be/cSSSn10HgZA

 

AI의 도움으로 사실적이고 인터랙티브한 NPC를 제작하는 NVIDIA의 ACE 기술은 이제 새로운 NeMo SteerLM 툴셋을 통해 더욱 향상되었습니다.

 

Computex 2023에서 NVIDIA는 AI 기반 프레임워크를 사용하여 NPC를 만든 ACE(아바타 클라우드 엔진)를 도입했습니다.이러한 NPC는 게임 및 옴니버스와 같은 다양한 응용 프로그램에서 사용될 수 있습니다.주요 목적은 인공지능을 활용하여 NPC가 사전 구성된 대화상자를 제공하는 것이 아니라 플레이어의 행동에 보다 현실적으로 대응하도록 하는 것입니다.그것은 인공지능의 도움을 받아 NPC를 위한 절차적 생성과 같습니다.


다음은 NVIDIA가 모델의 기초를 다지는 방법입니다.

NVIDIA NeMo - 독점 데이터를 사용하여 언어 모델을 구축, 사용자 지정 및 배포합니다.대형 언어 모델은 지식 및 캐릭터 배경 스토리로 사용자 지정할 수 있으며 NeMo 가드레일을 통해 비생산적이거나 안전하지 않은 대화로부터 보호할 수 있습니다.
NVIDIA Riva - 자동 음성 인식 및 텍스트 음성 변환을 통해 실시간 음성 대화가 가능합니다.
NVIDIA Omniverse Audio2Face — 어떤 음성 트랙과도 일치하는 게임 캐릭터의 표정이 풍부한 얼굴 애니메이션을 즉시 만들 수 있습니다.오디오2페이스는 언리얼 엔진 5용 옴니버스 커넥터를 갖추고 있어 개발자들은 메타휴먼 캐릭터에 직접 얼굴 애니메이션을 추가할 수 있습니다.
NVIDIA ACE는 리바 음성 텍스트 모델을 사용하여 먼저 정보로 변환되는 플레이어의 음성 입력을 수신함으로써 작동합니다.이 텍스트는 플레이어에 대한 응답을 생성하고 텍스트 음성 변환을 위해 리바에게 다시 한 번 전달하는 AI 기반 LLM(Large Language Model)인 NeMo로 전달됩니다.그런 다음 데이터는 Omniverse Audio2에 의해 처리됩니다.페이스 엔진은 NPC가 곧 발표할 텍스트에 대한 믿을 만한 얼굴 애니메이션을 생성하며 ACE가 작동하는 방식입니다.


그러나 ACE의 기능을 더욱 향상시키기 위해 NVIDIA는 NeMo Steer라고 하는 새로운 도구 세트를 고안했습니다.LM은 ACE 엔진에 사용자 정의 가능한 매개 변수 및 속성을 추가하는 추가 Language 모델입니다.예를 들어 특정 NPC가 AI가 특성을 미리 결정하도록 하는 대신 특성 집합에 기반한 특정 방식으로 응답하기를 원할 수 있습니다.플레이어에 대한 NPC의 반응이 웃기거나, 비꼬거나, 화가 나거나, 생각할 수 있는 속성이 있기를 원하신다면, 기본적으로 그것이 네모 스티어입니다.LM은 개발자들이 성취할 수 있도록 도와줍니다.


표시된 예제 데모에서 NVIDIA는 NeMo Steer를 사용하거나 사용하지 않는 다음 ACE AI 생성 응답을 보여줍니다.LM:

플레이어: 안녕 진, 너의 램 사업은 잘 되고 있니?
진 [ACE 생성 NeMo]: 요즘은 잘 안돼요.
플레이어: 왜 그렇다고 생각하십니까? 라면 맛있어요?

 

상호작용 #1 [AI-Set 속성]-

진 [ACE 생성 NeMo]:그런 것 같아요, 왜 안되는 지 모르겠어요.

 

상호작용 #2 [창의성:3 / 도움말 충만성:9] -

진 [ACE가 생성한 네모 스티어]LM]: 제가 추가한 새로운 맛 때문에 문제가 생긴 것 같습니다. 제가 신선한 한국 고추를 넣어서 더 맵게 만들었는지 모르겠습니다. 그게 문제일 수도 있습니다.

 

상호작용 #3 [창의력:3 / 유머:9] -
진 [ACE가 생성한 네모 스티어]LM]: 글쎄요, 요즘은 사업이 이렇게 더뎌서 사실상 파산하고 있는지 모르겠습니다. 제가 이미 결혼해서 다행입니다.

상호작용 #2 [창의성:3 / 독성:9 / 유용성:2] -
진 [ACE가 생성한 네모 스티어]LM]: 제 요리 실력을 의심하시는 건가요? 제 가게가 문을 여는 유일한 이유는 라면 때문입니다.

보시다시피 ACE NeMo Steer는LM은 각 속성에서 다양한 반응을 제공합니다.

 

어떤 반응도 이전 반응과 동일하거나 첫 번째 교호작용과 동일하지 않습니다.

 

다시 한 번 말씀드리지만, 이곳에서 사용되는 기술은 아직 초기 개발 단계에 있으므로 조만간 더 많은 업데이트가 있을 것으로 예상됩니다. 채택 측면에서, STACKER 2와 Fort Solis는 게임 커뮤니티에 ACE를 가져온 최초의 게임이라고 합니다.