Casa assombrada da NVIDIA conversa com visitantes via Nemotron

Casa assombrada da NVIDIA conversa com visitantes via Nemotron

Em 30 de outubro de 2026, o blog da NVIDIA no Hugging Face apresentou o MonsterHouse, uma instalação de Halloween que transforma a porta de uma garagem em uma criatura falante. O projeto foi assinado por Rick Grandy e Maryam Motamedi e descrito como uma brincadeira de quem queria que as crianças que batem à porta interagissem de um jeito diferente: em vez de um susto, uma conversa com um prédio velho e rabugento.

A solução encontrada foi dar uma boca à porta da garagem e ensiná-la a reclamar.

A premissa é simples e bem-humorada. O MonsterHouse escuta quem chega pedindo doces, responde com a voz de um velho navio pirata mal-humorado e, segundo o relato, amolece quando o visitante lembra das boas maneiras e diz "por favor".

O sistema completo está publicado no blog da NVIDIA no Hugging Face e usa exclusivamente modelos abertos da família Nemotron, além de componentes de fala e animação da própria empresa.

Uma boca de madeira com personalidade

O ponto de partida foi visual. O autor imaginou as tábuas da porta da garagem se abrindo em lábios irregulares, com chamas iluminando a entrada sempre que a criatura abrisse a boca.

O objetivo declarado era fazer o personagem parecer antigo, expressivo e levemente ofendido com a simples existência de visitantes.

Para dar conta disso, a animação facial é feita com o NVIDIA Audio2Face-3D, que converte o áudio da fala em movimento de boca dentro do Unreal Engine 5. Ou seja, a voz sintetizada não é apenas reproduzida por um alto-falante: ela move a boca de madeira projetada na fachada, sincronizando o texto falado com a expressão da criatura.

Como o sistema ouve, pensa e fala

A base de conversação é o NVIDIA Nemotron Voice Agent, que coordena todas as etapas do fluxo em uma única estação de trabalho. O pipeline é dividido em quatro funções principais.

A escuta fica a cargo do Nemotron 3 ASR, na variante de streaming em inglês com 0,6 bilhão de parâmetros, publicada em formato GGUF quantizado. A compreensão e a geração das respostas usam o Nemotron 3.5 Bolt E4B 4GB, um modelo de linguagem aberto e pequeno voltado a agentes conversacionais, ajustado com um adaptador LoRA que entrega a personalidade resmungona do personagem.

A fala é sintetizada pelo NVIDIA Magpie TTS Zeroshot, que gera cada resposta a partir de uma amostra curta de referência da voz do personagem, sem necessidade de treinamento dedicado. Na camada de percepção, o Nemotron 3 Nano Omni descreve as fantasias dos visitantes, enquanto YOLO e ByteTrack contam e acompanham as pessoas que passam pela entrada.

Todo esse conjunto roda em um único computador, equipado com uma NVIDIA RTX PRO 6000 Blackwell Max-Q e uma RTX PRO 4000 Blackwell.

O que o experimento revela sobre agentes de voz

O aspecto mais interessante do MonsterHouse não é o efeito de Halloween em si, mas a demonstração de arquitetura. Um agente de voz completo — captura de áudio, reconhecimento de fala, raciocínio em linguagem natural, síntese de voz e animação facial, cabe em uma workstation local, sem depender de uma pilha de serviços em nuvem.

Isso importa para aplicações que exigem latência baixa, como atendimento presencial, quiosques e instalações interativas.

O uso de um adaptador LoRA para definir o temperamento do personagem também aponta um caminho prático: em vez de treinar um modelo novo para cada cliente ou cenário, basta ajustar um modelo pequeno já disponível. A combinação com um TTS zeroshot, que clona uma voz a partir de poucos segundos de referência, reduz o custo de criação de personagens falantes.

O projeto é uma exploração criativa, não um produto. O próprio post trata o MonsterHouse como uma brincadeira de fim de outubro, publicada com os modelos, o repositório do agente de voz e as instruções técnicas abertas.

Ainda assim, o conjunto de escolhas, modelos abertos, inferência local, hardware Blackwell e integração com motor gráfico, serve como referência para quem pretende montar instalações interativas sem sair do ecossistema da NVIDIA.

Fontes e links

Matéria publicada originalmente em Hugging Face

Últimas Notícias

Ele montou um Tamagotchi de IA por US$ 50 antes da Meta
Apple não quer “lançar IA por lançar IA”, diz novo CEO John Ternus
datasette-llm 0.1a9 herda modelo padrão do LLM e encurta setup de agentes
Falha no ChatGPT permitia sequestrar contas via HTML previews