O relatório técnico AuK tem assinatura de Ziyang Ma, Zhikang Niu, Wenming Tu e mais de trinta coautores. Descreve um modelo fundamental de código aberto que unifica geração e edição de fala sob uma única interface.
A entrada é instrução em linguagem natural mais contexto de áudio. A saída é forma de onda.
Os autores afirmam ter construído cerca de 3,03 bilhões de instâncias instrução-áudio. Também dizem ter reunido 1,95 milhão de horas de supervisão efetiva, distribuídas em cinco famílias de tarefas.
Relatam desempenho líder em geração de fala zero-shot e controlada por instrução. Há ainda uma variante destilada, AuK-Flash, capaz de inferência em 4 passos e 4,5 vezes mais rápida em tempo de parede sob condições equivalentes.
O que os autores propõem
A proposta central é abandonar a arquitetura de "um modelo por tarefa". Síntese, edição de conteúdo, edição paralinguística, edição acústica e restauração de sinal passam a ser variações de um mesmo problema condicional.
O artigo no arXiv define esse problema comum como o mapeamento de uma instrução em linguagem natural para a forma de onda alvo. A instrução pode vir acompanhada de áudio de referência ou de áudio-fonte.
Para sustentar essa amplitude, os autores combinam três peças. Um modelo de linguagem multimodal (MLLM) produz a condição semântica.
Um VAE treinado em fala, áudio geral e música fornece um espaço latente acústico compartilhado. Um Transformer híbrido de fluxo retificado faz a geração.
Segundo o relatório, essa combinação permite geração apenas a partir de texto e edição condicionada por referência dentro do mesmo backbone. Não há cabeças separadas por tarefa.
Contexto: qual problema está sendo atacado
Os autores situam o trabalho na evolução recente da fala sintética. O percurso vai de TTS convencional para clonagem de voz zero-shot, síntese controlada por instrução e edição de fala cada vez mais flexível.
O argumento é pragmático. Em uso real, essas capacidades raramente aparecem isoladas.
Um usuário pode pedir fala em determinado estilo, substituir um trecho, mudar emoção ou sotaque, inserir vocalização não verbal, isolar um falante ou restaurar áudio degradado.
Atender cada pedido com um modelo dedicado fragmenta a experiência. Também duplica esforço de modelagem e de infraestrutura.
O relatório identifica três obstáculos técnicos para unificar tudo isso. Primeiro, as restrições de saída diferem.
Geração cria fala nova. Edição de conteúdo altera apenas regiões selecionadas.
Edições paralinguística e acústica precisam preservar o conteúdo linguístico. Separação ou realce devem manter somente os componentes de cena especificados.
Segundo, a interface de condicionamento varia. Algumas tarefas dependem só de texto.
Outras exigem raciocínio conjunto sobre instrução e áudio de origem ou referência.
Terceiro, supervisão e avaliação são heterogêneas. Acurácia de reconhecimento e similaridade de falante oferecem sinais escaláveis para geração.
Edição aberta depende de julgamentos subjetivos de naturalidade, força da edição, adequação ao contexto e preservação de atributos não especificados.
Como funciona
Do lado de dados, os autores organizam o corpus de pré-treinamento em cinco famílias. Em geração de fala, a aposta mais interessante é formular o TTS zero-shot como aprendizado em contexto sem transcrição do prompt.
Para cada falante com múltiplos enunciados, enumeram-se todos os pares não ordenados. Cada enunciado serve uma vez como prompt acústico e uma vez como alvo, gerando instâncias bidirecionais.
Na inferência, o modelo clonaria a voz a partir de um enunciado completo ou de um trecho recortado, sem depender de um ASR externo.
Para TTS por instrução, o Qwen3-Omni anota cada enunciado com legenda livre e atributos estruturados. A lista inclui gênero, idade, velocidade de fala, clareza, fluência, estado vocal, entonação, volume, timbre, pitch, sotaque, emoção e personalidade.
Em edição acústica, a supervisão vem de transformações determinísticas de processamento de sinal. São cinco multiplicadores de velocidade de fala, seis deslocamentos de volume em decibéis e seis deslocamentos de pitch em semitons.
O pipeline usa estiramento temporal que preserva pitch, mudança de pitch que preserva duração e ganho de forma de onda, com proteção de pico contra clipping.
Em edição paralinguística, os autores montam pares para emoção, timbre, remoção de sotaque, vocalizações não verbais e conversão para sussurro. As oito categorias de emoção são raiva, felicidade, tristeza, medo, surpresa, nojo, calma e excitação.
O trabalho recorre a modelos professores como Qwen3-TTS-CustomVoice, IndexTTS2, CosyVoice2, OmniVoice, F5-TTS e o corpus X-VC construído com SeedVC-Small.
Em edição de conteúdo, o pipeline usa alinhamentos em nível de palavra do Qwen3-ForcedAligner. A ferramenta mascara apenas os intervalos editados e os reconstrói com F5-TTS.
Há filtragem posterior por taxa de erro de palavra baixa.
Há também edição de letras cantadas, com YingMusic-Singer-Plus. O processo faz verificações no nível de pinyin para o chinês e preserva fronteiras e contagem de palavras para o inglês.
No treinamento, os autores descrevem um aquecimento só de geração. Depois vem pré-treinamento conjunto de geração e edição com objetivo de flow matching compartilhado.
Em seguida, duas etapas complementares de pós-treinamento.
A primeira é otimização de preferência baseada em feedback humano para edição aberta, onde não existiria dataset de preferência amplo o suficiente. A segunda é aprendizado por reforço com recompensas automáticas de correção de conteúdo, similaridade de falante e consistência de estilo para geração (Flow-GRPO).
A destilação usa inicialização por consistência e Decoupled DMD roteado por tarefa, gerando o AuK-Flash. O repositório oficial e a página do projeto acompanham o lançamento de código e pesos.
Resultados reportados
Os autores afirmam três resultados principais. Em geração de fala zero-shot e controlada por instrução, o AuK alcança desempenho líder.
Em edição guiada por instrução genérica, também lidera. Em tarefas de restauração em nível de sinal, como realce, separação e super-resolução, mantém-se competitivo, embora sem liderança declarada.
O AuK-Flash, obtido por destilação, realiza inferência em 4 passos sem classifier-free guidance. Em condições equivalentes, entrega ganho de 4,5 vezes em tempo de parede sobre o modelo completo.
Os autores também avaliam a reconstrução do AuK-VAE como parte da bateria experimental.
Vale registrar o que o material disponível não traz. Não há, no resumo nem nos trechos fornecidos, a magnitude das vantagens sobre os baselines.
Também não há a lista de benchmarks usados com seus números.
As afirmações de liderança aparecem sem margem quantitativa explícita. A comparação de velocidade é qualificada como "sob condições equivalentes".
Isso inclui o número de passos de função por avaliação do professor, não detalhado.
Limitações e o que não foi provado
A primeira limitação é metodológica, e os próprios autores a reconhecem em parte. Edição aberta depende de julgamento subjetivo.
Sem um dataset de preferência amplo, eles recorrem a feedback humano coletado internamente e a otimização de preferência sobre fluxo.
Isso é coerente, mas deixa em aberto questões de reprodutibilidade. Não se sabe quem anotou, com que critérios de concordância e com que cobertura de sotaques e idiomas.
A segunda é a dependência de professores sintéticos. Boa parte do corpus de edição emocional, timbre, remoção de sotaque e vocalizações passa por modelos geradores.
A lista inclui Qwen3-TTS-CustomVoice, IndexTTS2, CosyVoice2, OmniVoice, F5-TTS e YingMusic-Singer-Plus.
Os autores aplicam filtros, como verificação de qualidade por MOS e controle de WER. Ainda assim, o material fornecido não prova que artefatos ou vieses dos professores não sejam herdados e amplificados pelo modelo final.
Isso vale sobretudo para categorias de emoção e sotaque regional, onde a diversidade do corpus em chinês e inglês é declarada, mas não caracterizada em detalhe.
A terceira concerne às tarefas de sinal. Realce, separação e super-resolução são descritos como "competitivos", não líderes.
Isso sugere um trade-off clássico de modelos unificados: ganhar generalidade sem necessariamente igualar especialistas bem ajustados em cada domínio. O paper não demonstra, no material disponível, que a unificação não custa desempenho em cenários de mistura acústica difícil.
O ganho de 4,5x precisa ser lido com cuidado. A aceleração depende de destilação com Decoupled DMD roteado por tarefa.
O texto não quantifica, no trecho disponível, perda de qualidade do AuK-Flash em edição aberta e em tarefas de restauração frente ao modelo professor.
Por que isso importa para quem constrói com IA
Para times brasileiros que montam produtos de voz, a relevância está na interface, não no benchmark. Uma única API que aceita "fala isso com mais energia", "corta essa palavra", "remove esse ruído" e "troca o sotaque" reduz o custo de orquestração.
Hoje, um produto assim costuma exigir encadeamento de ASR, diarização, TTS, detecção de eventos e modelos de realce. Cada um tem seu formato de áudio, sua taxa de amostragem e seu modo de falha.
O AuK propõe colapsar essa cadeia em um modelo condicionado por instrução, com pesos abertos. Isso importa para quem precisa avaliar em português antes de confiar.
Há, porém, um alerta concreto. O corpus descrito é explicitamente bilíngue, em chinês e inglês.
Tudo indica que a cobertura de português brasileiro não está caracterizada no material.
Antes de adotar, vale testar clonagem zero-shot com sotaques regionais, edição de conteúdo com números e nomes próprios, e edição paralinguística de emoção em fala espontânea. A parte mais promissora para replicação local talvez seja a receita de dados.
Pares bidirecionais sem transcrição do prompt e supervisão determinística de velocidade, pitch e volume são baratos de gerar e independentes de idioma.
Referências
- MA, Ziyang; NIU, Zhikang; TU, Wenming et al. AuK Technical Report: An Open-Source Foundational Model for Speech Generation and Editing. arXiv:2609.08936, cs.SD, 2026. Disponível em: https://arxiv.org/abs/2609.08936
- Página do projeto AuK: https://auk-project.github.io/
- Código e pesos: https://github.com/Tencent-Hunyuan/AuK
- Arquiteturas e sistemas citados pelos autores: Qwen3-Omni, Qwen3-TTS-CustomVoice, Qwen3-ForcedAligner, IndexTTS2, CosyVoice2, OmniVoice, F5-TTS, SeedVC-Small, X-VC, YingMusic-Singer-Plus, MMDiT, DiT, Flow-GRPO, Decoupled DMD.
