Rodar modelos Mixture-of-Experts de escala de fronteira em um PC com GPU de consumo é um exercício de contorcionismo de memória. Os pesos não cabem na VRAM.
Transbordam para a RAM e, quando nem isso basta, chegam ao SSD.
O Tideway, preprint de Yifei Wang, Tsun-yu Yang e colegas no arXiv (2611.14848, categoria cs.OS), ataca esse problema. Trata VRAM e RAM como um único pool de memória e reorganiza o layout dos experts conforme a fase de inferência: prefill ou decode.
Os autores relatam ganhos médios de 1,97x em latência fim a fim e de 2,40x em Time-to-First-Token contra a linha de base mais rápida que testaram.
O que os autores propõem
O artigo tem 12 páginas e 11 figuras. É um preprint de sistemas e parte de duas metas de projeto declaradas.
A primeira é maximizar a capacidade efetiva de memória somando VRAM e RAM, com layouts que mudam dinamicamente para evitar thrashing entre camadas. A segunda é sustentar execução eficiente na GPU durante prefill e decode mesmo com paginação de experts vinda do SSD.
Para isso, o Tideway combina dois componentes co-projetados. O primeiro é um gerenciador de memória que trata VRAM e RAM como um pool unificado, com o SSD como armazenamento de apoio fora do núcleo.
Ele mantém uma tabela de residência (Residency Table) com a localização de cada expert, um controlador de layout de fase e um motor de transferência assíncrona.
O segundo é um motor de execução com caminhos especializados: um pipeline de prefill em streaming e grafos de decode cientes de paginação. A promessa central é não exigir que o pool completo de experts caiba na RAM do host, premissa de sistemas anteriores como o FreeToken, e ainda assim preservar o replay de CUDA Graphs.
O código-fonte está público em GitHub.com/Afterglow231/Tideway.
Contexto: qual problema está sendo atacado
Os autores levantam dados de quatro fontes de 2026: desktops com RTX 5090 à venda, submissões do 3DMark, hosts do BOINC e a Steam Hardware Survey. O material sustenta que 16–64 GiB de RAM é o mainstream.
Essa faixa cobre de 64% a 84% das três populações com RTX 5090 e 99% das máquinas Steam. Mais de 128 GiB aparece em no máximo 11% dos casos.
Cotações de desktops pré-montados mostram o custo dessa escalada. A fronteira fica abaixo de US$ 10 mil até 128 GiB, mas dobra para cerca de US$ 26 mil em 256 GiB e chega a aproximadamente US$ 41 mil em 512 GiB.
Provisionar RAM suficiente para residência total do modelo não é o padrão realista do usuário.
Quando o modelo não cabe, carregar experts do SSD entra no caminho crítico de cada forward pass. No prefill, um prompt longo ativa quase todo o pool de experts de todas as camadas a cada chunk, inflando o TTFT.
No decode, poucos experts são acionados por passo, mas qualquer expert ausente trava o passo e aumenta o tempo por token de saída.
A crítica dos autores aos sistemas existentes é específica. O FreeToken otimiza as duas fases separadamente, mas assume o pool completo em RAM e não tem fallback quando ele ultrapassa a memória do host.
O llama.cpp delega a paginação ao sistema operacional via arquivos mapeados em memória, com granularidade de página em vez de expert, e sofre thrashing quando o working set chega ao SSD.
O FlashMoE suporta inferência com lastro em SSD, mas sua política de substituição aprendida ainda degrada sob varredura completa do modelo no prefill. O SSD-LLaMA reduz overhead de carregamento com compressão e transferências assíncronas, porém mantém um layout fixo entre as fases, desperdiçando capacidade.
Os números de motivação são concretos. Com DeepSeek-V4-Flash em FP4 (155 GiB) numa RTX 5090, as linhas de base leem a maior parte do modelo do armazenamento independentemente do tamanho da RAM.
Num cenário de prompt de 32K e 1K tokens de saída com 64 GiB de RAM, o SSD fornece de 86% a 99% do tráfego de experts no prefill, embora a RAM abrigue 44% do pool. No decode, o llama.cpp gasta 92% do tempo computando experts na CPU, enquanto as demais linhas de base são dominadas por orquestração de CPU e stalls de GPU.
Como funciona
A ideia central é que VRAM e RAM formem um pool único, com deduplicação de experts entre as camadas e uso de banda PCIe bidirecional. Em vez de simplesmente descartar um expert expulso da VRAM, o sistema pode rebaixá-lo para a RAM do host, evitando um recarregamento futuro a partir do SSD.
No prefill, o controlador de layout muda o pool para o Prefill Layout. Na VRAM, o pipeline reserva uma região de ativação e um double buffer para staging de pesos, tomando emprestado o espaço do cache de experts do decode.
Na RAM, os experts residentes são "ancorados" contra evicção para serem reaproveitados entre chunks, e uma pequena janela de streaming é reservada para experts que chegam do SSD. O motor de transferência preenche o double buffer alternadamente, sobrepondo a entrega de pesos de uma camada com a computação da anterior.
No decode, o layout é reconfigurado. As regiões emprestadas da VRAM voltam a ser slots de experts em endereços fixos, e a RAM é gerenciada como cache LRU.
Cada expert pode residir só na VRAM, só na RAM ou em ambas.
Os grafos de decode resolvem os experts roteados por camada e consultam a tabela de residência. Em caso de falta, o motor de transferência rebaixa a vítima da VRAM para a RAM enquanto busca o expert no SSD e, em seguida, o promove para o slot fixo.
Como o gerenciador devolve ao motor de execução apenas índices de slots, os kernels capturados podem ser reproduzidos diretamente sobre esses endereços. Isso preserva o replay de CUDA Graphs mesmo sob paginação.
Resultados reportados
A avaliação usa uma NVIDIA RTX 5090 com 32 GB de VRAM, orçamentos de RAM de 16 a 128 GiB e três modelos abertos: Qwen3.6-35B-A3B, Gemma4-26B-A4B e DeepSeek-V4-Flash. São 270 configurações de forma fixa, com entradas de 4K a 128K tokens e saídas de 128 a 2K tokens, além de replays de oito sessões multi-turno de agentes de código do TraceLab.
Segundo os autores, o Tideway obtém speedup médio de 1,97x e máximo de 3,18x em latência fim a fim sobre a linha de base mais rápida em todas as configurações de forma fixa. Os ganhos médios são de 2,40x em TTFT e 1,61x em throughput de decode.
Nos replays de sessões de agentes, a redução no tempo total de processamento das requisições chega a 3,14x. No prefill, o sistema reduz o tráfego vindo do SSD para 52%, contra 86%–99% das linhas de base.
Limitações e o que não foi provado
Trata-se de um preprint, sem revisão por pares. Todos os números acima são afirmações dos autores.
A avaliação se concentra em uma única plataforma, uma RTX 5090 com 32 GB, e em três modelos MoE. Não há, no material, testes em GPUs AMD, em Apple Silicon, em configurações multi-GPU ou em cenários multiusuário, o que restringe a generalidade das conclusões.
A dependência de CUDA Graphs é ao mesmo tempo o principal mecanismo de ganho e uma amarra de portabilidade. Os benefícios de execução descritos valem para o ecossistema NVIDIA.
O comportamento nas transições entre prefill e decode é descrito qualitativamente, mas o material não quantifica o custo dessas reconfigurações sob cargas curtas e interativas. Também não há medição de consumo energético, de custo total de propriedade nem de impacto em qualidade.
A paginação não altera os pesos, mas essa invariante não é verificada empiricamente no extrato disponível.
Comparar com quatro sistemas exige controle fino de versões e configurações. O artigo não detalha neste material como esses ajustes foram equalizados.
Por que isso importa para quem constrói com IA
A relevância prática está na aritmética de quem quer manter dados on-device. Se agentes de código e fluxos de trabalho de longa duração passam a rodar localmente, o gargalo deixa de ser apenas "o modelo cabe?".
Passa a ser "quanto custa cada token quando ele não cabe?".
O Tideway ataca exatamente essa segunda pergunta. Mira a métrica que mais afeta a percepção de uso: o TTFT, que define se um agente local parece responsivo ou travado.
Para equipes que planejam capacidade, a escolha entre comprar mais RAM e aceitar paginação em SSD não é binária. Um gerenciador ciente de fase pode tornar 64 GiB de RAM bem mais úteis do que a intuição sugere.
Para quem integra modelos, vale acompanhar se os ganhos se sustentam em hardwares fora do ecossistema CUDA e em cargas com prompts curtos, onde o custo de reconfiguração pode pesar. Para o ecossistema brasileiro, que costuma operar com orçamento de hardware limitado, a linha de pesquisa de inferência eficiente em memória restrita é diretamente aplicável, desde que os resultados passem pelo escrutínio de revisão por pares.
Referências
- WANG, Yifei; YANG, Tsun-yu; XU, Yechen; YE, Hancheng; WANG, Qinsi; ZHOU, Baijun; CHEN, Tingjun; LI, Hai "Helen"; ZHUO, Danyang; CHEN, Yiran. Tideway: Phase-Aware Tiered Memory Management for MoE Inference on Consumer Devices. arXiv:2611.14848 [cs.OS], 2026. Disponível em: arXiv.org/abs/2611.14848.
- Código-fonte do projeto: GitHub.com/Afterglow231/Tideway.
- Trabalhos citados pelos autores como linhas de base e fontes de dados: FreeToken (Yang et al., 2026), llama.cpp (Gerganov e outros, 2023), FlashMoE (Kim et al., 2026), SSD-LLaMA (Liang et al., 2026), TraceLab (Zhu et al., 2026), além de Steam Hardware Survey, BOINC, UL Solutions/3DMark e TrendForce.




