Haotian Ma, Ruqi Yang e Philip Townsend propõem o Spectral-Spatial Interpretation (SSI). É um método de atribuição post-hoc que devolve uma matriz completa de posição por canal.
Não devolve um heatmap espacial nem um ranking global de bandas.
A proposta trata os canais de cada posição da grade como jogadores de um jogo de Shapley. O jogo é condicionado ao contexto espacial efetivamente observado.
A relevância de uma banda varia de região para região.
Os autores relatam ganhos sobre baselines densos, flat e rank-1 em CUB-200, EuroSAT e HLS Burn Scar. Também apontam vantagem sobre um estimador MC-Owen usando cerca de 6% do orçamento de avaliação. O paper foi aceito como pôster no NeurIPS 2026.
O que os autores propõem
Ma, Yang e Townsend formulam a interpretação espectral-espacial como atribuição sobre jogadores posição-canal (g, c). Aqui g indexa uma célula da grade espacial e c um canal de entrada.
A saída do SSI não é um heatmap nem uma lista global de bandas relevantes. É uma matriz de atribuição em grade completa, definida para toda posição e todo canal.
A contribuição declarada não é uma nova regra de alocação. Os autores mantêm o valor de Shapley padrão e mudam o jogo ao qual ele é aplicado.
Para cada posição, o restante da imagem é fixado nos valores observados. O jogo passa a variar apenas os canais daquela posição.
É o que eles chamam de jogo condicional por posição.
O texto demonstra duas propriedades. O Teorema 1 caracteriza o SSI como a única atribuição sobre os canais de uma posição que satisfaz eficiência local, simetria intra-posição, jogador nulo e aditividade no jogo condicional.
O Teorema 2 estabelece a consistência de agregação contextual. Somar as atribuições de todos os canais de uma posição recupera exatamente o contraste de contexto completo.
Esse contraste vem de substituir aquela posição inteira pelo baseline. O teorema não exige monotonicidade nem hipótese arquitetural.
A Proposição 1 mostra o outro lado. Para a classe de todas as funções de valor, nenhuma regra consegue garantir ao mesmo tempo essa agregação contextual e a eficiência global.
Contexto: qual problema está sendo atacado
O paper parte de uma limitação prática. Métodos espaciais como Grad-CAM (Selvaraju et al., 2017), RISE (Petsiuk et al., 2018) e Extremal Perturbation (Fong et al., 2019) agregam canais e produzem um único mapa de calor.
Métodos espectrais ranqueiam bandas globalmente por informação mútua (Feng et al., 2014), pesos de atenção (Hu et al., 2018; Woo et al., 2018) ou escores no estilo SHAP (Lundberg e Lee, 2017). Em geral, tiram a média da relevância ao longo do espaço.
Mesmo um pipeline de dois estágios que multiplica um heatmap por um vetor global de canais assume estrutura rank-1. O mesmo perfil espectral valeria para toda a imagem.
Os autores argumentam que isso falha quando regiões distintas têm assinaturas espectrais distintas. Citam plumagem vermelha e azul em uma ave, vegetação e água em uma cena de satélite.
Em dados multiespectrais, a relevância de um canal é fisicamente localizada. Atribuição alta ao infravermelho próximo em uma borda de vegetação significa algo diferente de atribuição às bandas do visível.
O mesmo vale para o infravermelho de ondas curtas dentro de uma cicatriz de queimada.
Uma explicação útil precisaria dizer onde está a evidência, quais canais a sustentam e quanto cada canal contribui em cada local.
Como funciona
Seja f um modelo treinado e x uma entrada com C canais, com o domínio espacial particionado em uma grade de posições. O conjunto de jogadores é N = {(g, c)}.
Qualquer subconjunto S é avaliado substituindo os jogadores fora de S por um baseline de mascaramento, com uma função de valor centrada no logit da classe-alvo. Como adicionar um jogador pode aumentar ou diminuir o logit, o método não assume monotonicidade.
Para uma posição alvo g, os autores definem o jogo condicional em que apenas os canais daquela posição variam. Todas as outras posições permanecem nos valores observados.
O SSI de cada canal é simplesmente o valor de Shapley nesse jogo de poucos jogadores.
O resultado é uma matriz definida para toda célula e todo canal. Ela pode ser usada diretamente ou agregada de duas formas: somando sobre canais para obter escores espaciais e somando sobre posições para escores espectrais.
A estimação usa amostragem por permutação (Castro et al., 2009) dentro de cada posição. Há enumeração exata de todos os subconjuntos quando o número de canais é pequeno.
Em CUB-200, com três canais, o cálculo é exato.
O Apêndice A.7 situa o SSI como um extremo de uma família ponderada por contexto. O valor de Owen (1977) usa o mesmo agrupamento posição-canal, mas faz média sobre coalizões espaciais externas antes de alocar valor dentro da posição.
O SSI não faz essa média. Ele pergunta como os canais contribuem no contexto que de fato foi observado.
Resultados reportados
Os experimentos cobrem CUB-200-2011 (Wah et al., 2011), EuroSAT (Helber et al., 2019) e HLS Burn Scar (Phillips et al., 2023). As métricas são deletion e insertion AUC conjuntas, além de rank-1 deletion e grid-sum insertion.
Segundo os autores, o SSI obtém a melhor AUC conjunta de deleção e inserção nos três datasets. Isso vale tanto com baseline de média por canal quanto com baseline zero, contra baselines densos, flat e rank-1.
Em métricas agregadas, o método lidera spectral hit rates e channel deletion em EuroSAT e HLS Burn Scar. Lidera também localização espacial nos dois datasets com anotação: CUB-200 e HLS Burn Scar.
No HLS Burn Scar, o SSI supera um estimador MC-Owen usando cerca de 6% do orçamento de avaliação deste. Os autores também comparam com baselines gradiente mais fortes nesse dataset.
Avaliam faithfulness com a métrica ROAD, além dos estudos qualitativos de caso.
Limitações e o que não foi provado
A limitação mais explícita é teórica e vem dos próprios autores. A Proposição 1 mostra que agregação contextual exata e eficiência global não podem ser garantidas ao mesmo tempo para toda função de valor.
O SSI escolhe a primeira. Ele explica posição por posição, mas não aloca o valor total da predição entre todas as posições da imagem.
Os contrastes de contexto completo de posições diferentes não precisam somar o valor total em jogos com interação.
Há também custo computacional. O método resolve um jogo local por posição e depende de amostragem por permutação.
O número de forward passes cresce com o produto entre posições da grade e permutações. O Apêndice B.3 reporta essas contagens por imagem.
O estimador é não enviesado, mas tem variância de Monte Carlo. Os limites de concentração apresentados são empíricos.
O escopo empírico é limitado a três datasets e aos modelos avaliados. A localização espacial anotada existe em apenas dois deles.
A escolha do baseline, zero ou média por canal, altera as atribuições. Os autores reportam ambos sem eleger um critério definitivo.
O SSI condiciona ao contexto observado em vez de estimar expectativas condicionais, na linha discutida por Aas et al. (2022).
Canais correlacionados podem dividir crédito de formas que não correspondem a efeito causal. As métricas de deleção e inserção continuam sendo proxies de faithfulness.
Por que
Referências
- Paper completo: arXiv:2610.21114
