Hallucinations as Orthogonal Noise: Inference-Time Manifold Alignment via Dynamic Contextual Orthogonalization
Nouvelle méthode d'inférence DCO (Dynamic Contextual Orthogonalization) pour réduire les hallucinations dans les LLM. Basée sur l'hypothèse que les hallucinations sont du bruit orthogonal au manifold sémantique du residual stream. Testée sur Llama-3 (8B/70B) avec gains sur XSum, NQ-Swap, IFEval et TriviaQA.