The Lattice Representation Hypothesis of Large Language Models

En 3 lignesUne hypothèse propose que les LLM encodent des treillis de concepts (lattices) dans leur géométrie d'embeddings. Le cadre unifie la Linear Representation Hypothesis avec l'Analyse Formelle de Concepts (FCA), montrant que les directions d'attributs linéaires induisent des treillis via intersections d'hyperplans. Expériences sur WordNet valident que les embeddings capturent les structures logiques et hiérarchiques.

Résumé généré par Claude — vérifié par l'humain