Functional Attention : de la similarité par paires aux correspondances fonctionnelles

Les auteurs proposent Functional Attention, une reformulation du mécanisme d'attention dans les transformers inspirée des cartes fonctionnelles géométriques. Plutôt que de traiter les champs continus comme des tokens discrets, la méthode établit des correspondances entre bases adaptatives via des opérateurs linéaires structurés. Cette approche produit une représentation compacte, invariante à la résolution, et généralisable. Les expériences montrent des performances compétitives sur la résolution d'EDP, la segmentation 3D et la régression.