L'Effet de Récence du LLM

L'effet de récence (ou biais de récence) est un phénomène cognitif observé chez les grands modèles de langage (LLM) 

qui fait que les informations placées à la fin d'un prompt exercent une influence disproportionnée sur la réponse générée, par rapport aux informations situées plus haut dans le message 1, 2.

Voici les détails clés pour approfondir ce concept selon les sources :

1. L'impact de la position

Les recherches indiquent que la sensibilité du modèle à la position des données est telle que les derniers exemples fournis dans un prompt de type "few-shot" (apprentissage par l'exemple) peuvent avoir 2 à 3 fois plus d'influence sur le résultat final que les premiers exemples 2. En raison de ce biais, le modèle a tendance à imiter plus fidèlement le style, le format ou le contenu de ce qu'il a "lu" en dernier 2.

2. Le phénomène du "Lost in the Middle"

L'effet de récence fait partie d'une dynamique plus large de l'attention des modèles, souvent représentée par une courbe en U :

Effet de primauté : Le modèle retient très bien le début du prompt 3.

Phénomène du milieu perdu (Lost in the Middle) : La précision chute radicalement (souvent de 20 à 30 %) pour les informations situées au milieu d'un long contexte 3.

Effet de récence : La performance remonte à la fin, rendant cette zone critique pour les instructions finales 1, 4.

3. Applications pratiques pour l'ingénierie de prompts

Pour contrer ce biais ou l'utiliser à votre avantage, plusieurs stratégies sont recommandées :

La technique du "Sandwich" (Refocus) : Pour les prompts longs, il est essentiel de répéter la question principale ou l'objectif final tout à la fin, juste avant que le modèle ne commence sa génération 5, 6. Cela permet de "recentrer" l'attention du modèle sur la tâche à accomplir après qu'il a traversé une grande masse de données contextuelles 5.

Ordre des exemples : Si vous utilisez des exemples pour guider le modèle, placez les plus pertinents ou les plus complexes à la fin pour maximiser leur impact pédagogique sur la sortie 2.

Transition vers la solution : La fin du prompt doit fermement marquer la transition entre l'explication du problème et sa résolution. Utiliser des déclencheurs comme "Solution :" ou une question directe à la fin force le modèle à passer en mode "résolveur" plutôt qu'en mode "élaboration de contexte" 6, 7.

4. Pourquoi cela arrive-t-il ?

Les LLM sont des moteurs de prédiction séquentiels qui génèrent un jeton (token) à la fois. Comme chaque nouveau mot est prédit en fonction de tous les mots précédents, les derniers mots du prompt constituent le contexte le plus immédiat et le plus "frais" pour le calcul statistique du mot suivant 1, 8, 9.