VT2025 PrompTEng Fiche

Prompt Engineering : comment mieux parler aux IA pour les rendre plus intelligentes

Auteurs

Enzo Perrin – contact : enzo.perrin1@etu.univ-grenoble-alpes.fr

Arthur Mermet – contact : Arthur.Mermet-Grandfille@etu.univ-grenoble-alpes.fr

Résumé

Le prompt engineering désigne l’ensemble des méthodes permettant de formuler efficacement des instructions à destination des grands modèles de langage. Puisque les LLM réagissent fortement à la manière dont une demande est rédigée, la conception de prompts adaptés devient essentielle pour contrôler, orienter ou expliquer leur comportement. Cette présentation expose les techniques fondamentales (zero-shot, few-shot, Chain-of-Thought), les approches récentes (Tree-of-Thought, Graph-of-Thought, Self-Refine) ainsi que les méthodes visant à réduire les hallucinations (RAG, CoVe). Elle met également en avant les perspectives d’automatisation du prompt engineering afin d’aboutir à des processus plus systématiques.

Mots-clés

IA, LLM, prompt engineering, Chain-of-Thought, RAG, automatisation, raisonnement, hallucinations

Abstract

Prompt engineering refers to the set of techniques used to design effective instructions for large language models. Since LLM behaviour varies greatly depending on input phrasing, crafting precise prompts is crucial to guide and control their output. This presentation reviews core prompting techniques (zero-shot, few-shot, Chain-of-Thought), recent reasoning frameworks (Tree-of-Thought, Graph-of-Thought, Self-Refine), and strategies to mitigate hallucinations (RAG, Chain-of-Verification). It also presents emerging approaches in automatic prompt optimization, aiming to make prompt engineering a systematic and scalable discipline.

Keywords

AI, LLM, prompt engineering, reasoning, RAG, CoT, optimization

Synthèse

Le prompt engineering s’impose aujourd’hui comme un domaine incontournable pour exploiter efficacement les grands modèles de langage (LLMs) tels que ChatGPT ou Claude. Ceux-ci comprennent le langage naturel, mais la qualité de leurs réponses dépend de manière critique de la manière dont l’utilisateur formule sa demande. Le prompt agit ainsi comme un véritable « programme linguistique », configurant temporairement le modèle sans en modifier les poids internes. Cette perspective permet de comprendre que les LLM ne devinent pas les intentions : ils interprètent uniquement le texte qu’on leur fournit.

Les prompts peuvent être classés en deux grandes catégories. Les prompts manuels, basés sur des instructions explicites en langage naturel, représentent la forme la plus intuitive. Les prompts appris, quant à eux, sont des représentations vectorielles optimisées pour activer certaines zones latentes du modèle. Ils permettent d’adapter un modèle sans nécessiter un réentraînement massif, ce qui réduit les coûts computationnels.

Parmi les techniques fondamentales, trois approches dominent. Le zero-shot prompting consiste à poser une question sans fournir d’exemple. Le modèle doit alors déduire la tâche à partir de son entraînement préalable. Le few-shot prompting, au contraire, s’appuie sur quelques démonstrations incorporées dans le prompt, ce qui améliore notablement la précision dans des tâches spécialisées. Enfin, la méthode Chain-of-Thought (CoT) demande explicitement au modèle d’exprimer son raisonnement étape par étape. Cette approche augmente fortement la performance sur les problèmes complexes, notamment en mathématiques, où elle peut atteindre des gains significatifs de précision.

Les travaux récents vont plus loin en cherchant à structurer le raisonnement des LLM. Le Tree-of-Thought (ToT) fait explorer au modèle plusieurs chemins possibles de réflexion, comme un arbre de décision. Le Graph-of-Thought (GoT), inspiré des structures de graphes, relie des idées de manière non linéaire et imite plus fidèlement la cognition humaine. Une autre innovation majeure est Self-Refine, où le modèle critique sa propre réponse, l’évalue puis la corrige. Ces approches visent à pallier les limites du raisonnement séquentiel traditionnel.

Les hallucinations constituent l’un des principaux défis des LLM. Les modèles peuvent inventer des faits plausibles mais faux. Pour réduire ces erreurs, deux stratégies sont particulièrement efficaces. Le RAG (Retrieval-Augmented Generation) consiste à enrichir le prompt avec des documents externes pertinents, ajoutant un contexte factuel fiable. Le Chain-of-Verification (CoVe) pousse le modèle à relire et vérifier sa propre sortie au moyen d’un second raisonnement indépendant. Ces techniques permettent de diminuer les erreurs factuelles d’environ 20 % en moyenne.

Une autre tendance majeure concerne l’automatisation du prompt engineering. Des méthodes comme APE (Automatic Prompt Engineer) permettent au modèle de générer et optimiser automatiquement ses propres prompts via des algorithmes d’apprentissage par renforcement. OPRO, quant à lui, utilise les LLM en tant qu’outils d’optimisation capables d’améliorer itérativement la qualité de prompts candidats. L’objectif à long terme est de transformer le prompt engineering, aujourd’hui encore largement artisanal, en un processus reproductible, rigoureux et partiellement automatisé.

La présentation met également l’accent sur les bonnes pratiques de conception. Il est essentiel de ne pas mélanger dans un même prompt l’objectif, le format et les contraintes, sous peine de produire une instruction confuse. Il convient aussi d’éviter de laisser au modèle des décisions indéterminées ou ambiguës. De même, fournir suffisamment de contexte est crucial : un LLM n’a ni perception du monde ni mémoire persistante, et chaque élément de contexte joue le rôle d’un sens artificiel. En ce sens, « trop » de contexte vaut souvent mieux que « pas assez ».

Enfin, les perspectives futures incluent le développement du contexte engineering, qui vise à structurer précisément les informations fournies aux modèles afin d’obtenir des réponses plus fiables et plus cohérentes. Dans l’ensemble, le prompt engineering se positionne comme la nouvelle interface entre l’humain et l’intelligence artificielle, permettant plus de contrôle, moins d’erreurs et une meilleure adaptabilité des systèmes IA.

Références commentées

Sahoo et al. (2025), "A Systematic Survey of Prompt Engineering in Large Language Models" Une synthèse structurée et exhaustive sur l’état de l’art en prompt engineering. Présente les techniques de base, les méthodes avancées et les perspectives futures. Source théorique principale de la présentation.

Gerstenberger et al. (2024), "Graph of Thoughts" Introduit le cadre GoT, une alternative non linéaire à Chain-of-Thought, permettant de structurer des raisonnements complexes sous forme de graphes conceptuels.