Comment un grand modèle de langage génère-t-il une réponse ?
Comprendre les grands modèles de langage comme des systèmes de continuation automatique du texte, et voir pourquoi votre entrée influence leur sortie.
Vous avez sans doute souvent entendu l’expression « grand modèle de langage », ou LLM, pour Large Language Model. Beaucoup parlent d’« intelligence artificielle ». Est-ce juste ? De quoi s’agit-il vraiment ? Pourquoi cela ressemble-t-il à l’intelligence artificielle des films de science-fiction ?
1. Un système de continuation automatique du texte
Pour faire simple, imaginez un LLM comme un système de continuation automatique du texte. Par exemple, vous posez cette question à un LLM, comme DeepSeek ou ChatGPT :
Le modèle effectue une série de calculs. Mais son fonctionnement diffère peut-être de ce que vous imaginez. Il ne « réfléchit » pas. Il utilise des calculs pour prédire le « caractère » le plus probable après cette question.
Pour « Quel temps fait-il à Guangzhou aujourd’hui ? », une génération peut, par exemple, produire « A » comme prochain caractère.
Après avoir produit « A », le modèle utilise « Quel temps fait-il à Guangzhou aujourd’hui ?A » comme nouvelle entrée. Il calcule le prochain caractère, obtient « u », puis « Quel temps fait-il à Guangzhou aujourd’hui ?Au ». Il poursuit ces calculs jusqu’au résultat final.
Voici, en gros, le déroulement :
Dans le produit, vous voyez finalement une réponse de ce type :
Ce principe explique pourquoi les produits utilisant un LLM affichent les réponses caractère par caractère.
2. À quoi sert cette notion ?
Ce principe simple aide à comprendre pourquoi tant de techniques de prompt engineering sont apparues au début des produits LLM, notamment à l’époque de GPT-3.5.
Pour une traduction, par exemple, vous pouvez faire précéder le texte anglais d’une instruction comme : « Vous êtes spécialiste de la traduction entre l’anglais et le chinois. Traduisez le texte anglais suivant… ». Ces instructions, ou prompts, visent à augmenter la probabilité d’obtenir une réponse satisfaisante.
Pourquoi ?
Pour interagir avec l’IA, il faut exprimer sa demande par écrit. Sans connaître les notions concernées, il est difficile de formuler des exigences claires. Autrement dit, il est difficile de poser une bonne question ou de donner des instructions adaptées. Des consignes vagues ou erronées produisent naturellement des réponses médiocres, voire fausses.
Cliquez sur chacun des deux boutons ci-dessous. Ils ouvrent des menus contenant les mêmes éléments, mais leur apparence est très différente. Lequel offre la meilleure expérience ?
Sans connaissances en programmation ou en conception de produit, vous pourriez vous limiter à cette phrase : « Quand on clique sur le bouton, afficher un menu avec trois boutons : Menu A, B et C. »
Le modèle produira probablement le résultat statistiquement le plus probable, qui risque d’être banal. Avec les connaissances adaptées, vous pouvez lui donner des instructions précises pour améliorer sa sortie.
C’est ce que ce cours veut vous apprendre.