IA — Les modèles de langage

Au programme

• Dans un modèle de langage, qu’est-ce qu’un token ?
• Lors de la génération, un modèle de langage prédit généralement le token suivant conditionnellement aux tokens déjà…
• Quel est le rôle principal de la fonction softmax appliquée aux scores de sortie d’un modèle de langage ?
• Quelle caractéristique distingue principalement l’architecture transformeur des architectures récurrentes classiques ?
• Dans un transformeur, l’attention permet à la représentation d’un token de tenir compte de certains autres tokens de…
• Dans le mécanisme d’attention, à quoi servent principalement les requêtes, les clés et les valeurs ?
• L’attention causale d’un modèle génératif autorise chaque token à consulter librement les tokens qui le suivent dans…
• Quel est l’objectif général du préentraînement autorégressif d’un modèle de langage ?