Aussi appelé :
architecture Transformer · Transformers · réseau de neurones Transformer · modèle Transformer
Terme IAAvancé
🧠 Concepts fondamentaux
Mis à jour le
Le Transformer est une architecture de réseau de neurones basée sur le mécanisme d'attention, permettant de traiter des données séquentielles en parallèle pour capturer les relations contextuelles globales dans un texte.
📖 Définition
Le Transformer est une architecture de réseau de neurones introduite en 2017 par des chercheurs de Google, et c'est la fondation de pratiquement tous les grands modèles de langage actuels comme GPT, Claude et Gemini. Son innovation clé est le mécanisme d'attention, qui permet au modèle de regarder toutes les parties d'un texte en même temps plutôt que mot par mot. Cela rend le traitement beaucoup plus rapide et efficace, surtout pour comprendre les relations entre des mots éloignés dans une phrase. Le nom vient du titre de l'article fondateur : Attention Is All You Need.
💬 En termes simples
C'est une machine capable de lire une phrase entière d'un coup et de comprendre les relations entre tous les mots simultanément.
🎯 Exemple concret
Comprendre que le mot « avocat » désigne le fruit ou le métier selon les autres mots de la phrase.
💡 Le saviez-vous ?
C'est l'architecture révolutionnaire (le « T » de GPT) inventée par Google en 2017 qui a tout changé.
Avant le Transformer, les modèles lisaient les textes mot après mot, ce qui était lent et limitait la mémoire à court terme. Le Transformer traite tout le bloc de texte d'un coup, permettant à l'IA de comprendre le lien entre un pronom au début d'un paragraphe et son sujet à la fin.
Quel est le rôle du mécanisme d'attention dans cette architecture ?
C'est ce qui permet au modèle de donner plus d'importance (de « porter attention ») aux mots les plus pertinents pour comprendre le sens d'une phrase. Par exemple, dans la phrase « la banque est fermée car elle est inondée », l'attention aide l'IA à comprendre que « elle » se rapporte à « la banque ».
Quelles sont les limites techniques des Transformers ?
Ils sont extrêmement gourmands en mémoire vive, car le coût de calcul augmente de façon quadratique avec la longueur du texte. C'est pourquoi la fenêtre de contexte des modèles a longtemps été limitée, bien que de nouvelles variantes plus efficaces soient développées pour traiter des documents entiers.
Reçois chaque semaine le meilleur de l'actualité IA, directement dans ta boîte.
Pas de pourriel, désinscription en 1 clic.
✉️
Restez informé
Recevez nos sélections d'outils et articles directement dans votre boîte courriel.
🔐 Connexion rapide
Entrez votre courriel pour recevoir un code à 6 chiffres.
Pas besoin de mot de passe ni d'inscription. Entrez votre courriel, recevez un code par courriel, et c'est tout !
✓
Paramètres de confidentialité
Nous utilisons des témoins (cookies) pour assurer le bon fonctionnement du site, analyser le trafic et personnaliser le contenu. Vous pouvez gérer vos préférences ci-dessous.
Politique de confidentialité
