Aussi appelé :
Reinforcement Learning from Human Feedback · RLHFs · apprentissage par renforcement à partir de rétroaction humaine · alignement par feedback humain
AcronymeAvancé
📊 Données et traitement
Mis à jour le
Le RLHF est une technique d'entraînement qui utilise les préférences humaines pour affiner les réponses d'une IA, la rendant plus utile, sécuritaire et naturelle pour ses utilisateurs.
📖 Définition
Le RLHF est une méthode d'entraînement où des humains évaluent les réponses d'un modèle d'IA pour lui apprendre à produire des résultats plus utiles, plus sécuritaires et mieux alignés. Des annotateurs classent différentes réponses de la meilleure à la pire, et ces préférences servent à entraîner un modèle de récompense. Le modèle est ensuite ajusté par apprentissage par renforcement pour maximiser cette récompense. C'est cette technique qui a permis à ChatGPT de passer d'un modèle brut à un assistant agréable à utiliser.
💬 En termes simples
C'est le dressage de l'IA : on lui donne une friandise (bon point) quand elle répond bien et on la corrige quand elle se trompe.
🎯 Exemple concret
Des humains qui notent les réponses de ChatGPT pour lui apprendre à être plus poli et utile.
💡 Le saviez-vous ?
C'est cette étape cruciale qui a rendu GPT-3 utilisable par le grand public sous forme de ChatGPT.
❓ Questions fréquentes
Pourquoi a-t-on besoin du RLHF après le pré-entraînement ?
Le pré-entraînement apprend à l'IA à prédire le mot suivant, mais pas forcément à être polie ou véridique. Le RLHF agit comme un polissage final : des humains comparent des réponses et disent à l'IA laquelle est la meilleure, ce qui lui apprend à suivre des consignes complexes et à éviter les contenus toxiques.
À qui s'adresse cette méthode de développement ?
Elle est utilisée par les grands laboratoires d'IA (OpenAI, Anthropic, Google) pour s'assurer que leurs modèles grand public respectent des normes éthiques et fournissent une expérience utilisateur agréable. C'est l'étape qui transforme un moteur statistique brut en un assistant conversationnel sophistiqué.
Quels sont les biais possibles introduits par le RLHF ?
Comme l'IA apprend des préférences des annotateurs humains, elle peut hériter de leurs biais personnels, culturels ou politiques. Si les annotateurs préfèrent les réponses qui ont l'air assurées même si elles sont fausses, l'IA pourrait devenir plus persuasive mais moins exacte.
Reçois chaque semaine le meilleur de l'actualité IA, directement dans ta boîte.
Pas de pourriel, désinscription en 1 clic.
✉️
Restez informé
Recevez nos sélections d'outils et articles directement dans votre boîte courriel.
🔐 Connexion rapide
Entrez votre courriel pour recevoir un code à 6 chiffres.
Pas besoin de mot de passe ni d'inscription. Entrez votre courriel, recevez un code par courriel, et c'est tout !
✓
Paramètres de confidentialité
Nous utilisons des témoins (cookies) pour assurer le bon fonctionnement du site, analyser le trafic et personnaliser le contenu. Vous pouvez gérer vos préférences ci-dessous.
Politique de confidentialité
