Les résultats de l'évaluation de la fiabilité des modèles pré-entrainés génératifs révèlent des risques potentiels

Récemment, une équipe de recherche formée conjointement par un certain nombre d’universités et d’instituts de recherche renommés a publié une évaluation complète de la crédibilité (LLMs) grands modèles linguistiques. L’évaluation s’est concentrée sur la famille de modèles GPT et a analysé de manière exhaustive leur crédibilité à travers de multiples dimensions.

Des recherches ont révélé des vulnérabilités liées à la crédibilité qui n'avaient pas été précédemment divulguées. Par exemple, le modèle GPT est facilement induit en erreur, produisant des sorties nuisibles et biaisées, et peut également divulguer des informations privées dans les données d'entraînement et l'historique des conversations. Fait intéressant, bien que GPT-4 soit généralement plus fiable que GPT-3.5 dans les tests standard, il est en réalité plus vulnérable aux attaques lorsqu'il est confronté à des invites malveillantes, ce qui pourrait être dû au fait que GPT-4 suit plus strictement des instructions trompeuses.

L'évaluation du modèle GPT a été réalisée de manière exhaustive sous huit angles, y compris la robustesse aux attaques, la toxicité et les biais, ainsi que la protection de la vie privée. Les chercheurs ont construit divers scénarios d'évaluation, utilisant différentes descriptions de tâches, invites système et ensembles de données pour tester les performances du modèle.

En termes de robustesse antagoniste, on constate que le modèle GPT est vulnérable à certaines attaques de texte. En termes de toxicité et de biais, le modèle est généralement acceptable, mais il est sujet à produire un contenu biaisé sous des invites trompeuses, et le degré de biais varie selon la population et le sujet. En termes de protection de la vie privée, le modèle peut divulguer des informations sensibles dans les données d’entraînement, surtout s’il est invité à le faire.

Dans l’ensemble, cette étude révèle certains risques potentiels en termes de crédibilité du modèle GPT et fournit une orientation pour des améliorations ultérieures. L’équipe de recherche espère que ce cadre d’évaluation mènera à un effort concerté de l’industrie pour développer des modèles de langage plus sûrs et plus fiables.