Une étude affirme que ChatGPT est mauvais en programmation informatique

ChatGPT parfait dans tous les domaines ? Pas vraiment... Aujourd'hui, des millions de personnes dans le monde utilisent quotidiennement l'intelligence artificielle d'OpenAI pour leur activité professionnelle, si l'IA permet effectivement d'accélérer sa productivité, il est toujours important de vérifier que les réponses ne comportent pas d'informations erronées. Une récente étude nous prouve une fois de plus que ChatGPT n'est pas aussi irréprochable qu'on l'imagine !

ChatGPT, un échec dans les questions de programmation informatique ?

Les chatbots boostés à l'intelligence artificielle, tels que ChatGPT ou encore Gemini, sont souvent acclamés pour leur capacité à assister les utilisateurs dans divers domaines professionnels. Pourtant, une récente étude menée par l'Université Purdue à West Lafayette, dans l'État de l'Indiana aux États-Unis, remet en question l'efficacité de ChatGPT en programmation informatique.

L'étude, présentée à la conférence sur l'interaction ordinateur-humain à Hawaï, a évalué les performances de ChatGPT en répondant à 517 questions de programmation issues de Stack Overflow. Les résultats sont préoccupants :

• 52 % des réponses de ChatGPT sont incorrectes : plus de la moitié des réponses fournies par ChatGPT contiennent des erreurs, ce qui peut induire en erreur les développeurs s'ils ne vérifient pas.
• 77 % des réponses sont jugées verbeuses : une majorité des réponses sont trop longues et manquent de concision, ce qui peut rendre leur interprétation difficile.
• Les erreurs sont souvent complexes à identifier : les programmeurs ne reconnaissent pas toujours les erreurs dans les réponses de ChatGPT, ce qui peut mener à des malentendus et des problèmes dans le développement de logiciels.

La position de Google sur le sujet

Google, avec son IA Gemini, a réagi à l'étude dès sa publication, l'entreprise défend la qualité de ses services en affirmant que les erreurs sont rares et qu'il ne faut pas généraliser. La firme de Mountain View assure que la majorité des informations générées par ses IA sont précises et accompagnées de liens pour permettre aux utilisateurs de vérifier et approfondir les informations.

Comme on pouvait s'y attendre, l'étude de l'Université Purdue met en évidence une réalité troublante : malgré les avancées technologiques impressionnantes depuis 2022, les chatbots IA comme ChatGPT ne sont pas encore des outils infaillibles, surtout dans des domaines aussi complexes que la programmation informatique. Il est donc nécessaire pour les utilisateurs habitués à travailler avec des chatbots de rester vigilants et de vérifier les informations fournies par ces IA avant de les utiliser dans leur activité professionnelle.

Découvrez l'intégralité de l'étude