Récemment, le chatbot IA Claude d'Anthropic a de nouveau été au cœur d'une controverse concernant ses performances. Un post sur Reddit affirmant que "Claude est devenu beaucoup plus stupide récemment" a suscité une attention considérable, de nombreux utilisateurs signalant une baisse des capacités de Claude, notamment une diminution de sa mémoire et de ses capacités de codage.
En réponse, Alex Albert, dirigeant d'Anthropic, a déclaré que l'entreprise n'avait "décelé aucun problème général" lors de son enquête et a confirmé qu'aucune modification n'avait été apportée au modèle Claude 3.5 Sonnet ou à son pipeline d'inférence. Pour plus de transparence, Anthropic a publié les invites système du modèle Claude sur son site web.
Ce schéma, où les utilisateurs signalent une régression de l'IA et où l'entreprise le nie, n'est pas nouveau. Fin 2023, ChatGPT d'OpenAI a fait face à des critiques similaires. Des experts du secteur estiment que ce phénomène pourrait être dû à plusieurs facteurs : des attentes des utilisateurs qui augmentent avec le temps, des variations naturelles des sorties de l'IA, ou encore des limitations temporaires des ressources de calcul.
Cependant, même si le modèle sous-jacent n'a pas subi de modifications importantes, ces facteurs peuvent néanmoins entraîner une perception de baisse de performance chez les utilisateurs. OpenAI a déjà souligné que le comportement de l'IA est intrinsèquement imprévisible, et que la maintenance et l'évaluation des performances d'une IA générative à grande échelle représentent un défi de taille.
Anthropic a déclaré qu'il continuerait à suivre les commentaires des utilisateurs et à s'efforcer d'améliorer la stabilité des performances de Claude. Cet événement souligne les défis auxquels sont confrontées les entreprises d'IA pour maintenir la cohérence de leurs modèles, ainsi que l'importance d'améliorer l'évaluation des performances de l'IA et la transparence de la communication.
