Le domaine de l’IA générative est en pleine expansion. Et OpenAI confirme de nouveau que son chatbot est le leader en occupant le podium de la Chatbot Arena avec ses modèles GPT-4o, o1-preview et o1-mini. Mais il y a aussi de belles surprises avec la venue de deux modèles chinois.
Comment est effectué le classement de la Chatbot Arena ?
La Chatbot Arena a été créée par des chercheurs et étudiants de l’Université de Berkeley. Il s’agit d’un classement alternatif aux analyses internes des entreprises d’IA, considérées comme peu transparentes. Pour dresser ce top, des duels anonymes jugés par des utilisateurs ont lieu en utilisant le système Elo pour établir un classement objectif. Cette méthode, populaire dans le monde des échecs et de l’eSport, est simple : les modèles gagnent des points en battant des adversaires mieux classés et en perdent face à des concurrents théoriquement plus faibles.
À lire > Ces métiers pourraient être remplacés par des IA
Quel est le classement Chatbot Arena d’octobre 2024 ?
ChatGPT est toujours en tête du classement en octobre 2024 en imposant plusieurs modèles. ChatGPT-4o passe même en tête, devant o1-preview qui était jusque-là considéré comme le plus performant. On trouve également Claude 3.5 Sonnet, capable d’effectuer des tâches complexes sur votre PC, en 5e place. Gemini, qui intégrera les smartphones sous Android 15 via un bouton sur l’écran d’accueil, se place juste après le chatbot d’OpenAI en 3e position.
Le top 10 de la Chatbot Arena d’octobre 2024 :
- ChatGPT 4o Latest : 1 339 points
- o1-preview : 1 335 points
- o1-mini : 1313 points
- Gemini 1.5 Pro : 1 305 points
- Gemini 1.5 Pro 0827 : 1 299 points
- Grok-2 0813 : 1 291 points
- Yi Lightning : 1 287 points
- GPT-4o 0513 : 1 285 points
- GLM-4-Plus : 1 274 points
- GPT-4o mini 0718 : 1 274 points
Mais la surprise de ce classement d’octobre 2024, c’est la venue de deux modèles venus de Chine : Yi Lightning de 01.ai qui est en 7e position. Il s’agit d’une entreprise fondée par l’ingénieur taïwanais Kai-Fu Lee (ancien d’Apple, Microsoft et Google). Ensuite, on trouve le modèle chinois GLM-4-Plus en 9e position.
Dans le reste du classement, Grok-2, l’IA de X, est en 6e position. Pour rappel, on doit cette IA à Elon Musk qui prépare d’autres projets comme un futur smartphone Tesla. Les modèles de Meta sont en 7e et 8e position.
Reste à attendre le prochain classement de la Chatbot Arena qui se tiendra en novembre. Le marché des IA est encore à ses balbutiements et de nombreux rebondissements auront lieu ces prochaines années mais aussi ces prochains mois.
