Le duel des IA se poursuit et ChatGPT a un adversaire de taille. Il s’agit du modèle de Google et pas n’importe lequel : Gemini-Exp-1114, une version expérimentale. Lors du Chatbot Arena qui se tient tous les mois, l’IA de la firme de Mountain View a atteint la première place, ex aequo avec ChatGPT-4o-latest (version du 3 septembre 2024). OpenAI a un sérieux concurrent.
Le nouveau modèle de Gemini a un score global de 1344 points, une hausse par rapport aux 1301 points du précédent modèle, notamment lors du Chatbot Arena d’octobre 2024. L’IA dépasse même o1-preview, pourtant réputée comme l’une des meilleures IA conçues par OpenAI qui prépare également un agent autonome appelé Operator. Le modèle de Google se démarque surtout dans ces catégories : vision, mathématiques, écriture créative, traitement des requêtes longues, suivi d’instructions, conversations à plusieurs tours et prompts complexes.
Gemini ne cesse de s’améliorer face aux autres IA
En termes de taux de victoire lors du Chatbot Arena, Gemini s’impose face à ses concurrents : 50 % contre GPT-4o-latest, 56 % contre o1-preview et 62 % face à Claude-3.5-Sonnet qui pourra prendre le contrôle de votre PC pour effectuer des tâches. L’IA de Google n’est dépassée que dans les catégories programmation et le contrôle du style. Des domaines où o1-preview d’OpenAI a l’avantage.
Autant dire qu’il s’agit d’une bonne nouvelle pour Google alors que Chrome est fortement concurrencé par ChatGPT en termes de trafic mensuel. Les performances de Gemini s’inscrivent dans la série d’améliorations depuis septembre 2024 avec Gemini 1.5 et ses progrès significatifs. On parle de +7 % sur MMLU-Pro, +20 % sur les benchmarks MATH et HiddenMath et entre +2 et +7 % de hausse dans la vision et le code.
La firme de Mountain View précise que Gemini-Exp-1114 génère des réponses plus concises. La longueur de sortie par défaut est réduite de 5 à 20 % par rapport aux précédents modèles. Rappelons que l’IA est accessible mais uniquement aux développeurs via Google AI Studio. Elle sera prochainement disponible via API.
Google remonte donc la pente face à la toute-puissance de ChatGPT. Apple s’est aussi lancé dans la course, non sans un certain retard, avec Apple Intelligence qui accueillera de nouvelles fonctionnalités avec la mise à jour iOS 18.2.
