Retour au blog | 24/10/2026 Intelligence Artificielle

Kimi K3.1 Pro : benchmarks et comparaison avec GPT-6 Luna et Claude Sonnet 5.5

Nouveau modèle IA Moonshot AI Kimi K3.1 Pro benchmarks agents de code

Moonshot AI a sorti Kimi K3.1 Pro le 23 octobre 2026. Mesuré par Artificial Analysis le lendemain, il réussit 67,2 % des tâches de Terminal-Bench 4.0, le meilleur score de son classement public, et obtient 55,1 à l'indice d'intelligence, contre 56,0 pour Claude Sonnet 5.5 à l'effort maximal. Même prix au token que ce dernier.

Cet article sépare toujours deux sources : ce que mesure Artificial Analysis, évaluateur indépendant, et ce qu'annonce Moonshot dans son billet de lancement. Quand les deux existent, la comparaison se fait sur la mesure.

Ce qui sort

Kimi K3.1 Pro est le premier modèle de la série K3.1 de Moonshot AI, l'éditeur chinois des modèles Kimi. D'après son billet du 23 octobre, c'est une version de Kimi K3 (sorti en juillet) reprise avec beaucoup plus de calcul en post-entraînement, par apprentissage par renforcement. Artificial Analysis lui prête 2 800 milliards de paramètres, dont 104 milliards actifs pour chaque token, et une fenêtre de contexte d'un million de tokens.

Il est disponible depuis le 23 octobre sur Kimi.com, dans les applications Kimi Work et Kimi Code, et par l'API sous le nom kimi-k3.1-pro. Moonshot vend en parallèle une version Highspeed, annoncée deux à trois fois plus rapide.

Le billet présente le modèle comme « open-weight », mais les poids ne sont pas encore là : Moonshot écrit qu'ils seront publiés d'ici le 4 novembre 2026. Aujourd'hui, Artificial Analysis le classe donc comme propriétaire.

Ce que l'annonce ne dit pas : la licence des futurs poids, et les scores de Moonshot sur GPQA Diamond, une épreuve que le billet ne cite pas. Elle ne compare pas non plus le modèle à ceux que ChatGPT et Claude servent par défaut : Moonshot se mesure aux modèles les plus chers d'Anthropic et d'OpenAI.

Benchmarks

Épreuve Mesuré (Artificial Analysis, 24/10/2026) Annoncé (Moonshot, 23/10/2026, effort max)
Indice d'intelligence Artificial Analysis 55,1 non publié
Terminal-Bench 4.0 (tâches longues dans un terminal) 67,2 % 65,7 % (harnais Claude Code)
Humanity's Last Exam 52,5 % 70,0 % (version complète, avec outils)
FrontierCode (code) 47,1 % non publié
GDPval-AA (tâches de bureau, score Elo) 1 846 1 846 (repris d'Artificial Analysis)
GPQA Diamond non mesuré non publié
SWE-Marathon v1.1 (développement long) non mesuré 51,7
Terminal-Bench Science 0.1 non mesuré 38,1 %
OSWorld V2.1 (pilotage d'un ordinateur) non mesuré 79,6 %
OfficeQA Pro v2 (analyse de documents financiers) non mesuré 64,4
Kimi Hallu Bench Hard (épreuve interne, affirmations fausses, avec outils) non mesuré 8,3 % (23,4 % pour Kimi K3)

Lecture : sur Terminal-Bench 4.0, la mesure indépendante donne même un peu plus que l'annonce (67,2 % contre 65,7 %). Sur Humanity's Last Exam, l'écart tient au réglage. Moonshot publie un score obtenu avec des outils (recherche, exécution de code), Artificial Analysis mesure le modèle seul.

Le taux d'hallucination de 8,3 % vient d'une épreuve que Moonshot a construite lui-même, sur des questions choisies pour piéger le modèle. Le billet le précise : ce chiffre ne décrit pas le taux d'erreur en usage courant. Personne ne l'a encore vérifié de l'extérieur.

Face aux modèles que vous utilisez déjà

Les modèles retenus sont ceux que ChatGPT et Claude servent par défaut aujourd'hui, et ceux qu'ils servaient juste avant. Côté OpenAI : GPT-6 Luna, modèle des offres gratuite et Go de ChatGPT depuis le 8 octobre, GPT-6 Sol pour les offres payantes, et GPT-5.6 Luna, le modèle gratuit d'avant. Côté Anthropic : Claude Sonnet 5.5, sorti le 28 septembre, que les applications Claude font tourner à l'effort moyen, et Claude Sonnet 5, annoncé le 30 juin comme modèle par défaut des offres Free et Pro. Kimi K3, le prédécesseur direct, complète le tableau.

Modèle (réglage mesuré) Rôle Indice d'intelligence Terminal-Bench 4.0 Humanity's Last Exam Coût pour passer l'indice complet Temps moyen par tâche de l'indice
Kimi K3.1 Pro (réglage par défaut) nouveau 55,1 67,2 % 52,5 % 3 117 $ 609 s
Kimi K3 (max) prédécesseur, juillet 2026 43,6 12,6 % 46,9 % 3 658 $ 1 174 s
GPT-6 Luna (max) par défaut de ChatGPT gratuit 38,1 12,6 % 38,5 % 122 $ 364 s
GPT-5.6 Luna (max) génération précédente du gratuit 37,3 11,6 % 39,5 % 320 $ 324 s
GPT-6 Sol (max) offres payantes de ChatGPT 47,6 43,9 % 47,9 % 1 536 $ 297 s
Claude Sonnet 5.5 (medium) réglage par défaut des apps Claude 40,8 29,8 % 39,8 % 622 $ 133 s
Claude Sonnet 5.5 (max) même modèle, effort maximal 56,0 63,6 % 55,0 % 7 260 $ 950 s
Claude Sonnet 5 (max) génération précédente 38,2 14,1 % 41,3 % 6 998 $ 891 s

Origine unique : mesuré par Artificial Analysis, toutes les lignes relevées le 24 octobre 2026. Le coût est celui qu'Artificial Analysis a payé aux tarifs de l'API pour faire passer toutes les épreuves de son indice.

Ce que le tableau dit, concrètement :

  • Sur une tâche longue dans un terminal, Kimi K3.1 Pro réussit 67 fois sur 100. Claude Sonnet 5.5 au réglage des applications Claude en réussit 30, et GPT-6 Luna, le modèle de ChatGPT gratuit, 13.
  • Face à Claude Sonnet 5.5 poussé au maximum, il fait jeu égal à l'indice (55,1 contre 56,0) et le dépasse sur Terminal-Bench 4.0 (67,2 % contre 63,6 %), pour un coût de passage de l'indice 2,3 fois plus bas (3 117 $ contre 7 260 $).
  • Par rapport à Kimi K3, le score sur Terminal-Bench 4.0 passe de 12,6 % à 67,2 %, et l'indice gagne 11,5 points ; Humanity's Last Exam n'en gagne que 5,6. Le post-entraînement a surtout porté sur le travail d'agent.
  • Les modèles gratuits restent loin devant sur un point : le coût. Faire passer l'indice à GPT-6 Luna coûte 122 $, vingt-cinq fois moins.

Pour quels usages

Agents de code et tâches longues en autonomie. C'est le terrain où les chiffres le soutiennent le plus : premier de Terminal-Bench 4.0 chez Artificial Analysis, et 47,1 % sur FrontierCode contre 45,8 % pour Claude Sonnet 5.5 à l'effort maximal (même source, même date). Pour un agent qui modifie un dépôt sur des dizaines d'étapes, il entre dans la liste des modèles à tester. Pour situer les autres candidats, prix compris, voyez notre comparatif des modèles pour générer du code.

Raisonnement sur des questions difficiles. À 52,5 % sur Humanity's Last Exam, il dépasse GPT-6 Sol (47,9 %) et reste sous Claude Sonnet 5.5 au maximum (55,0 %). GPQA Diamond n'est pas encore mesuré.

Prix

  • Kimi K3.1 Pro : 2 $ par million de tokens en entrée, 10 $ en sortie, 0,20 $ pour les tokens lus depuis le cache (grille officielle de Moonshot, relevé du 24 octobre 2026). La version Highspeed coûte 4 / 20 $.
  • Kimi K3 coûtait 3 / 15 $ : le nouveau modèle est moins cher que son prédécesseur.
  • Pour situer : Claude Sonnet 5.5 est au même prix (2 / 10 $), GPT-6 Luna à 0,10 / 0,50 $, au même relevé.

Le cache, le coût mensuel sur un scénario de trois développeurs et les autres modèles sont sur notre page le prix de Kimi K3.1 Pro face aux autres modèles, mis à jour chaque jour.

Vitesse

Artificial Analysis mesure une médiane de 77,1 tokens par seconde sur des requêtes longues, par l'API de Moonshot. Le modèle réfléchit avant d'écrire : le premier mot de la réponse arrive après 28,8 secondes, la réponse complète après 35,3 secondes. À titre de comparaison, Claude Sonnet 5.5 à l'effort moyen écrit à 100,1 tokens par seconde et donne son premier mot en 1,4 seconde (même source, 24 octobre). Ces mesures sont sur notre page Vitesse des modèles IA. La version Highspeed n'est pas encore mesurée.

Ce qu'on ne sait pas encore

  • Les poids et leur licence. Moonshot promet les poids complets d'ici le 4 novembre. Tant qu'ils ne sont pas publiés, on ne sait ni sous quelle licence, ni ce qu'il faudra comme serveurs pour faire tourner 2 800 milliards de paramètres.
  • Le réglage mesuré. Moonshot publie ses scores à l'effort max ; Artificial Analysis ne précise pas le réglage de sa mesure. Les efforts low et high, proposés par l'API, ne sont pas mesurés séparément.
  • La version Highspeed. Annoncée deux à trois fois plus rapide, elle n'a pas encore de mesure indépendante, ni de vitesse ni de score.
  • Les épreuves manquantes. GPQA Diamond n'est pas mesuré, et SWE-Marathon, OSWorld ou OfficeQA ne sont pour l'instant que des chiffres de l'éditeur.
  • L'hébergement des données. Le billet mentionne une option de non-conservation des données (« Zero Data Retention ») pour les clients de l'API, sans dire où les requêtes sont traitées. Pour des données d'entreprise, la question se pose avant tout essai.

Ce qu'il faut retenir

Kimi K3.1 Pro est premier de Terminal-Bench 4.0 chez Artificial Analysis, au prix de Claude Sonnet 5.5. Face aux modèles gratuits de ChatGPT et de Claude, l'écart est large sur les tâches longues ; face à Sonnet 5.5 poussé au maximum, c'est un jeu égal qui coûte moins cher à faire tourner.

Un score ne dit pas comment le modèle se comportera sur vos dépôts, vos documents et vos contraintes de confidentialité. Si vous voulez qu'on le teste sur vos propres cas face au modèle que vous utilisez déjà, réservez un diagnostic IA de 30 minutes.

Sources

  • Artificial Analysis, fiche Kimi K3.1 Pro et données des modèles comparés (indice, épreuves, coût et temps de l'indice) : artificialanalysis.ai/models/kimi-k3-1-pro, lue le 24/10/2026.
  • Moonshot AI, billet de lancement « Introducing Kimi K3.1 Pro » et graphique des benchmarks : kimi.com/blog/kimi-k3-1-pro, lu le 24/10/2026.
  • Moonshot AI, grille tarifaire de la série K3 : platform.kimi.ai/docs/pricing/chat-k3, relevée le 24/10/2026 pour notre page Prix des modèles IA.
  • Anthropic, annonce de Claude Sonnet 5 (modèle par défaut des offres Free et Pro) : anthropic.com/news/claude-sonnet-5, lue le 20/10/2026.
  • Anthropic, annonce de Claude Sonnet 5.5 (effort moyen par défaut dans les applications) : anthropic.com/news/claude-sonnet-5-5, lue le 20/10/2026.
  • OpenAI, modèles de ChatGPT par offre : notes de version de ChatGPT du 7 octobre 2026, non lues (page protégée contre les lecteurs automatiques) ; information reprise par Notebookcheck, « ChatGPT Free and Go users start getting GPT-6 Luna in Chat ».
  • Vitesse : mesures d'Artificial Analysis relevées le 24/10/2026 sur notre page Vitesse des modèles IA.