Note : ce n'est pas un papier marketing pro-Anthropic. C'est ce qu'on a vraiment trouvé en branchant les deux APIs en parallèle pendant 6 mois sur ~2.4M d'appels. Toutes les métriques ci-dessous viennent de nos logs internes.
Le contexte : 12 modules, 2 APIs, 6 mois
En septembre 2025, Alesta tournait à 100 % sur GPT-4-turbo. Performant, mais cher, et avec quelques surprises qualitatives sur les modules longs (génération de FAQ schema, traduction multilingue). On a décidé de brancher Claude 3.5 Sonnet en parallèle, sur 50 % du trafic, pendant 6 mois, pour comparer.
Modules concernés : Title & Meta, FAQ Schema, Traduction, Texte alternatif IA, Amélioration articles, Résumés auto, Chatbot, Modération, Mots-clés, AI Metadata, LLMs.txt, Calendrier éditorial. Volume total : 2.4M requêtes, ~1.1B tokens.
Critère 1 — Qualité brute du texte
Sur les tâches courtes (générer un title de 60 caractères, un alt text d'image), les deux modèles sont indiscernables. Match nul.
Sur les tâches longues, ça diverge. On a fait noter 500 sorties (250 par modèle) en aveugle par 6 testeurs humains, sur 5 axes : fluidité, factualité, structure, ton, utilité.
| Critère (note /10) | GPT-4-turbo | Claude 3.5 Sonnet | Écart |
|---|---|---|---|
| Fluidité française | 7,8 | 8,6 | +0,8 |
| Factualité | 7,2 | 8,1 | +0,9 |
| Structure / plan | 8,1 | 8,4 | +0,3 |
| Ton / cohérence | 7,5 | 8,8 | +1,3 |
| Utilité globale | 7,6 | 8,5 | +0,9 |
Le delta est sensible sur le ton et la fluidité française — Claude écrit avec moins d'anglicismes traduits, garde mieux la voix de marque sur 1 500 mots, et hallucine moins sur les chiffres.
Critère 2 — Coût
Sur le papier (tarifs API), GPT-4-turbo et Claude 3.5 Sonnet sont dans le même ordre de grandeur : ~3 $ par million de tokens input, ~15 $ par million output.
En pratique chez Alesta ? Claude consomme 22 % de tokens en moins sur les mêmes tâches, parce qu'il est plus concis et qu'on évite des allers-retours de "reformule, c'est trop long". Économie nette mensuelle : ~1 800 €/mois sur notre volume.
Critère 3 — Latence
Pour les requêtes synchrones (chatbot, amélioration d'article en live), la latence compte. On a mesuré le time-to-first-token et la durée totale sur 50 000 appels par modèle.
- GPT-4-turbo : TTFT médian 480 ms, durée totale médiane 6,2 s sur 800 tokens output.
- Claude 3.5 Sonnet : TTFT médian 390 ms, durée totale médiane 4,8 s sur 800 tokens output.
Claude gagne ~22 % sur la latence. Différence perçue côté UX : ressentie dans le chatbot, négligeable sur les modules batch nocturnes.
Critère 4 — Fenêtre de contexte
Claude 3.5 Sonnet : 200 000 tokens (≈ 150 000 mots). GPT-4-turbo : 128 000 tokens. Sur le module Amélioration articles qui doit lire l'article + 3-5 articles de référence du site pour rester cohérent avec la ligne éditoriale, la fenêtre Claude permet de passer plus de contexte sans chunking. Résultat : moins de bouts d'articles découpés mal recollés, et un ton plus cohérent.
Critère 5 — Conformité RGPD & données
Le point qu'aucun benchmark public ne mesure. Anthropic propose un endpoint dédié EU (Frankfurt), avec un DPA standard et l'engagement explicite que les données API ne sont pas utilisées pour entraîner les modèles. OpenAI a maintenant la même politique sur l'API (depuis mars 2023), mais le routage géographique des données est moins clair.
Pour un plugin WordPress français qui sera installé sur des sites e-commerce qui traitent des données personnelles européennes, c'est un argument décisif.
Ce que Claude fait moins bien
Honnêteté : il y a 3 cas où GPT-4 reste devant.
- Tâches très techniques code / SQL : GPT-4 produit du code plus solide sur les modules de migration BDD. Mais on en fait peu côté Alesta.
- Génération JSON très contraint : GPT-4-turbo en mode JSON-strict est plus fiable. Claude se rattrape avec son mode "tool use" mais il faut le formater.
- Multilingue exotique : GPT-4 est meilleur sur les langues à faible ressource (vietnamien, swahili). Pour le module Traduction 20 langues, on garde GPT-4 en fallback sur ces langues précises.
La décision finale
En mars 2026, on a basculé 95 % du trafic Alesta sur Claude. Les 5 % restants (les cas exotiques ci-dessus) routent encore vers GPT-4. Le gain qualitatif sur les articles longs + le gain de coût + le RGPD-by-default ont fait pencher la balance.
On n'a pas choisi Claude par fanatisme. On l'a choisi parce que sur nos tâches, sur notre volume, avec notre public francophone, il gagne sur 4 des 5 critères qui comptent.
Et demain ?
Le paysage bouge vite. GPT-5 sortira probablement avant fin 2026. Mistral Large 3 progresse. On continue de re-benchmark trimestriellement : l'architecture d'Alesta est routeur-agnostique, on peut basculer un module précis vers un autre modèle en 24 h si nos métriques bougent.
L'engagement long-terme n'est pas envers un fournisseur — c'est envers la qualité que nos utilisateurs WordPress méritent.
