Deepseek / ChatGPT / Mistral / Claude, quel est le meilleur ?
L’important n’est pas forcément de savoir qui est l’IA la plus puissante via les tests techniques, mais celle qui est la plus performante pour un usage concret.
Pour cela, j’ai fait des tests avec 3 cas d’usages simples :
👉 Une question qui utilise la base de connaissances de l’IA sans faire appel à la recherche web “Qui est Frédéric canevet ?”.
Je ne suis pas une star, mais cette question permet de vérifier que l’IA a une base de connaissance suffisamment puissante.
Voici mon analyse des résultats
➡️ ChatGPT : 5/5 avec une présentation correcte et avec des images et des références.
➡️ Deepseek : 0 / 5 qui ne me connaît pas
➡️ Claude : 2 / 5 qui fait une présentation correcte très succincte
➡️ Mistral : 0 / 5 qui ne me connaît pas
👉 Une question qui utilise la recherche sur le web “Qui est Frédéric canevet ?”
➡️ ChatGPT : 4,5 /5 la réponse est idem que la précédente (ce qui est un peu décevant) avec toujours une présentation correcte et avec des images.
➡️ Deepseek : 3,75 / 5 avec un texte plus complet que ChatGPT avec de belles références originales (mon dernier livre sur la déconsommation…), mais qui contient des fausses informations (mauvais employeur).
➡️ Claude : 2/5 la réponse est idem que la précédente avec une présentation limitée.
➡️ Mistral : 3,5/ 5 avec une présentation de bonne qualité, même si est moins précise (liens, informations…), plus courte et multimédia que ChatGPT
👉 Analyse d’un fichier (transcription d’une interview de vidéo récupérée sur Youtube) pour écrire un article de blog “Fais moi un article de blog de cette vidéo avec les bonnes pratiques et conseils.”
➡️ ChatGPT : 4,5 / 5 avec un texte complet, avec des astuces mises en valeur… En revanche il y a toujours la structure avec des points avec un sous titre suivi d’une explication.
➡️ Deepseek : 4,25 / avec un texte mis en forme, mais qui manque quelques idées clés.
➡️ Claude : 4/5 avec un texte correct et pertinent mais qui oublie quelques astuces.
➡️ Mistral : 4/5 avec un texte juste et intéressant, mais qui manque quelques informations clés de l’interview.
Mon verdict global : ChatGPT toujours N°1, mais talonné par Deepseek & Claude à égalité.
Claude proposant des réponses plus justes mais moins complète, Deepseek étant complet et gratuit à ce jour (et moins gourmand en ressources naturelles et en énergie).
Mistral est pas trop mal, et il est bien meilleur sur les données Françaises (par exemple identifier des entreprises), mais la qualité des réponses est légèrement moins bonne.
Sommaire de l'article
Mini tuto Deepseek
Voici le mini tuto Deepseek.
Rendez vous sur https://www.deepseek.com/ et cliquez sur “Start Now”
Vous arrivez alors sur la fenêtre de chat
Il suffit alors de taper votre question :
Et vous obtenez la réponse.
Attention à la censure chez Deepseek
Attention néanmoins à la censure et à la véracité des données de Deepseek :
Lorsque je lui demande de me parler des émeutes de Tiananmen, en l’occurrence l’histoire de la célèbre photo de l’homme qui bloque une colonne de chars avec ses sacs de courses ( voir Wikipedia).
👉 En anglais, il refuse de répondre.
Il indique “Je suis désolé, je ne peux pas répondre à cette question. Je suis une IA conçue pour fournir des réponses utiles et inoffensives.”
👉 En Français, cela fonctionne, et il raconte toute l’histoire.
Est ce vraiment de la censure sur l’histoire ou une simple maladresse ?
Dans les deux cas cela fait un peu peur pour la sécurité de nos données.
Est ce que Mistral, l’IA Française, peut battre les monstres Américains, Chinois… ?
Tout le monde connait ChatGPT, en revanche, j’ai remarqué que peu de personnes connaissaient Mistral, et encore moins l’utilisaient.
Pourtant, cette IA made in France a de nombreux avantages.
✔️ La base de connaissances Française est bien meilleure.
Par exemple pour classer des entreprises selon des secteurs d’activité, Mistral est bien meilleur.
ChatGPT reconnait dans mes tests 25% des sociétés Françaises, versus 90% pour Mistral.
Pour intégrer des données spécifiques à la France, Mistral est largement au dessus de ChatGPT.
Par exemple, si vous demandez à ChatGPT de calculer vos possibilités pour emprunter à la banque, Mistral n’oubliera pas d’intégrer les revenus de vos biens mis en location pour le revenu disponible.
Il saura également mieux traiter les Lois Françaises, par exemple sur un contrat, sur des ruptures conventionnelles, les conventions collectives… Alors que ChatGPT va inventer ou oublier des Lois.
✔️ L’OCR est souvent meilleur que ChatGPT (malgré encore des problèmes sur les accents).
J’ai fait plusieurs tests, et Mistral arrive souvent à faire mieux que ChatGPT.
Cependant, pour un meilleur résultat, je mixe du ChatGPT et du Mistral, puis je dédoublonne via Excel (et enfin un dernier passage à la main) pour 100% d’efficacité.
✔️ La génération d’images est très bonne, même si elle n’est pas aussi puissante que celle de ChatGPT.
Vous pouvez certes générer que 8 images / jour, mais elles sont très originales.
Parmi les autres avantages d’utiliser cette IA française :
✔️ Sa consommation électrique est bien moindre.
Vous pouvez faire le test sur le site comparia.beta.gouv.fr du gouvernement.
Mistral ne consomme souvent qu’1/3 des ressources de ChatGPT.
✔️ Il est très rapide.
C’est intéressant lorsqu’il faut proposer des réponses rapidement (Chat, Callbot…)
✔️ On peut l’installer sur ses propres serveurs
C’est un point extrêmement positif si vous êtes éditeur de logiciel, car nous n’êtes pas dépendants d’une API, de serveurs…
✔️ On se libère de la dépendance des USA et des Chinois.
Grok et surtout Deepseek sont loin d’être totalement impartiales…
Si vous demandez (en anglais) à Deepseek ce qu’il s’est passé à Tian’anmen en 89, il vous répondra “Sorry, that’s beyond my current scope. Let’s talk about something else.”
L’IA va devenir essentielle dans le futur dangereux, et il est essentiel d’avoir de l’autonomie.
C’est grâce à cette indépendance que nous pourrons éviter des erreurs.
Ainsi, si la France ne s’est pas engagé dans la Guerre en Irak à la recherche des “armes de destruction massive, c’est en partie grâce à notre réseau indépendant de satellites qui a permis à Jacques Chirac de savoir que c’était une mascarade…
Cependant, Mitral à tout de même des points faibles :
❌ La performance de la rédaction de contenus est bien moins performante.
Le texte est certes bon, mis il est très “IA” avec une profondeur et une qualité largement inférieur à Grok (le meilleur actuellement) ou ChatGPT.
❌ La créativité pour les titres, les pitchs est moins bonne.
Là encore Deepseek est plus original lorsqu’il s’agit de sortir des “10 conseils…” / “à l’ère de…” / …
Alors, êtes vous prêts à tester Mistral ?
Quel est le vrai coût économique et écologique de l’IA ?
Avez-vous une idée du coût réel d’une simple question à ChatGPT, Claude, Gémini et les autres ?
Grâce à ComparIA (https://www.comparia.beta.gouv.fr/arene/) édité par le gouvernement, vous pouvez comparer simplement le coût énergétique et écologique d’une requête.
Voici un exemple entre différents modèles.
Sachant qu’ils sont plus ou moins gourmands selon :
➡️ Le modèle de données (simple ou évolué)
➡️ La requête (texte, image, vidéo…)
➡️ La longueur (question et réponse)
➡️ La saison et le lieu (en été il faut plus refroidir qu’en hiver)
Dans mon exemple, j’ai pris :
👉 Mistral (IA française) mais pas la plus performante,
👉 Llama qui n’est pas non plus la dernière
👉 Deepseek, la dernière version
👉 ChatGPT, la dernière version
Et j’ai posé une question simple “Donne moi une recette végétarienne avec 2 navets boule d’or”.
On peut voir que la consommation d’énergie passe du simple au quasi quadruple, et les émissions de CO2 du simple au triple.
Pourtant les réponses sont toutes relativement proches.
Ce qu’il faut retenir, c’est :
✔️ L’IA coûte cher, et nous ne payons pas le vrai prix pour l’instant.
Rappelez-vous qu’en 30 mins de vidéo youtube vous avez sans doute vu 2 ou 3 spots de pubs, et ce n’est pas les abonnements à 20 $ / mois qui va payer cela.
✔️ Cela ne sert à rien d’utiliser le modèle le plus performant pour des demandes simples.
Privilégiez des modèles moins gourmands ou des IA écologiques (Mistral par exemple).
✔️ Utilisez plutôt un moteur de recherche comme Google, Ecosia, Duck Duck Go qui sont bien plus écologiques qu’une requête chat GPT.
✔️ Faites appel l’IA à bon escient, pas pour de demandes trop futiles.
Et vous, qu’en pensez vous, aviez vous une idée du coût écologique d’une petite requête chatGPT ?
