Une intelligence artificielle générative est-elle capable de rédiger un article optimisé presque seule ? C’est ce que j’ai testé en me concentrant principalement sur la structure optimisée et l’introduction. Pour cela, j’ai utilisé plusieurs intelligences artificielles auxquelles j’ai demandé exactement la même chose. Je vous présente les paramètres de ce test dans la première partie, et ensuite, on discute des résultats.
L’explication de la démarche pour tester les IA génératives dans la rédaction d’un article optimisé
Pourquoi réaliser des tests ?
On voit de plus en plus de personnes affirmer qu’il est possible de déléguer certaines tâches aux intelligences artificielles pour gagner un maximum de temps.
🤖 En tant qu’organisme de formation en écriture digitale, il est indispensable que nous sachions précisément jusqu’où peuvent aller les IA afin d’accompagner au mieux nos apprenants.
Mais, nous devons rester objectives. Et c’est compliqué, car lorsque nous sommes spécialisés dans un domaine, il est difficile d’imaginer pouvoir être, à un moment donné, « remplacés » par une machine. Nous tentons de conserver un maximum d’ouverture d’esprit et un regard très objectif sur les IA génératives.
Quel est le meilleur moyen de rester objectives ? C’est de tester régulièrement les capacités et les évolutions des IA dans des tâches concrètes en rédaction web.
C’est ce que nous faisons continuellement depuis des mois.
Les IA utilisées
Pour réaliser ce test, j’ai utilisé : ChatGPT-4o, Gemini 1,5 (pro et flash), Llama 3, Claude (Haiku, Opus et Sonnet), Perplexity et Mistral.
La démarche en quelques mots
J’ai déterminé une requête principale sur laquelle je voulais positionner mon article.
Au niveau de la lecture et de l’analyse des propositions des intelligences artificielles, je vais me mettre dans la peau de plusieurs personnes :
- celle d’une formatrice en rédaction web SEO ;
- celle d’un client qui utiliserait une intelligence artificielle pour générer ses textes en pensant pouvoir le faire lui-même ;
- et enfin celle d’un lecteur.
J’ai commencé par demander aux IA de concevoir une structure optimisée avec le prompt suivant :
« Tu es un rédacteur web SEO spécialiste de l’univers de la moto. Tu dois rédiger une structure optimisée autour de la requête principale : « les équipements pour débuter la moto ». Cette structure optimisée sera composée d’un titre, d’un h1, d’une introduction et de 5 h2. As-tu tous les éléments nécessaires à la réalisation de cette tâche ? »
Les IA génératives ne plaçaient pas spontanément la requête principale aux endroits stratégiques pour optimiser l’article. Même si le champ sémantique des h2 était plutôt bien développé, ces derniers n’étaient donc pas réellement optimisés.
J’ai alors ajusté ma demande, en mentionnant les endroits où utiliser la requête principale.
« Tu es un rédacteur web SEO spécialiste de l’univers de la moto. Tu dois rédiger une structure optimisée autour de la requête principale : « les équipements pour débuter la moto ». Cette structure optimisée sera composée d’un titre, d’un h1, d’une introduction et de 5 h2. La requête principale devra se trouver dans le titre, dans l’introduction et dans un h2. As-tu tous les éléments nécessaires à la réalisation de cette tâche ? »
Au niveau des nouveaux résultats, la plupart des IA modifiaient la requête. J’ai une nouvelle fois précisé ma demande.
« Tu es un rédacteur web SEO spécialiste de l’univers de la moto. Tu dois rédiger une structure optimisée autour de la requête principale : « les équipements pour débuter la moto ». Cette structure optimisée sera composée d’un titre, d’un h1, d’une introduction et de 5 h2. La requête principale devra se trouver dans le titre, dans l’introduction et dans un h2 sans que tu la modifies. As-tu tous les éléments nécessaires à la réalisation de cette tâche ? »
Mes constatations à partir des productions générées par les 9 IA
Pour travailler sur les productions des IA, j’ai choisi différents KPI et j’ai formalisé l’ensemble des résultats sous la forme d’un tableau.
J’ai ensuite formulé 4 constatations, tout en restant la plus neutre possible. 😇
1ère constatation : il faut des connaissances en SEO pour rédiger le prompt
Dans ma démarche, j’ai dû réajuster le prompt au fur et à mesure, car les résultats obtenus n’étaient pas pertinents. Actuellement, lorsqu’on demande à une IA une structure d’article optimisé, celle-ci génère une structure en utilisant le champ sémantique du sujet, mais la requête principale n’est pas correctement utilisée.
Sans connaissance en SEO, le prompt serait donc incomplet et la structure de l’article ne serait pas pleinement optimisée. Un client qui n’a pas de connaissance en SEO ne pourra pas avoir ce recul nécessaire.
Nous le constatons aussi avec nos apprenants. Parfois, il y a un biais, car même s’ils connaissent les règles d’optimisation, c’est comme si l’intelligence artificielle avait implicitement raison. Il arrive qu’ils conservent la version de l’IA, même s’ils savent que les règles ne sont pas respectées.
Pour rédiger une structure optimisée avec l’IA, du recul et des connaissances solides en SEO sont indispensables.
2e constatation : la demande n’est pas complètement respectée
Toutes les IA m’ont fourni un plan, avec la structure demandée, une introduction, le nombre correct de h2, etc.
Toutefois, même en demandant des éléments précis comme — placer la requête principale telle quelle et à différents endroits — l’IA ne le fait pas forcément. Certaines n’ont pas respecté cette consigne, d’autres si. Pour obtenir un résultat satisfaisant, la production doit être revue et améliorée. J’ai essayé de rester la plus simple possible dans la rédaction du prompt, mais j’ai peut-être mal formulé cette consigne ?
3e constatation : les plans sont très proches
L’ensemble des plans générés par les intelligences artificielles sont très proches. En fait, les h2 sont en général les différents éléments de l’équipement :
- le casque ;
- les gants ;
- les chaussures ;
- les vêtements adaptés, comme les blousons et pantalons ;
- et les accessoires complémentaires.
Certaines IA vont un peu plus loin :
- GPT-4o propose un h2 sur les conseils pour bien choisir les vêtements moto en tant que débutant ;
- et Llama 3 génère un h2 sur l’importance des équipements.
Si les plans dans l’ensemble sont aussi proches, c’est peut-être parce que j’ai donné un nombre précis de h2. Il faudrait tester en ne donnant aucune consigne sur ce point.
4e constatation : les introductions sont toutes rédigées sur le même modèle
C’est la partie qui m’a le plus surprise en générant en série des structures optimisées. Toutes les introductions ont été construites sur le même modèle.
« Débuter la moto / se lancer dans la moto… c’est une aventure incroyable ». Ou « Vous êtes prêt à vous lancer dans la moto ? Félicitations. » Donc, une première phrase d’approche encourageante. Ensuite, une phrase qui interpelle le lecteur : « Mais attention, il faut penser à votre sécurité ». L’IA poursuit sur le fait qu’il est « essentiel / crucial / indispensable » de bien s’équiper. Pour conclure, une phrase qui lance l’article : « Nous allons voir dans cet article / ce guide ».
Les introductions sont donc très basiques. Si je me mets à la place d’un client ou d’un lecteur, retrouver ce type d’introduction dans un article sur Internet, ce n’est pas gênant. La construction est logique et le sujet est ciblé.
C’est dans la redondance des constructions et des idées que je trouve ça embêtant. Parce que je me dis que si de multiples articles sont rédigés sans retouches, toutes les introductions vont être semblables, et ce, quel que soit le LLM utilisé finalement.
Pour ce test, je ne pouvais pas régler le paramètre « température » (qui gère la créativité des productions). J’aurais pu le faire en utilisant Gemini Pro de Google Studio, par exemple. En augmentant la température, on augmente la créativité de l’intelligence artificielle. Mais, dans ce cas, l’IA peut aussi partir dans d’autres thématiques, il faut donc utiliser ce paramètre avec beaucoup de finesse.
Avec des paramètres basiques, on se retrouve quand même avec des introductions très similaires, ce qui est (très) embêtant pour la diversité et la richesse des textes et des idées sur le Web ! Vous en conviendrez.
Quelle IA est la plus performante pour générer un article optimisé ?
Llama 3 a généré une structure optimisée du premier coup, c’est la seule. Mais son introduction mérite des retouches ainsi que la construction de certains h2 (à la fin des h2, il y a une explication de ce que l’IA propose dans chaque partie).
Vous verrez à la fin de cet article que les IA évoluent très vite, car ayant réalisé ce test à l’identique au mois d’avril 2024, mes résultats étaient différents. Je ne vous en dis pas plus pour le moment. 🤫
Une intelligence artificielle générative est-elle capable de rédiger un article optimisé (presque seule) ?
Du point de vue du client
Un client pourrait avoir l’impression de générer un article optimisé.
Toutefois, il ne le serait pas complètement. Et surtout, si un concurrent a eu la même idée d’utiliser l’IA pour générer ses textes (sans retouche humaine), ils auraient la mauvaise surprise de découvrir un article très similaire au sien sur le site du concurrent.
Pour le client, cette solution est loin d’être satisfaisante.
Du point de vue de l’internaute
En lisant un seul texte, et même si les idées et les formulations sont basiques, l’internaute pourrait s’y retrouver. Continuons avec notre exemple de concurrents. L’internaute hésite à faire appel à l’entreprise A ou l’entreprise B. Lorsqu’il veut faire son choix, il va sur les deux sites concurrents qui utilisent l’intelligence artificielle pour générer des articles. Notre prospect va lire des articles proches, ce qui ne le guidera pas dans son choix.
Notre point de vue
Évidemment, et vous l’aurez compris, les productions générées par l’IA sans intervention humaine ne sont pas satisfaisantes pour nous. Les règles d’optimisation ne sont pas respectées et l’ensemble des productions sont très similaires. Notre avis prend forcément en compte celui des internautes et des clients et comme ce n’est satisfaisant ni pour l’un ni pour l’autre…
J’avais réalisé ce même test au mois d’avril, et les résultats étaient différents. Même en demandant aux IA de conserver la requête telle quelle, aucune ne l’avait fait. La qualité des introductions était différente entre les IA. Celles qui avaient réalisé les propositions les plus intéressantes pour cette tâche, et qui auraient pu être utilisées avec quelques ajustements, étaient les productions de Mistral, Perplexity et Claude3 Sonnet. Je rappelle qu’aujourd’hui (août 2024), il s’agit de Llama 3.
Il y a donc de réelles évolutions au niveau de la qualité et de la production des IA, des tests réguliers sont indispensables.
Bien que les intelligences artificielles génératives montrent des avancées significatives dans la rédaction d’articles optimisés, il est évident qu’elles ne peuvent encore remplacer l’expertise humaine. Les résultats de notre test révèlent que, malgré des structures de base acceptables, les productions manquent de précision et de créativité, rendant les textes trop similaires et peu engageants. C’est dans ce sens que, depuis plus d’un an, nous développons nos formations autour de la création de contenus et l’utilisation des IA : l’humain pour l’expertise et la créativité et l’IA pour l’efficacité.
Article rédigé par Audrey – ingénieure de formation Team FRW
Une réponse
Article super intéressant. Merci Audrey !
C’est vrai que la crainte que l’IA puisse remplacer les rédacteurs web est un thème d’actualité. Ce test complet est rassurant et consolide la thèse de Lucie sur le fait que l’IA est un outil au service du rédacteur et de sa productivité, non un remplaçant…