Bots d’IA et logs serveur : la mission technique à confier à votre agence

Le sujet mis en avant par la dépêche est une étude fondée sur l’analyse de logs, annoncée comme portant sur sept milliards de lignes, consacrée au comportement du robot d’OpenAI sur les sites web. Nous ne connaissons pas ses conclusions et nous n’en avançons aucune. Ce qui est directement utilisable, c’est la méthode : l’analyse de logs est le seul moyen de savoir avec certitude quels robots visitent votre site, à quelle fréquence et sur quelles pages.

Première action : vérifiez que vous avez accès à vos logs. Demandez à votre hébergeur ou à votre prestataire technique la durée de conservation, le format et la procédure d’export. Beaucoup d’hébergements mutualisés ne conservent les logs que quelques jours, ce qui rend toute analyse sérieuse impossible. Si c’est votre cas, faites augmenter la rétention avant de commander quoi que ce soit.

Cadrez ensuite une mission courte et bornée. Le livrable attendu tient en quelques pages : liste des robots identifiés avec leur volume de requêtes, répartition des visites par section du site, pages les plus et les moins visitées par les robots, codes de réponse rencontrés notamment les erreurs, et charge serveur générée. Demandez le fichier de données agrégées en plus du rapport, pour pouvoir refaire l’analyse plus tard.

Faites trancher explicitement la question de l’autorisation des robots d’IA. Il s’agit d’un arbitrage de direction, pas d’un réglage technique : autoriser peut favoriser la reprise de vos contenus dans des réponses génératives, refuser protège des contenus que vous ne souhaitez pas voir réutilisés. Demandez à l’agence de présenter les deux options avec leurs conséquences, puis tracez la décision par écrit et faites-la appliquer via le fichier robots.txt et la configuration serveur.

Profitez de la mission pour traiter ce que les logs révèlent toujours et qui coûte du chiffre d’affaires : pages en erreur encore visitées, chaînes de redirections, pages orphelines jamais atteintes, temps de réponse dégradés sur les gabarits les plus consultés. Ces corrections bénéficient à tous les moteurs et à vos visiteurs humains, indépendamment du sujet de l’IA.

Côté devis, exigez un forfait avec périmètre et durée fixes plutôt qu’un abonnement. Précisez la période de logs analysée, le nombre de domaines et sous-domaines couverts, l’outil utilisé, le format de restitution et le nombre de restitutions orales incluses. Demandez aussi ce qu’il advient des données à la fin de la mission : les logs contiennent des adresses IP et leur traitement relève du cadre applicable aux données personnelles.

Deux pièges à éviter. Le premier est la mission d’analyse de logs vendue comme un abonnement permanent alors que l’essentiel de la valeur se joue au premier passage puis une ou deux fois par an. Le second est la remise d’un rapport sans plan d’action chiffré : exigez que chaque constat soit associé à une correction, à un responsable, à une charge en heures et à une priorité.

Enfin, vérifiez la restitution avec une question simple posée à l’agence : parmi tout ce que vous avez trouvé, quelles sont les trois corrections qui auront le plus d’effet sur nos demandes de devis, et pourquoi ? Une réponse claire signale un prestataire qui relie la technique au résultat commercial. Une réponse évasive signale un rapport produit par un outil et peu exploité.