Quotidien Hebdomadaire Mensuel

Quotidien Shaarli

Tous les liens d'un jour sur une page.

January 23, 2025

Block AI Bots from Crawling Websites Using Robots.txt - Liens en vrac de sebsauvage

Bon, c'est toujours mieux que rien : une conf Apache pour "tenter" de bloquer les Bots d'IA sur son/ses site/s. Je dis bien tenter, parce que beaucoup ignorent les robots.txt et/ou ne donnent pas leur véritable user agent…