Sans robots.txt propre et sitemap accessible, le crawl est compromis. C’est la base de l’indexabilité — ça passe avant tout le reste techniquement. Notre canard va donc patauger pour vérifier la présence du robots.txt et sonde les chemins classiques de sitemaps (sitemap.xml, wp-sitemap.xml, etc.).
