Concept
¿Qué es robots.txt, llms.txt y el sitemap?
Los tres archivos que deciden qué pueden leer los bots de tu web.
robots.txt#
Un archivo en la raíz de tu web (/robots.txt) que dice a cada bot qué puede rastrear. Si un bot de IA está bloqueado aquí, VisibAI lo marca como bot bloqueado y puede proponerte una acción.
llms.txt#
Un archivo (/llms.txt) que resume para los modelos de lenguaje qué es tu web y dónde está lo importante. VisibAI comprueba si lo tienes, y el motor de contenido puede generarlo: lo publicas tú.
Sitemap#
El archivo (/sitemap.xml) que lista las URLs de tu web. Con los logs, VisibAI cruza el sitemap con las visitas de los bots para encontrar huecos de rastreo: URLs del sitemap que ningún bot visita.
Updated on
Related articles
Didn’t find your answer?
Write to us and we will reply. If you have an account, use “Contact us” in the dashboard: it reaches us with your account context.