Concepto
¿Qué es robots.txt, llms.txt y el sitemap?
Los tres archivos que deciden qué pueden leer los bots de tu web.
robots.txt#
Un archivo en la raíz de tu web (/robots.txt) que dice a cada bot qué puede rastrear. Si un bot de IA está bloqueado aquí, VisibAI lo marca como bot bloqueado y puede proponerte una acción.
llms.txt#
Un archivo (/llms.txt) que resume para los modelos de lenguaje qué es tu web y dónde está lo importante. VisibAI comprueba si lo tienes, y el motor de contenido puede generarlo: lo publicas tú.
Sitemap#
El archivo (/sitemap.xml) que lista las URLs de tu web. Con los logs, VisibAI cruza el sitemap con las visitas de los bots para encontrar huecos de rastreo: URLs del sitemap que ningún bot visita.
Actualizado el
Artículos relacionados
¿No encontraste la respuesta?
Escríbenos y te respondemos. Si tienes cuenta, usa «Contáctanos» en el panel: nos llega con el contexto de tu cuenta.