Concepte
¿Qué es robots.txt, llms.txt y el sitemap?
Los tres archivos que deciden qué pueden leer los bots de tu web.
robots.txt#
Un archivo en la raíz de tu web (/robots.txt) que dice a cada bot qué puede rastrear. Si un bot de IA está bloqueado aquí, VisibAI lo marca como bot bloqueado y puede proponerte una acción.
llms.txt#
Un archivo (/llms.txt) que resume para los modelos de lenguaje qué es tu web y dónde está lo importante. VisibAI comprueba si lo tienes, y el motor de contenido puede generarlo: lo publicas tú.
Sitemap#
El archivo (/sitemap.xml) que lista las URLs de tu web. Con los logs, VisibAI cruza el sitemap con las visitas de los bots para encontrar huecos de rastreo: URLs del sitemap que ningún bot visita.
Actualitzat el
Articles relacionats
No has trobat la resposta?
Escriu-nos i et respondrem. Si tens compte, fes servir «Contacta’ns» al panell: ens arriba amb el context del teu compte.