Comprobador de robots.txt para IA
Escribe tu web y te decimos, bot a bot, qué IAs pueden entrar según tu robots.txt.
Por qué importa el robots.txt para las IAs
Las IAs usan bots distintos para cosas distintas. Unos entrenan modelos; otros buscan en la web para responder con enlaces, o leen una página cuando alguien la pide en la conversación. Si bloqueas los de búsqueda, es difícil que esa IA te cite. Bloquear los de entrenamiento es una decisión legítima y no te quita de las respuestas con búsqueda.
Los bots que comprobamos
| Bot (user-agent) | De quién | Para qué |
|---|---|---|
GPTBot | ChatGPT (OpenAI) | Entrenamiento |
OAI-SearchBot | ChatGPT (OpenAI) | Búsqueda |
ChatGPT-User | ChatGPT (OpenAI) | Visita pedida por un usuario |
ClaudeBot | Claude (Anthropic) | Entrenamiento |
Claude-SearchBot | Claude (Anthropic) | Búsqueda |
Claude-User | Claude (Anthropic) | Visita pedida por un usuario |
anthropic-ai | Claude (Anthropic) | Entrenamiento |
PerplexityBot | Perplexity | Búsqueda |
Perplexity-User | Perplexity | Visita pedida por un usuario |
Google-Extended | Google (Gemini / AI Overviews) | Entrenamiento · solo en robots.txt |
Googlebot | Google (Gemini / AI Overviews) | Búsqueda (buscador general) |
Applebot-Extended | Apple Intelligence | Entrenamiento · solo en robots.txt |
Applebot | Apple Intelligence | Búsqueda (buscador general) |
meta-externalagent | Meta AI | Entrenamiento |
Meta-ExternalFetcher | Meta AI | Lectura al responder |
Bytespider | ByteDance | Entrenamiento |
Amazonbot | Amazon | Búsqueda |
cohere-ai | Cohere | Entrenamiento |
YouBot | You.com | Búsqueda |
DuckAssistBot | DuckDuckGo | Lectura al responder |
MistralAI-User | Mistral | Visita pedida por un usuario |
CCBot | Common Crawl | Entrenamiento |
Cómo lo comprobamos
Leemos el robots.txt público de tu web en ese momento y comprobamos la portada (/) según el estándar (RFC 9309). Lo que dice el robots.txt es lo que la web pide; cada bot decide si lo respeta.
¿Y qué dicen de verdad las IAs de tu marca?
Que un bot pueda entrar no significa que la IA te recomiende. VisibAI hace a las IAs las preguntas que harían tus clientes y te enseña si apareces, quién sale en tu lugar y qué mejorar.