Cómo hacer que tu web salga en Google y en las respuestas de IA

Hacer que una web salga en Google significa conseguir que rastree e indexe sus páginas: Google tiene que descubrir cada dirección, descargarla y decidir guardarla en su índice. Al terminar esta guía tendrás una web que Google ha sido invitado a rastrear desde Search Console, de la que Bing y los demás buscadores de IndexNow se enteran en cuanto cambia una página, y que los rastreadores de búsqueda de ChatGPT, Claude y Perplexity pueden leer. También tendrás una comprobación rápida para repetir cada vez que una página no aparezca.

Primero, los plazos reales. La documentación de Google dice que el rastreo puede tardar desde unos días hasta unas semanas y que pedir un rastreo no garantiza la inclusión en absoluto. Ninguno de los pasos que siguen obliga a Google a indexar una página. Cada uno quita un motivo de espera, y en un dominio nuevo la espera es casi toda de descubrimiento: Google todavía no sabe que la web existe.

Qué necesitas antes de empezar

• La web publicada en su dominio definitivo, en HTTPS, con cada página que quieras que se encuentre respondiendo 200.
• Acceso a la configuración DNS del dominio, para verificar la propiedad con un registro TXT.
• Un sitemap en una dirección estable, normalmente /sitemap.xml, generado por el framework o el CMS.
• El texto principal de cada página en el HTML que envía el servidor, para que lo lea también un rastreador que no ejecuta JavaScript.

Paso 1: quita todo lo que bloquea al rastreador

Con el rastreador bloqueado, los pasos siguientes no sirven de nada, así que se empieza por aquí. Hay tres sitios que revisar.

• robots.txt. Un Disallow: / heredado de una copia de staging deja fuera a cualquier rastreador que respete el archivo.
• La meta etiqueta robots y la cabecera. Un noindex en el head de la página, o una cabecera X-Robots-Tag: noindex, le dice a Google que deje la página fuera del índice incluso después de rastrearla.
• La red. La protección contra bots de una CDN, una regla del cortafuegos o una contraseña en toda la web pueden responder a los rastreadores con una página de verificación en lugar del contenido.

Dos comandos enseñan lo que ve un rastreador:

curl -sI https://example.com/ | grep -i -E "^HTTP|x-robots-tag"

curl -s https://example.com/robots.txt

Cloudflare bloquea ahora por defecto los rastreadores de IA conocidos en los dominios nuevos; nuestra guía sobre la configuración de Cloudflare para rastreadores de IA trata ese caso. Si la web nueva sustituye a otra anterior, la checklist del rediseño cubre las redirecciones y las etiquetas noindex olvidadas.

Paso 2: verifica la web en Google Search Console como propiedad de dominio

Search Console tiene dos tipos de propiedad. Una propiedad de prefijo de URL cubre un único prefijo exacto, por ejemplo https://www.example.com/. Una propiedad de dominio cubre todos los subdominios y protocolos del dominio, y se verifica con un solo registro TXT en el DNS. Elige la propiedad de dominio: muestra toda la web en un mismo sitio, incluidas las versiones con y sin www que Google puede encontrar por su cuenta.

La verificación puede tardar unos minutos mientras el DNS se propaga. Desde ese día la propiedad empieza a recoger datos, así que conviene verificarla el día del lanzamiento y no después del primer informe de tráfico.

Paso 3: envía un sitemap del que Google se pueda fiar

En el sitemap solo van URL canónicas que responden 200 y no llevan noindex. Todo lo demás es ruido que Google tiene que filtrar. Google afirma que ignora los valores priority y changefreq y que solo usa lastmod si es exacto de forma constante y comprobable. Por eso lastmod se escribe con la fecha del último cambio de contenido, nunca con la hora de la build: un sitemap en el que todas las páginas cambiaron esta mañana enseña a Google a ignorar ese campo.

Envía el sitemap desde el informe Sitemaps de Search Console y añade una línea Sitemap: al robots.txt, para que Bing y los rastreadores de IA lo encuentren sin pasar por ninguna consola. Una web con miles de URL necesita más estructura que un solo archivo; lo contamos en el artículo sobre la estrategia de sitemap para un sitio con mucho contenido.

Paso 4: pide la indexación de las páginas que más importan

En Search Console, pega una URL en Inspección de URLs y pulsa Solicitar indexación. Hazlo con la home y con las pocas páginas que sostienen el negocio: las páginas principales de servicio o de producto y la de contacto. Google avisa de que hay una cuota para URL individuales y de que pedir varias veces la misma URL no acelera su rastreo. Gasta las solicitudes en las páginas que un visitante nuevo busca primero y deja el resto al sitemap.

Paso 5: enlaza cada página nueva desde una página que Google ya conoce

Google llama a la primera fase del rastreo descubrimiento de URL: se entera de las páginas nuevas por los enlaces de páginas que ya conoce y por los sitemaps. Una página que solo existe en el sitemap se descubre, pero nada en la web le dice a Google que importa.

• Enlaza las páginas principales desde el menú o desde la home.
• Enlaza cada artículo nuevo desde el índice del blog y desde un artículo antiguo de un tema cercano.
• Consigue un enlace externo que controles tú: la página de la empresa en LinkedIn, una organización en GitHub, la ficha en un directorio profesional del sector. Así Google tiene una página conocida que apunta a un dominio que nunca ha visto.

Los paquetes de enlaces de pago son otra cosa. Incumplen las políticas contra el spam de Google y pueden costarle al dominio mucho más que los días que prometen ahorrar.

Paso 6: añade la web a Bing Webmaster Tools y activa IndexNow

Bing Webmaster Tools puede importar desde Search Console una web ya verificada y sus sitemaps, así que tras el paso 2 basta con unos minutos. Después activa IndexNow, un protocolo abierto que avisa a los buscadores que lo usan cuando una URL se añade, se actualiza o se borra. Lo admiten Microsoft Bing, Naver, Seznam.cz, Yandex y Yep. Google no está en esa lista: IndexNow va junto a Search Console, nunca en su lugar.

El motivo va más allá de los resultados de Bing. Según OpenAI, la búsqueda de ChatGPT reescribe una pregunta en consultas que envía a proveedores de búsqueda externos, y Bing está entre los que nombra. Una página que Bing nunca ha visto tiene un camino menos para entrar en esas respuestas.

Muchos hostings, CMS y plugins de SEO ya traen IndexNow. Si no es tu caso, el protocolo pide un archivo con la clave en la raíz de la web y una petición por cada URL modificada:

curl "https://www.bing.com/indexnow?url=https://example.com/new-page&key=YOUR_KEY"

Una respuesta 200 solo significa que el buscador ha recibido la URL. El rastreo y la indexación siguen después sus propios plazos.

Paso 7: deja entrar a los rastreadores de búsqueda de IA y decide aparte sobre el entrenamiento

Para las funciones de IA de Google, a estas alturas el trabajo ya está hecho. Google dice que no hay requisitos adicionales para aparecer en AI Overviews o en AI Mode: la página tiene que estar indexada y poder mostrarse con un fragmento, y el rastreador que se encarga es Googlebot. Google añade que no hacen falta archivos nuevos legibles por máquinas ni archivos de texto para la IA.

Los demás asistentes tienen rastreadores propios, y cada empresa separa el que alimenta su búsqueda del que recoge datos para entrenar:

• OpenAI: OAI-SearchBot muestra webs en la búsqueda de ChatGPT; GPTBot rastrea para entrenar modelos. Una web que excluye a OAI-SearchBot no aparece en las respuestas de búsqueda de ChatGPT.
• Anthropic: Claude-SearchBot indexa contenido para los resultados de búsqueda de Claude; ClaudeBot recoge datos de entrenamiento.
• Perplexity: PerplexityBot muestra y enlaza webs en los resultados de Perplexity y, según su documentación, no se usa para entrenar modelos fundacionales.

Esa separación permite que una web aparezca en las respuestas de búsqueda con IA aunque rechace el entrenamiento. Un robots.txt que hace justo eso:

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

Rechazar el entrenamiento es una decisión de negocio, y el archivo de arriba es una respuesta posible, no una recomendación para cualquier web. Para la indexación cuentan los tres primeros bloques. OpenAI indica que un cambio en el robots.txt tarda unas 24 horas en llegar a sus sistemas de búsqueda.

Cómo comprobar que ha funcionado

• Inspección de URLs en Search Console indica "La URL está en Google" para cada página indexada, con la fecha del último rastreo.
• El informe Indexación de páginas cuenta las páginas indexadas y las que no, con un motivo para cada grupo. Lee los motivos, no solo el total.
• Bing Webmaster Tools tiene su propia inspección de URL y un registro de IndexNow con lo que ha recibido.
• Los logs del servidor o de la CDN enseñan qué rastreadores han pasado y qué han recibido. Busca Googlebot, bingbot, OAI-SearchBot, Claude-SearchBot y PerplexityBot con respuesta 200, no 403 ni una página de verificación.

Una búsqueda site:example.com es, como mucho, una señal aproximada: enseña una muestra y su recuento es una estimación.

Fallos habituales y cómo arreglarlos

• Descubierta: actualmente sin indexar. Google encontró la URL y aplazó el rastreo, normalmente porque preveía sobrecargar la web. Revisa los tiempos de respuesta del servidor y asegúrate de que la página recibe enlaces internos desde páginas ya indexadas.
• Rastreada: actualmente sin indexar. Google descargó la página y de momento ha decidido no guardarla; su documentación dice que no hace falta volver a enviarla. El arreglo está en la página: texto escaso, casi una copia de otra página, o ninguna respuesta a algo que alguien busque. Fusiónala o dale contenido.
• Google ha elegido otra URL canónica. La página tiene duplicados, a menudo con y sin barra final o con parámetros de seguimiento. Define rel="canonical" y usa la misma forma de la URL en los enlaces y en el sitemap.
• Indexada con un fragmento vacío o equivocado. El texto solo se genera en el navegador. Genéralo en el servidor para que vaya en el HTML.
• Los rastreadores de IA reciben 403. Una regla del cortafuegos o de gestión de bots responde por ellos. Autoriza a los rastreadores de búsqueda por user agent y por los rangos de IP que publica cada empresa.

Para ir más allá

La indexación es la condición de entrada, no el resultado. El posicionamiento y las citas en respuestas de IA dependen de si la página responde a la pregunta mejor que las páginas de alrededor. Nuestra guía sobre cómo conseguir que Google AI Overviews y ChatGPT te citen sigue donde acaba esta, y añadir JSON-LD a un artículo ayuda a los buscadores a entender qué es cada página.