Para que una página pueda aparecer en Google, primero el buscador tiene que descubrirla, poder rastrearla, interpretar su contenido y decidir si corresponde incorporarla a su índice. Rastreo e indexación están relacionados, pero no significan lo mismo: que Google visite una URL no garantiza que vaya a indexarla.
En esta guía vamos a ver cómo funcionan ambos procesos, qué papel cumplen robots.txt y las etiquetas meta robots, qué otros factores pueden intervenir y cómo diagnosticar una URL que Google no está indexando.
¿Qué es el rastreo de Google?
El rastreo o crawling es el proceso mediante el cual los bots de los motores de búsqueda recorren la web para encontrar páginas nuevas o detectar cambios en páginas que ya conocen.
Google puede descubrir URLs por diferentes vías, entre ellas:
- enlaces internos desde otras páginas del sitio;
- enlaces procedentes de otros sitios;
- archivos sitemap XML;
- URLs conocidas de rastreos anteriores;
- redirecciones;
- otras señales técnicas que permitan encontrar una dirección.
Una vez descubierta la URL, Google determina cuándo y cómo rastrearla.
En Búho Media prestamos especial atención a esta relación entre arquitectura, enlazado interno y rastreo cuando analizamos sitios con cientos o miles de URLs. Muchas veces el problema no es que Google “no quiera” indexar una página, sino que recibe señales poco claras sobre su relevancia dentro del sitio.
¿Qué es la indexación?
La indexación es el proceso mediante el cual Google analiza una página y, cuando considera que corresponde, la incorpora a su índice.
Estar indexado significa que una URL es candidata a aparecer en los resultados de Google. No significa necesariamente que vaya a posicionarse bien.
Una página puede cumplir técnicamente con todos los requisitos para ser indexable y, sin embargo, quedar fuera del índice.
Rastreable, indexable e indexada no significan lo mismo
Una distinción especialmente útil en SEO es separar estos tres conceptos.
- Rastreable: Googlebot puede acceder a la URL.
- Indexable: técnicamente la página puede formar parte del índice; por ejemplo, no contiene una directiva noindex que lo impida.
- Indexada: Google efectivamente decidió incorporar esa URL a su índice.
Una página puede ser rastreable e indexable pero seguir sin estar indexada.
Ese escenario aparece con frecuencia en Google Search Console mediante estados relacionados con URLs que Google conoce o incluso ya rastreó, pero todavía no incorporó a su índice.
Aquí el análisis tiene que ir más allá de las directivas técnicas: calidad del contenido, duplicación, intención de búsqueda, enlazado interno, arquitectura y relevancia de la URL pasan a ser factores importantes.
¿Para qué sirve el archivo robots.txt?
El archivo robots.txt controla principalmente qué partes de un sitio pueden rastrear determinados bots.
Normalmente se encuentra en la raíz del dominio:
https://ejemplo.com/robots.txt
Mediante sus reglas podemos permitir o bloquear el acceso de determinados rastreadores a rutas concretas.
Por ejemplo:
User-agent: *
Disallow: /area-privada/
En este caso se solicita a los rastreadores compatibles con la directiva que no accedan a esa ruta.
Pero existe una diferencia crítica: bloquear una URL mediante robots.txt no es lo mismo que indicarle a Google que no debe indexarla.
Google puede conocer una URL bloqueada a través de enlaces u otras señales. Si no puede rastrearla, tampoco podrá analizar completamente su contenido ni leer determinadas instrucciones presentes dentro de la propia página.
Por eso robots.txt debe utilizarse para gestionar el rastreo, no como sustituto de noindex.
Robots.txt, meta robots y X-Robots-Tag: qué controla cada uno
| Herramienta | Actúa sobre | Uso principal | ¿Evita por sí sola la indexación? |
|---|---|---|---|
| robots.txt | Rastreo | Controlar el acceso de crawlers a determinadas URLs o rutas | No |
| Meta robots | Página HTML | Controlar la indexación y otras instrucciones a nivel de página | Sí, mediante noindex, si Google puede rastrear la página |
| X-Robots-Tag | Respuesta HTTP | Aplicar instrucciones también a recursos no HTML, como determinados archivos | Sí, mediante noindex, siempre que Google pueda acceder al recurso |
¿Cómo funciona la etiqueta meta robots?
La etiqueta meta robots permite dar instrucciones a los motores de búsqueda a nivel de página.
Por ejemplo:
<meta name=”robots” content=”noindex”>
indica que esa página no debe incorporarse al índice.
Entre las directivas más conocidas encontramos:
- index: permite la indexación; es el comportamiento predeterminado cuando no existe una restricción;
- noindex: solicita que la página no aparezca en los resultados;
- follow: permite seguir los enlaces;
- nofollow: indica que no deben seguirse los enlaces presentes en esa página.
También pueden combinarse instrucciones.
Por ejemplo:
noindex, follow
puede utilizarse cuando no queremos que una URL aparezca en los resultados, aunque no deseemos restringir el tratamiento de sus enlaces.
Un punto especialmente importante es que Google necesita rastrear la página para descubrir la directiva noindex. Si simultáneamente bloqueamos esa URL mediante robots.txt, el buscador podría no llegar a leerla.
¿Conviene utilizar noindex para contenido duplicado?
No siempre.
Si existen varias URLs equivalentes o muy similares y una de ellas representa claramente la versión principal, muchas veces la solución correcta pasa por revisar:
- etiquetas canonical;
- redirecciones;
- parámetros;
- arquitectura;
- enlazado interno;
- generación innecesaria de URLs.
noindex es una herramienta útil, pero no debería utilizarse automáticamente para resolver cualquier duplicación.
🔎 ¿Google está dejando páginas importantes fuera del índice?
Un problema de indexación puede originarse en robots.txt, etiquetas, canonicals, arquitectura, enlazado interno o en el propio contenido. En Búho Media analizamos las señales técnicas y SEO antes de decidir qué corregir.
Quiero revisar la indexación de mi sitio¿Por qué una página puede no estar indexada?
No existe una única causa.
Cuando analizamos problemas de indexación desde Búho Media, primero diferenciamos si estamos ante una restricción técnica o ante una decisión de Google respecto de la URL.
Entre los motivos que conviene revisar se encuentran:
La página tiene una directiva noindex
Es uno de los primeros puntos que debemos comprobar. Si Google puede rastrear la URL y encuentra un noindex, no debería mantenerla en los resultados.
Robots.txt impide el rastreo
Puede dificultar que Google acceda al contenido y procese determinadas señales de la página.
Pero, nuevamente, bloquear el rastreo no equivale a solicitar la eliminación de una URL del índice.
La URL redirige
Si responde con una redirección, Google normalmente evaluará la URL de destino en lugar de tratar la dirección original como una página independiente.
Existe otra URL canonical
Google puede considerar que otra dirección representa mejor ese mismo contenido.
En estos casos conviene revisar tanto la etiqueta rel=”canonical” definida por el sitio como la URL canónica que Google termina seleccionando.
El contenido es demasiado parecido a otras páginas
En ecommerce, sitios de servicios, filtros, etiquetas o grandes blogs es común que se generen grupos de URLs con diferencias mínimas.
Google no necesariamente necesita indexarlas todas.
La página tiene poco enlazado interno
Una URL aislada o situada a demasiados clics de las zonas relevantes del sitio puede recibir señales de importancia débiles.
El contenido no aporta suficiente valor diferencial
Que una página sea técnicamente indexable no obliga a Google a indexarla.
Si existen decenas de contenidos muy similares, páginas extremadamente pobres o URLs que no responden claramente a una intención de búsqueda, el problema probablemente no se resuelva modificando una etiqueta.
Cómo comprobar si Google está indexando correctamente una página
Para investigar una URL concreta, Google Search Console debería ser uno de los primeros puntos de análisis.
La herramienta permite comprobar cómo Google conoce una URL, detectar determinados problemas de indexación y solicitar un nuevo rastreo cuando corresponde.
1. Utilizá la Inspección de URLs
Ingresá la dirección exacta en Search Console.
Entre otros datos, vas a poder analizar si la URL está en Google y revisar información relacionada con su estado.
2. Revisá el informe de Indexación de páginas
Este informe permite estudiar qué URLs conoce Google, cuáles están indexadas y qué motivos aparecen asociados a aquellas que no ingresaron al índice.
Lo importante no es intentar conseguir que absolutamente todas las URLs estén indexadas.
En muchos sitios existen páginas que legítimamente no deberían formar parte de Google.
La pregunta correcta es otra:
¿Las páginas estratégicas que queremos posicionar están siendo rastreadas, interpretadas e indexadas correctamente?
3. Analizá las Estadísticas de rastreo cuando sea necesario
En sitios grandes o ante problemas técnicos, las estadísticas de rastreo pueden aportar información adicional sobre cómo Googlebot está accediendo al sitio.
4. Comprobá la respuesta HTTP
Una página que queremos indexar debería responder de forma coherente con ese objetivo.
Conviene detectar:
- errores 4xx;
- errores 5xx;
- cadenas de redirecciones;
- redirecciones incorrectas;
- respuestas inconsistentes del servidor.
5. Revisá robots, canonical y enlazado interno
Después debemos verificar si las diferentes señales técnicas cuentan la misma historia.
Si una URL aparece en el sitemap pero está bloqueada en robots.txt, enlaza mediante canonical hacia otra página o prácticamente no recibe enlaces internos, estamos enviando indicaciones contradictorias.
¿Qué papel tiene el sitemap XML?
El sitemap ayuda a Google a conocer las URLs que consideramos relevantes para rastrear.
No obliga al buscador a indexarlas.
Una buena práctica es incluir en el sitemap aquellas URLs que realmente queremos posicionar y mantener una relación coherente entre:
- sitemap;
- canonicals;
- directivas de indexación;
- códigos de estado;
- arquitectura del sitio.
Por ejemplo, incluir sistemáticamente URLs con noindex en el sitemap genera señales contradictorias que conviene evitar.
El enlazado interno también influye en el rastreo
Los enlaces internos permiten que Google descubra páginas y comprenda mejor cómo se organiza un sitio.
No todas las URLs deberían recibir la misma importancia.
Las páginas estratégicas deberían estar integradas de manera lógica dentro de la arquitectura, enlazadas desde contenidos relacionados y accesibles sin recorridos innecesariamente profundos.
Por eso una estrategia de posicionamiento web en Argentina no puede limitarse a keywords o contenido. El SEO técnico, la arquitectura y el rastreo forman parte del mismo sistema.
Qué hacer cuando Google rastrea una página pero no la indexa
Si Search Console indica que una página fue rastreada pero no está indexada, no conviene solicitar indexación una y otra vez sin investigar el motivo.
Antes revisá:
- si responde con código HTTP 200;
- si es indexable;
- si existe una canonical hacia otra URL;
- si el contenido responde claramente a una intención;
- si ofrece algo diferente de otras páginas del sitio;
- si recibe enlaces internos;
- si figura correctamente en el sitemap;
- si existen problemas de renderizado o acceso;
- si forma parte de un conjunto de páginas duplicadas o muy similares.
En Búho Media recomendamos analizar estos factores de manera conjunta. Una estrategia integral de digital marketing y SEO no termina cuando conseguimos que Google indexe una página.
La indexación es el punto de partida.
Preguntas frecuentes
¿Cómo puedo saber si una página está indexada en Google?
La opción más precisa para una URL propia es utilizar la herramienta de Inspección de URLs de Google Search Console. Allí podés comprobar el estado que Google registra para esa dirección y obtener información útil para investigar problemas.
¿Una página bloqueada en robots.txt puede aparecer en Google?
Sí. Bloquear una URL mediante robots.txt evita que Googlebot rastree su contenido, pero no garantiza que Google desconozca la URL. Puede descubrirla mediante enlaces u otras fuentes.
¿Cuál es la diferencia entre robots.txt y noindex?
robots.txt controla principalmente el rastreo. noindex le indica al buscador que una página no debe formar parte del índice.
¿Puedo utilizar robots.txt y meta robots al mismo tiempo?
Sí, pero hay que evitar configuraciones contradictorias. Si bloqueás una URL mediante robots.txt, Google puede no acceder a la página y, por lo tanto, no leer una directiva noindex incluida en ella.
¿Por qué Google rastrea una página pero no la indexa?
Puede deberse a duplicación, baja diferenciación, canonicalización, calidad insuficiente, señales internas débiles u otros factores. Haber sido rastreada no implica automáticamente que Google vaya a indexarla.
¿Enviar una URL a Search Console garantiza su indexación?
No. Solicitar indexación facilita que Google vuelva a evaluar una URL, pero no obliga al buscador a incorporarla al índice.
¿Conviene revisar robots.txt periódicamente?
Sí, especialmente después de migraciones, rediseños o cambios importantes de estructura. Más que modificarlo cada determinada cantidad de meses, lo importante es comprobar que sus reglas continúen respondiendo a las necesidades reales del sitio.
