el rastreador de la Búsqueda de Google

Google ha querido arrojar luz sobre el funcionamiento interno de Googlebot, su rastreador se encarga de explorar la web para encontrar, procesar e indexar contenidos en la Búsqueda. Una información de lo más valiosa para los profesionales SEO, y para cualquier persona interesada en conocer cómo funcionan los engranajes de Google y cómo sacarles partido.

El encargado de desmitificar y acercarnos la realidad del rastreo, la obtención de datos y el procesamiento de los bytes, ha sido Gary Illyes, analista en el equipo de la Búsqueda de Google, a través de una publicación en el blog oficial de Google Search Central.

Googlebot no es “el rastreador”, es uno de los distintos identificadores de rastreo de Google

Una de las cosas que el gigante tecnológico ha querido aclarar es que Googlebot no es la totalidad de su infraestructura de rastreo. Tal y como explica Illyes: «A principios de la década de 2000, Google tenía un solo producto, por lo que teníamos un solo rastreador. El nombre “Googlebot” se popularizó. Pero hoy en día, Googlebot es simplemente un usuario de algo que se asemeja a una plataforma de rastreo centralizada».

Esto significa que, actualmente, Googlebot no es el único identificador que utiliza Google. Mientras que Googlebot es el nombre que usa la plataforma cuando trabaja para el equipo de Search (la Búsqueda), esa misma infraestructura utiliza otros nombres de rastreador para servicios como Google Shopping o AdSense. Puedes acceder a más información sobre los nombres de rastreadores más relevantes de Google aquí.

Entendiendo los límites de rastreo

En la publicación, Gary Illyes ha explicado hasta qué punto Googlebot puede rastrear un sitio web, exponiendo los límites de bytes que este rastreador puede procesar según el tipo y el formato del archivo. Y es que, cada