El Crawl budget es un concepto que tiene un gran impacto en cualquier estrategia de posicionamiento SEO.

Google lanza sus arañas (conocidas como GoogleBot) con el objetivo de que llegue a nuestras páginas, revise nuestro contenido y lo indexe para que aparezca en los buscadores. En el momento en el que terminan estas acciones, los resultados aparecerán posicionados en el índice de Google.

En el caso de que una página sea inaccesible, o su tiempo de carga muy elevado, es posible que estos robots no pasen por ahí; en resumidas cuentas: tu página quedará sin indexarse.

Ahora imaginemos un sitio que tiene miles de páginas y en el que se generan otras tantas a diario. Aquí es más importante que nunca ponérselo fácil a Google. Y es que solo así conseguiremos que nuestra web sea correctamente indexada.

Y aquí es donde entra en juego la importancia del Crawl budget.

¿A qué llamamos Crawl budget?

 

El Crawl budget interrelaciona dos conceptos cruciales:

  • Tasa de rastreo, también conocida como Crawl Rate Limit.
  • Demanda de rastreo o Crawl Demand.

Considerando los factores anteriores tendremos la información para calcular la cantidad de páginas que el robot de Google es capaz de rastrear en nuestra web.

El Crawl Rate Limit es un factor que aplica Google para evitar rastrear muchas webs de manera rápida, ya que podría afectar drásticamente al servidor en el que se hospeda. Si gestionase muchas solicitudes, la web quedaría agotada y esto lastraría la experiencia del usuario.

En el caso de la Crawl Demand dependerá de la popularidad de la web y de la frecuencia de actualización. Si tenemos una tasa de rastreo baja, el robot de Google evitará rastrear la web o, como mínimo, ciertas partes.

¿Qué factores afecta al Crawl budget?

 

Ya conocemos lo importante que es el Crawl budget y que debemos cuidarlo para evitar que todo el esfuerzo que hemos hecho en nuestra web no haya significado nada. Estos son los factores que debemos considerar.

1)    Importancia de cada URL

Aquellas páginas que no aporten nada a la web deben ser eliminadas. Nos estamos refiriendo a aquellas que tienen contenido de mala calidad (sin sentido, copiado, sin una buena estructura), o que directamente no tenga ni texto.

Tan solo elevarán el tiempo de rastreo y ni tan siquiera se indexarán.

2)    Contenido obsoleto

A Google no le gusta nada el contenido obsoleto, fijo, que no se actualiza. Este es un factor que influye mucho en el Crawl budget.

Nuestra recomendación es actualizar el sitio de forma recurrente, ofreciendo contenido nuevo y de calidad.

Y no te olvides de las entradas antiguas: cada cierto tiempo les puedes añadir algo de texto, complementando información nueva que pueda existir sobre el tema, o cualquier otro tipo de recurso.

3)    Contenido duplicado

El contenido duplicado puede acabar con cualquier sitio web. El contenido siempre debe ser original; incluso hasta un mínimo porcentaje de texto copiado podría afectarnos en las posiciones de búsqueda.

Cuando los robots recorran nuestra web se darán cuenta de que intentan indexar el mismo contenido que ya está indexado en otras webs, o en la misma página, y no lo harán.

4)    Cuidado de etiquetas Meta y Title

No se les da demasiada importancia a estas etiquetas y, cuando se le da, no siempre se utilizan como deberían.

La duplicidad de estas etiquetas también podría suponer un auténtico caos.

5)    Optimización de la velocidad de carga

También es importante optimizar la velocidad de un sitio web para escritorio y para móviles.

Hay muchos más criterios a tener en cuenta, pero estos son los más importantes para mejorar el Crawl budget.