¿Quieres que los motores de búsqueda encuentren el mayor número posible de páginas de tu web? ¿Quieres que además lo hagan rápidamente? Normalmente, cuando añadimos nuevas páginas a nuestra web o las actualizamos deseamos que los motores de búsqueda las detecten rápidamente, con el objetivo de obtener el mayor beneficio de ellas lo antes posible. Aquí es donde entra en juego el Crawl Budget, un concepto estrechamente relacionado con el SEO.
A lo largo de este artículo, desde nuestra agencia de marketing Bloo Media, te contamos todo sobre este concepto:
- ¿Qué es el crawl budget?
- ¿Cómo optimizar el crawl budget?
- ¿Cuándo mejorar el crawl budget?
¡Sigue leyendo y descubre la respuesta a estas preguntas!
índice de contenido
Qué es el crawl budget
El crawl budget es el tiempo que tardan los rastreadores en rastrear cada uno de los sitios web. Dicho de otro modo, este concepto hace referencia al presupuesto de rastreo, un presupuesto basado en la autoridad, la accesibilidad, la calidad y la velocidad de los sitios web.
Basándose en todo ello, Google asigna un tiempo para que los bots rastreen las diferentes páginas.
¿Cómo podemos facilitarle el rastreo a Google? Lo cierto es que los recursos de Google no son infinitos y en muchos casos es necesario que le ayudemos un poco, con el objetivo de que tarde menos tiempo en encontrar lo importante de nuestra web. Los bots dividen su atención entre millones de sitios web y necesitan una forma de priorizar su rastreo.
¿Cómo ayudamos a que los bots prioricen su rastreo? Teniendo en cuenta lo siguiente:
- Realizando una buena arquitectura de la página web.
- Realizando una buena estructura de enlaces internos ya que las páginas con pocos enlaces internos reciben mucha menos atención por parte de los motores de búsqueda que las páginas que están enlazadas a muchas páginas.
- Aumentando la autoridad del sitio web, por ejemplo: a través del SEO off page, concretamente a través de linkbuilding. Los links de calidad hacia nuestras URLs, aumentan la autoridad del sitio web, hacen que este se posicione mejor y hacen que Google le proporcione más relevancia.
- Actualizando contenido de la página web. Si vamos actualizando y añadiendo nuevo contenido a nuestra página web, el buscador pasará por ella para ver los cambios y las novedades. Sin embargo, si nuestra web está estática y los contenidos siempre son iguales, GoogleBot determinará un presupuesto de rastreo bajo porque dará por hecho que no va a encontrar nada nuevo.
- Indicando qué URLs no son importantes y cuáles no es necesario que rastree la araña del buscador. ¡Esto se indica en el fichero robots.txt!
¿Cómo medir el Crawl Budget?
¡Medir el Crawl Budget es sencillo! Si tu página web está verificado en Search Console medir el presupuesto de rastreo es tarea sencilla. Tan solo tendrás que iniciar sesión en Search Console y seleccionar el sitio web. Una vez has seleccionado el sitio web hace clic sobre ‘rastreo’ y ‘estadísticas de rastreo’. Ahí podrás ver el número de páginas que el buscador rastrea cada día.
Cómo optimizar el crawl budget
Google determina un presupuesto para nuestra web, por ello tenemos que ser conscientes de que una vez se gaste dicho presupuesto, el buscador dejará de rastrear nuestra web, por lo tanto dejará de indexar contenidos. Esto hace que sea muy importante saber optimizar el Crawl Budget para no desaprovechar el presupuesto asignado.
Hay muchas maneras de optimizar el crawl budget. En este apartado hacemos una recopilación de algunas de las más destacadas:
- Reducir las redirecciones 301: no importa tener algunas redirecciones 301. Sin embargo abusar de las redirecciones hará que el bot pierda demasiado tiempo yendo de URL en URL. Además, es conveniente señalar que estas redirecciones tiene que apuntar a la URL definitiva, con el objetivo de no desperdiciar el presupuesto de rastreo.
- Enlaces rotos: es imprescindible comprobar que no existen enlaces rotos en la página web. Estos enlaces perjudican la experiencia del usuario y también hacen que sea complicado para los rastreadores navegar. Ten en cuenta que si un rastreador no puede llegar a una página web no podrá indexarla.
- Velocidad del site: la velocidad del sitio web es imprescindible para mejorar el presupuesto y también lo es para rankear la web. Si una página web se carga rápidamente los bots rastrearán las páginas de forma mucho más rápida. La velocidad del sitio es clave para el SEO y para mejorar la experiencia del usuario.
- Sitemap.xml: el archivo sitemap.xml es una de las cosas que los rastreadores tienen en cuenta al rastrear un sitio web por primera vez… ¡no lo descuides! En él se deben encontrar las urls más importantes de tu sitio, dejando fuera a las que no deseamos rankear.
- Robots.txt: En este archivo podemos decirle a googlebot, o a cualquier otro rastreador, que no entre en determinadas páginas. Por ejemplo, si tenemos un sitio web en el que se registran los usuarios, se creará una página que puede ser algo como “/user/nombre usuario/”. En este caso se puede deshabilitar el rastreo de “/user/” ya que estas urls no sirven a nivel de posicionamiento, y pueden haber una gran cantidad de ellas que perjudican el rastreo, ya que Google invertirá mucho tiempo en rastrearlas.
Cuándo debo mejorar el crawl budget
El Crawl Budget es muy importante. Sin embargo, no en todos los casos en conveniente dedicarle mucho tiempo. Por ejemplo: en las páginas web pequeñas, con pocas URLs no es necesario dedicarle demasiado tiempo, ya que un sitio web con menos de 100 URLs será fácilmente rastreable por los bots (siempre y cuando estén bien hechas). Sin embargo, una página web mediana o grande, con miles de URLs, requiere mejorar y optimizar el crawl budget porque Google no será capaz de rastrearlas todas constantemente. Por tanto, optimizarlo y mejorarlo es una buena forma de hacer que rastree aquellas que nos interesa.
Ahora que sabes un poco más sobre el Crawl Budget te habrás dado cuenta de que no es un factor directo de posicionamiento, sin embargo, influye considerablemente en el SEO, y trabajarlo y optimizarlo, en algunos casos, conlleva grandes mejoras.
Si quieres saber si tu web necesita optimizar el Crawl Budget ponte en contacto con nosotros. En Bloo Media, contamos con un equipo de especialistas que sabrá cómo sacarle el máximo partido a tu página web para mejorar así los beneficios de tu negocio.