12 Abr
Crawl budget tela de araña-foto

¿Qué es el Crawl Budget y cómo puedo optimizarlo para mi web?

Seo y Social Media

Desde hace unos meses se está escuchando un concepto que ya existía pero que ahora está tomando mayor volumen, Crawl Budget.

Este es un concepto que se escucha mucho en el mundo del marketing online, sobre todo en lo que a posicionamiento seo se refiere.

Tanto si ya estás metido en este mundo y conoces lo que quiere decir, como si eres un recién iniciado, os vamos a contar en este post todo sobre el Crawl Budget y cómo puedes optimizarlo para tu web.

Crawler, araña o cómo Google visita tu web

A ver, sabemos que te hemos dicho que te íbamos a contar qué significaba el concepto de crawl budget, pero para saber qué es, vamos a contar brevemente cómo Google visita tu web.

Según la wikipedia:

“Una araña web es un programa que inspecciona las páginas de World Wide Web de forma metódica y automatizada”

dicho así puede que te quedes igual que como estabas, tranquilo te lo aclaramos un poco más:

“Una araña web o crawler es un pequeño robot que va recorriendo las páginas que conforman una web, las lee y una vez terminado las guarda en un servidor”

esperemos que ahora esté mucho más claro, 🙂

Obviamente, a estas alturas sabes que existen varios tipos de buscadores como Bing o Yandex, pero nosotros nos centraremos al que más uso le das cuando quieres buscar algo, Google.

Google se provee de estos eficientes trabajadores, llamados Google Bots, para rastrear todo tipo de contenido en la web, texto, imágenes o vídeo, siendo éstos sólo algunos de todos los rastreadores de Google.

Sabemos que con este poquito de información puede que todavía no te haya quedado claro cómo funcionan los crawlers, por eso te dejamos este vídeo de Matt Cutts donde lo cuenta de una manera sencilla. Ah y no te preocupes, que si no entiendes bien el inglés tiene subtítulos en español, 😉

¿Y cómo veo yo el comportamiento de Google en mi web?

Ahora que ya sabemos cómo Google visita tu web, la siguiente pregunta lógica que te harás será, ¿cómo veo yo por dónde va y para qué me sirve?.

Vamos a responderte la pregunta empezando por el final, todo muy lógico lo sé. Conocer cómo Google rastrea tu web te servirá para optimizar tu crawl budget, algo de lo que te hablaremos más adelante.

La respuesta a la primera parte de la pregunta la puedes encontrar en una herramienta llamada Screaming Frog. Esta herramienta es algo que como SEO deberías tener en tu conjunto de herramientas para realizar una auditoría SEO.

Para este caso en concreto, en el que queremos ver el comportamiento de Google en tu web deberás utilizar SEO Log File Analyser de Screaming Frog.

Crawl Budget SEO Log Analyzer - captura de pantalla

A través de esta herramienta podrás echar un ojo a los logs almacenados en tu propio servidor y que ofrecen información importante.

Gracias al análisis de dichos logs podrás obtener información tan importante como:

  • Por dónde navega Google
  • Frecuencia con que lo hace
  • Qué zonas son las más frecuentadas
  • Cuáles producen una redirección

Una vez conocido qué usa Google para rastrear y cómo rastrea, pasemos a explicar el tema que nos ocupa, el presupuesto de rastreo.

Crawl Budget, ¿ésto qué es?

Puede que todos pensemos que Google, como empresa de éxito, dispone de recursos totalmente ilimitados, esto en cierto modo puede ser casi verdad, pero no en este caso.

“El crawl budget o presupuesto de rastreo es la cantidad de tiempo que Google dedica al rastreo o crawleo de los contenidos de una web”

Lo sé, tú pensabas que los bots de Google se podían tirar todo el tiempo del mundo rastreando todas y cada una de las páginas de tu web hasta llegar a la última, pues sentimos ser nosotros los que explotemos tu burbuja.

La verdad es que como toda buena empresa, realizar un buen presupuesto para cada proyecto desemboca en un más que probable éxito. Pues con el rastreo de webs ocurre lo mismo.

Una pregunta que te puede surgir ahora mismo es, ¿pero esto me va a ayudar a posicionar mi web?, bien, no es que sea un factor tan importante como el title, description, url, headings o imágenes, todo ello factores principales del SEO Onpage, pero créenos que ayuda.

Entonces, si mi presupuesto asignado es bajo, ¿qué pasa?

Al igual que si en una empresa el presupuesto del proyecto es bajo, poco se puede hacer, en este caso ocurre lo mismo. Algunas causas que puede provocar tener un crawl budget bajo serían las siguientes:

  • El contenido no se posiciona a la velocidad que debiera porque Google no sabe que existe
  • Si cada vez se va generando contenido a un nivel más profundo de navegación el crawler no será capaz de indexar las páginas nuevas
  • Si tu competencia te copia contenido que no se ha indexado porque el bot no ha podido rastrearlo, cuando se consiga indexar, puede que tu competencia te denuncie por plagio ya que a “ojos” de Google su contenido estaba indexado antes que el tuyo
  • Los cambios que realices a nivel de SEO Onpage no se reflejan cuando es debido.

Estas son algunas de las consecuencias que podrían darse si tu presupuesto de rastreo es bajo, pero no te preocupes que como no queremos que esto te pase, vamos a contarte cómo puedes solucionar este problema.

Cómo optimizar el Crawl Budget

¿Te acuerdas de lo que te contamos un poquito más arriba sobre para qué sirve saber cómo Google rastrea tu web?, pues bien, habiendo recopilado dichos datos y teniéndolos en mente vamos a proceder a optimizar tu presupuesto de rastreo.

Calidad antes que cantidad

De qué te sirve tener un montón de páginas con contenido en tu web si en el fondo no son relevantes. Esto lo único que provoca es que el crawler de Google tenga que pasar por un montón de sitios y gaste tiempo, algo muy valioso para tu web.

Por eso lo que debes hacer es pararte, analizar el contenido de tu web, ver qué contenido es el importante y optimizarlo para que sea por donde pase el bot.

Con el contenido que sobre, elimínalo, si no puedes eliminarlo utiliza las etiquetas robots noindex nofollow y bloquélas en el archivo robots.txt.

Ten cuidado con los contenidos que se estén canibalizando y que compiten por las mismas palabras clave, si no quieres eliminarlos selecciona la página más potente y realiza redirecciones 301 hacia la página seleccionada.

En este caso se la liebre y no la tortuga

Optimiza la velocidad de carga de tu web, este factor aunque te parezca nimio no lo es.

Piensa que si al usuario que entra en tu web no le gusta perder tiempo esperando a que ésta cargue, al bot de Google tampoco.

“A mayor tiempo de carga, menor tiempo para rastrear la web”

Por eso intenta tener el código fuente optimizado no insertando código innecesario, eliminando CSS antiguos o no teniendo imágenes pesadas, esto aumenta el tiempo de carga.

Todos estos son factores que deberás tener en cuenta en la optimización de tu web.

No nos olvidemos de tener un buen servidor que tenga unos tiempos de respuesta rápidos y, si es posible, en el país donde se encuentra tu público objetivo, si lo hacemos lo hacemos bien.

Redirecciones y 404

Sabemos que antes hemos mencionado que si hay varias páginas con problemas de canibalización de palabras clave, hagas una redirección 301, pero cuidado.

Cada vez que hagas una redirección piensa si merece la pena y si es necesaria, ya que cada redirección por la que pase nuestro amigo Google bot pierde un tiempo muy valioso para nosotros.

Por otro lado controla los enlaces que puedan llevar a páginas que no existan ya que darán un error 404. En este caso se habrá gastado tiempo y te puedes ganar una penalización de Google.

Para llevar un control tanto de las redirecciones como de los errores 404 puedes usar Screaming Frog.

Enlazado interno

Lo sé, seguramente pienses que como el rastreador es una araña le encanta pasarse el día en la intrincada tela de araña que forma tu web, pues sentimos decirte que no.

Cuida mucho la estructura de enlaces internos que tengas en tu web, si la estructura no está clara y es lógica, lo único que vas a conseguir es que la araña gaste tiempo, un tiempo muy valioso en rastrear enlaces que al final no van a páginas importantes.

Recuerda, no desaproveches tu crawl budget en páginas y caminos sin sentido, haz que tu web sea accesible.

Ahora sí que sí, vamos a aumentar el Crawl Budget

Ya te hemos contado cómo optimizar tu presupuesto asignado en tu web. Una vez optimizado no podemos quedarnos ahí, hay que pasar al ataque y aumentarlo.

PA: aumentando la autoridad de página

La autoridad de  página es una de las dos métricas que forma el conocido PageRank, y es algo que Google valora mucho para dar importancia a una página.

Esta métrica se valora con un número que va comprendido entre el 0 y el 100, siendo el 0 el mínimo y 100 el máximo. Cuanto más cerca de 100 más valorada estará dicha página, es decir, mayor será su autoridad y relevancia.

¿Cómo hacemos nosotros para aumentar la autoridad de nuestra página?, en este caso tendremos que trabajar el linkbuilding.

El linkbuilding se engloba dentro del SEO Offpage y se basa en la captación de enlaces externos, es decir, de otras web que tenga un contenido de calidad y relevante.

De esta manera, cuantos más enlaces externos de calidad apunten a tu página, mejor será la autoridad de la misma, lo que provocará que Google la rastree con mayor frecuencia, se traspase gran cantidad de link juice y se posicione mejor al aumentar su relevancia.

Contenidos actualizados

No sirve de nada todo el esfuerzo que hemos hecho si nuestros contenidos siempre son los mismos.

Si el contenido siempre es el mismo Google optará por dar a nuestra web un presupuesto bajo ya que sabe que no encontrará nada nuevo al volver a entrar.

Por esa razón genera nuevo contenido de calidad y relevante o actualiza el que ya tienes con cierta regularidad, esto funciona bien si no generas nuevas urls.

Recuerda que el Crawl Budget no es un factor que va a conseguir disparar tu SEO, pero es un engranaje más de la máquina que forma el SEO y que debes tener engrasado.

¿Sabes cuál es el crawl budget de tu web?, si con todos estos datos no lo tienes claro, no dudes en ponerte en contacto con nosotros.

 

Créditos imagen

Solicitamos tu permiso para obtener datos estadísticos de la navegación en esta web, en cumplimiento del Real Decreto-ley 13/2012. Si continúas navegando consideramos que aceptas el uso de cookies.

AceptarMás información