Marketing

Crawl Budget: cos'è e perché è così importante per il tuo sito?

Crawl Budget
Contenuto curato da Massimo Chioni

Il Crawl Budget è un parametro davvero importante per la SEO, una risorsa della quale forse non si sente parlare spesso dato che si tratta di un ambito alquanto tecnico, ma dal peso sicuramente non trascurabile ed in grado di migliorare in maniera concreta l’ottimizzazione di un sito.

Iniziamo con il dire in maniera semplice che il Crawl Budget è il numero di url che il bot di un motore di ricerca riesce a scansionare in un sito all’interno di un determinato arco di tempo.

L'importanza di questo parametro è fondamentale in quanto ci permette di comprendere con quale frequenza Google vada a scansionare il nostro sito e se vi siano degli interventi necessari da parte nostra per evitare che il tempo che Google decide di dedicarci venga sprecato.

Sfruttare al meglio il tempo che i bot dedicano al nostro sito

Il bot di Google infatti, così come tutti gli altri motori di ricerca, quando visita un sito adopera una precisa quantità di tempo per scansionarlo. Il nostro compito è quello di fare in modo che questo tempo non venga sprecato facendogli scansionare pagine e risorse inutili, o che comunque hanno uno scarso valore, e che al contrario quel tempo possa essere sufficiente per scansionare l’intero sito incluse le pagine che riteniamo essere le più importanti. Il nostro obiettivo è dunque quello di fare in modo che Google possa sempre riuscire ad individuare all'interno del nostro sito le pagine che sono più profittevoli per la nostra attività o per il nostro progetto web.

Quando l’ottimizzazione del Crawl Budget non è necessaria?

L'ottimizzazione del Crawl Budget è dunque molto importante per siti che hanno migliaia di pagine, come ad esempio grandi e-Commerce, testate editoriali o blog che pubblicano parecchi contenuti. Al contrario, siti che hanno solo poche pagine o non più di qualche decina, non hanno alcuna necessità di andare ad ottimizzare questo parametro in quanto la scansione dell’intero sito è certamente più semplice.

Gli strumenti indispensabili per migliorare il Crawl Budget

Grazie a strumenti quali “Log Fyle Analyser” di Screaming Frog è possibile capire effettivamente quante siano le pagine del nostro sito che i bot riescono a scansionare, e soprattutto se queste restituiscono tutte lo status code 200 (pagina trovata) o se vi sono ad esempio pagine che restituiscono l’errore 404 o se vi sono dei redirect 301. Tali pagine vengono comunque scansionate e sono per questo in grado di influire negativamente sul Crawl Budget.

Per comprendere invece quale sia la frequenza con la quale Google visita il nostro sito e quale sia la qualità della scansione abbiamo a disposizione due strumenti indispensabili allo scopo: il file di log e la Search console.

Il file di log è una risorsa che contiene l'elenco di tutti gli accessi al nostro sito (anche quelli effettuati dai bot dei motori di ricerca) e tutti gli url che sono stati visitati. È possibile filtrare questi risultati così da poter visionare esclusivamente ad esempio le visite di uno specifico bot (Googlebot è il nome del bot di Google) in modo da riuscire a sapere con precisione in quali giorni ed in quale ora sia passato il bot, e ovviamente quali pagine sono state scansionate e quali no.

La Search Console invece, ci fornisce dei dati concreti e davvero interessanti, ovvero il numero di richieste al secondo da parte di Googlebot e l'intervallo di tempo tra una richiesta e l'altra.

Per accedere a queste importanti informazioni è sufficiente raggiungere la sezione “Strumenti e rapporti precedenti”, e subito dopo “Statistiche di scansione” per poter così visionare tre grafici molto interessanti relativamente alle attività di Googlebot negli ultimi 90 giorni: il primo ci indica la quantità di pagine che vengono scansionate ogni giorno da Googlebot. Il secondo grafico indica invece quanti Kilobyte vengono scaricati ogni giorno, mentre il terzo grafico, e lo vedremo tra poco, indica quale sia il tempo necessario per il download di una pagina.

Come si ottimizza il Crawl Budget?

Diciamo innanzitutto che ottimizzare il Crawl Budget significa fare in modo da far fruttare al meglio quel tempo che Google decide di dedicarci ogni volta che passa dal nostro sito, e dunque evitare di farlo passare da pagine prive di valore o duplicate, il che sarebbe appunto del tempo sprecato che potrebbe invece essere dedicato alla scansione di risorse più importanti per il nostro sito e la nostra attività.

Per migliorare il Crawl Budget ci sono dunque delle operazioni che possiamo mettere in pratica, le quali sono in grado di migliorare in maniera significativa questo parametro.

  • Ridurre i tempi di risposta del server: Una delle più cose più importanti da fare è quella di riuscire a ridurre i tempi di risposta del server, ovvero il famoso terzo grafico che abbiamo visto in precedenza in Search Console. Più il tempo per il download delle pagine diminuisce infatti, più è possibile riuscire a scansionare altre pagine nello stesso arco di tempo.
  • Lavorare sul robots.txt: È possibile inoltre inibire, tramite il robots.txt, la scansione di determinate cartelle, risorse e file del sito che non serve vengano indicizzate. Ciò ci consentirà di evitare di sprecare Crawl Budget e farà sì che quel tempo possa essere destinato alla scansione di pagine più importanti.
  • Ottimizzare la linking interna: È caldamente raccomandato inoltre l'andare a linkare tra loro le pagine del sito, evitando dunque di creare pagine che non sono collegate a nessun altra risorsa, così da permette al bot di passare più facilmente da una pagina all’atra e scoprire eventuali nuove risorse.
  • Eliminare i contenuti inutili: Inoltre, una buona pratica è quella di eliminare i contenuti che non generano traffico, quelli che non servono più o che sono obsoleti e che quindi è inutile andare a scansionare.
  • Pubblicare frequentemente: È bene infine pubblicare frequentemente nuovi contenuti e aggiornare quelli vecchi, così da indurre Google a visitare più spesso il nostro sito e dunque a dedicarci più risorse.

Adesso che hai compreso meglio cosa si intenda per Crawl Budget ed il perché questo sia così importante per il tuo sito, puoi mettere in pratica questi semplici consigli per riuscire ad ottimizzare questo parametro e consentire finalmente ai motori di ricerca, Google su tutti, di scansionare per intero e più velocemente il tuo sito ad ogni visita.

Lascia un commento