I fattori cruciali per il posizionamento di un sito web nei risultati di ricerca sono, senza ombra di dubbio, i contenuti ed i backlink. Tuttavia, non sono gli unici fattori che giocano un ruolo significativo nella SEO e per l'indicizzazione nella prima pagina SERP.
Ci sono infatti due fattori meno conosciuti ma altrettanto importanti, parliamo di crawlability e indexability. I motori di ricerca, per conoscere una nuova pagina o una pagina che è stata aggiornata, utilizzano il web crawler, un bot che ha la funzione di seguire i collegamenti sul web con l’obiettivo di trovare ed indicizzare nuovi contenuti web.
L’argomento di questo articolo è incentrato sulla crawlability, che google definisce in questo modo: “I crawler guardano le pagine web e seguono i link su quelle pagine, proprio come faresti tu se stessi navigando sul Web. Passano da link a link e riportano i dati su tali pagine web ai server di Google.”
Indice
Serp: che cos’è la crawlability
La crawlability descrive la capacità di un motore di ricerca di accedere ad un sito web ed eseguire la scansione del contenuto di una pagina. Quando un sito non presenta problemi di scansione, i web crawler possono accedere a tutti i suoi contenuti, seguendo i collegamenti tra le pagine.
I collegamenti interrotti o vicoli ciechi presenti su un sito web potrebbero causare problemi di crawlability, perché il motore di ricerca non riesce ad accedere a contenuti specifici su un sito.
Saper ottimizzare il crawl budget significa saper orientare la lettura del sito da parte dei motori di ricerca in base ai contenuti più rilevanti. In questo caso, l’obiettivo di uno SEO specialist è quello di posizionare le pagine del proprio sito tra i risultati di ricerca, quindi nella prima pagina SERP.
L’indicizzazione di un sito web si svolge in tre fasi:
- Crawling - scansione
- Indexing - Indicizzazione;
- Ranking - Posizionamento.
Come funziona il crawler
Durante la fase del crawling, tutti i contenuti presenti all’interno del sito web sono scansionati e ordinati all’interno di un database, dove un bot li classifica soffermandosi su precisi elementi. Tra i più importanti troviamo: la SEO title, la meta description, gli alt text delle immagini e le keywords presenti nel testo e link.
Il crawler si sposta da una pagina ad un’altra del sito web seguendo i link interni e li utilizza per costruire la mappatura del sito e creare una gerarchia di contenuti con un maggior numero di rimandi.
Ogni volta che viene aggiornato il sito, il crawler salva l’ultima versione delle pagine: lo spider ritorna ad intervalli regolari su pagine già scansionate e ricerca le variazioni e i nuovi contenuti.
Le pagine del sito web da scansionare non devono essere tutte le pagine presenti nel sito, nel processo di indicizzazione, infatti, il crawler da priorità ad alcune pagine rispetto ad altre, selezionando i contenuti più importanti e ignorando alcune parti del testo. Ad esempio, una pagina di contatto è una pagina inutile ai fini dell’indicizzazione.
Serp: quali sono i problemi della crawlability
Per ottimizzare il crawl budget è possibile contrassegnare le pagine e le sezioni meno rilevanti con il tag noindex, orientare la lettura con i tag canonici e limitare la lettura mediante il file robots.txt.
Durante l’ottimizzazione, però, possono esserci problemi di crawlability quando nonostante le keyword, il target e la creazione di contenuti pertinenti, il sito non risulta indicizzato correttamente. In questo caso, bisogna saper individuare tutti gli elementi che ostacolano l’accesso del crawling.
- URL bloccati Robots.txt
Il file robots.txt è la prima cosa che il bot crawler cerca sul sito web, all’interno del quale può essere indirizzato sulle giuste pagine da scansionare. Tuttavia, questo file può causare problemi di scansione di un sito web, se le sue direttive sono errate.
Il problema può essere individuato dal “rapporto sulle risorse bloccate” di Google Search Console: il rapporto mostra un elenco di host che forniscono le risorse al sito web e che risultano bloccate dal file robots.txt. Precisamente sono indicati gli errori 500 e 404, dove il codice errore 500 rileva un problema al server su cui il sito è ospitato e l’errore 404 è relativo al contenuto del sito stesso.
Il bot smette di seguire la scansione di una pagina e del sito dopo aver raggiunto un numero elevato di pagine di errore.
- Tag SEO
Una cattiva indicizzazione può dipendere anche dall’utilizzo sbagliato sei tag. Se questi risultano sbagliati per la lettura del bot, se mancano, se sono scritti o posizionati in modo errato, oppure se sono inseriti come duplicati, rappresentano un problema in fase di crawling.
Per risolvere il problema è possibile analizzare il traffico sul sito e, in modo particolare, il percorso effettuato dagli utenti. Le pagine che contengono una maggiore frequenza di rimbalzo possono rilevare delle criticità.
- Usabilità mobile
L’usabilità di un sito web è un argomento molto discusso negli ultimi anni, in particolare sui dispositivi mobile. Si tratta di un’area molto importante per la SEO, perché se un sito non è ritenuto utilizzabile su smartphone e tablet, Google potrebbe non mostrarli nella SERP e si perde tutto il lavoro di indicizzazione svolto.
Quando si ottimizza un sito web, si aggiornano delle pagine e/o si effettuano delle modifiche, è buona norma anche controllare sempre l’output dal lato mobile.
- Contenuto non rilevante
Quando tutte le verifiche degli elementi appena citati sono state effettuate, ma un sito presenta ancora dei problemi, è doveroso verificare se i contenuti delle pagine del sito siano considerati rilevanti o meno.
L'utilizzo di Google Search Console
Le pagine che hanno dei contenuti non interessanti non sono considerate da google durante la fase di scansionamento, perché il contenuto non è unico e non è rilevante ai fini dell’indicizzazione. E’ possibile, in questo caso, che sia la strategia di backlink ad essere sbagliata. Oltre a rivedere la strategia di backlink , è consigliato aggiornare periodicamente le pagine con contenuti nuovi e dati recenti.
Per controllare tutti questi problemi è possibile affidarsi ad uno tools gratuito molto utile ai fini dell’indicizzazione SEO e dell’ottimizzazione del sito web: Google Search Console. Qui è possibile trovare una guida ufficiale di Google per iniziare ad utilizzare il tool gratuito e collegare il proprio sito web.