Crawler: definizione e funzionamento dei web bot

Un crawler è un programma automatizzato che visita sistematicamente le pagine web, segue i link e salva i contenuti per una successiva analisi. Il più noto è il Googlebot, ma da tempo esistono anche crawler basati sull’intelligenza artificiale che operano per scopi completamente diversi. Chi desidera che una pagina venga indicizzata dovrebbe comprendere come funzionano tecnicamente questi bot e da cosa dipende la frequenza delle loro visite, poiché senza queste basi qualsiasi ulteriore ottimizzazione rimane superficiale.

Indice

Come funziona un crawler

Tipi di crawler

Comandare e controllare i cingolati

Errori tipici nella gestione dei crawler

Comprendere il budget dei crawler e utilizzarlo in modo mirato

I log del server come strumento per il controllo dei crawler

Come funziona un crawler

Un crawler parte solitamente da un elenco di URL noti e ne scarica il codice sorgente. Da questo codice estrae nuovi link e li inserisce in una lista d’attesa per la visita successiva; in questo modo, col tempo, si crea una mappa del web enorme e in continua espansione. Questa mappa costituisce la base per quasi ogni fase successiva, dall’indice di ricerca agli strumenti di analisi specifici e ai servizi di monitoraggio.

Suggerimento: una Sitemap XML accelera notevolmente questo processo, poiché fornisce al crawler tutti gli URL importanti a colpo d’occhio, invece di costringerlo a individuarli uno per uno tramite i singoli link.

Questo ciclo di caricamento, analisi e tracciamento si svolge 24 ore su 24 e su vasta scala, per lo più distribuito contemporaneamente su migliaia di server. Anche i siti web più piccoli vengono visitati più volte al giorno, spesso senza che i gestori se ne accorgano minimamente, a meno che non si verifichino problemi evidenti come un improvviso aggiornamento dell’algoritmo. Solo dando un’occhiata ai log del server è possibile rendersi davvero conto di questo traffico costante generato dai bot, solitamente in misura tale da sorprendere molti gestori a prima vista.

Avvio tramite elenchi di URL noti
Viene letto il codice sorgente
I nuovi link vengono inseriti nella lista d’attesa
Il processo viene eseguito in modo continuo e in parallelo

Richiedi un'analisi gratuita del potenziale della tua azienda

Richiedi informazioni ora

Tipi di crawler

Oltre ai crawler dei motori di ricerca, esistono crawler di strumenti SEO che controllano in modo mirato la presenza di errori in una singola pagina, nonché bot per il confronto dei prezzi e bot di archiviazione. Ogni tipo persegue un proprio obiettivo, anche se la tecnologia di base rimane simile. A questi si aggiungono ormai i crawler basati sull’intelligenza artificiale, che raccolgono contenuti per modelli linguistici anziché per un classico indice di ricerca, rendendo sempre più sfumati i confini tra le diverse categorie. Per gli operatori diventa quindi più difficile distinguere chiaramente ogni singolo tipo di bot.

Crawler dei motori di ricerca per l’indicizzazione
Strumenti SEO per il controllo degli errori
Portali di prezzi e comparazione
Bot di archiviazione per la storia del Web

Comandare e controllare i cingolati

Il file robots.txt consente di specificare quali aree un crawler può visitare. Molte e-commerce escludono intenzionalmente aree importanti, come il sistema del carrello, per ridurre il carico sul server ed evitare contenuti duplicati. Anche la SEO tecnica di un sito influisce sull’efficienza con cui un crawler individua le aree importanti e sulla quantità di risorse sprecate su pagine irrilevanti. Una struttura di link interni ben progettata indirizza inoltre il crawler in modo mirato verso le pagine che contano davvero: un elemento fondamentale di ogni solida ottimizzazione SEO on-page.

Il file robots.txt regola l’accesso
La mappa del sito rimanda alle pagine principali
Le limitazioni riducono il carico sul server
I log del server mostrano le visite effettive

Fissare un incontro strategico con il nostro team

Richiedi informazioni ora

Errori tipici nella gestione dei crawler

Spesso intere directory vengono bloccate per errore tramite il file robots.txt, ad esempio dopo un rilancio del sito o l’installazione di un nuovo CMS. Errori di questo tipo spesso passano inosservati per molto tempo, poiché non si manifestano direttamente nell’aspetto del sito, ma solo attraverso un calo del numero di visitatori e report vuoti nella Search Console. Un breve test effettuato subito dopo ogni modifica tecnica di rilievo permette solitamente di individuare immediatamente tali errori, invece di accorgersene solo settimane dopo.

Blocchi trascurati dopo il rilancio
Percorsi errati nel file robots.txt
La mappa del sito non è aggiornata
Errori visibili solo in un secondo momento

Comprendere il budget dei crawler e utilizzarlo in modo mirato

Ogni sito web riceve da un crawler solo una quota limitata di attenzione, spesso definita “budget di crawling”. Il numero di pagine visitate in un determinato periodo dipende dalle dimensioni del sito web, dalle sue prestazioni tecniche e dalla frequenza con cui vengono pubblicati nuovi contenuti. Se questo budget viene sprecato a causa di pagine irrilevanti o duplicate, i nuovi contenuti importanti rimangono inosservati più a lungo del necessario.

Chi desidera gestire il budget in modo consapevole dovrebbe eliminare sistematicamente le sezioni non essenziali dalla struttura di crawling e costruire invece una chiara gerarchia composta da pagine di categoria e pagine di dettaglio. Una struttura chiara, che consenta di raggiungere la pagina principale con pochi clic, è di grande aiuto, così come una mappa del sito aggiornata regolarmente, come descritto nella sezione “Nozioni di base” di Strumenti per i webmaster.

Anche i parametri URL apparentemente innocui, come quelli relativi all’ordinamento o al tracciamento, generano costantemente, dal punto di vista di un crawler, nuove pagine tecnicamente indipendenti, consumando così, senza che ce ne si accorga, una parte considerevole del budget disponibile. Un tag canonical impostato in modo coerente riporta l’attenzione sulla versione principale effettiva e impedisce che i duplicati impegnino inutilmente risorse.

Il budget è per sua natura limitato
Le pagine irrilevanti sprecano capacità
Una chiara gerarchia delle pagine garantisce una visione d’insieme
La mappa del sito aggiornata reindirizza in modo mirato

I log del server come strumento per il controllo dei crawler

I log del server mostrano esattamente quando un determinato crawler ha visitato una determinata pagina, indipendentemente da ciò che gli strumenti di analisi nel browser mostreranno in seguito. Questi dati grezzi forniscono quindi una prospettiva che gli strumenti classici di analisi web, per loro natura, non riescono a rappresentare, poiché si concentrano sui visitatori umani, come descritto anche nei principi fondamentali dell’analisi dei dati nel marketing.

Vale particolarmente la pena dare un’occhiata regolare a questi log dopo modifiche tecniche, ad esempio in seguito a un rilancio, perché lì si vede immediatamente se i crawler rilevano nuove pagine con errori o se alcune sezioni importanti vengono improvvisamente visitate meno spesso. Chi trascura questo controllo spesso si accorge dei problemi solo settimane dopo, quando il numero di visitatori inizia a diminuire.

Chi desidera approfondire la questione dovrebbe inoltre verificare se un presunto bot provenga effettivamente dal provider indicato, poiché alcuni programmi dannosi si spacciano falsamente per crawler noti al fine di aggirare i blocchi. Un semplice confronto dell’indirizzo IP con gli intervalli ufficiali del rispettivo provider permette di fare rapidamente chiarezza al riguardo.