Come funziona un crawler

Un crawler parte solitamente da un elenco di URL noti e ne scarica il codice sorgente. Da questo codice estrae nuovi link e li inserisce in una lista d’attesa per la visita successiva; in questo modo, col tempo, si crea una mappa del web enorme e in continua espansione. Questa mappa costituisce la base per quasi ogni fase successiva, dall’indice di ricerca agli strumenti di analisi specifici e ai servizi di monitoraggio.

Suggerimento: una Sitemap XML accelera notevolmente questo processo, poiché fornisce al crawler tutti gli URL importanti a colpo d’occhio, invece di costringerlo a individuarli uno per uno tramite i singoli link.

Questo ciclo di caricamento, analisi e tracciamento si svolge 24 ore su 24 e su vasta scala, per lo più distribuito contemporaneamente su migliaia di server. Anche i siti web più piccoli vengono visitati più volte al giorno, spesso senza che i gestori se ne accorgano minimamente, a meno che non si verifichino problemi evidenti come un improvviso aggiornamento dell’algoritmo. Solo dando un’occhiata ai log del server è possibile rendersi davvero conto di questo traffico costante generato dai bot, solitamente in misura tale da sorprendere molti gestori a prima vista.

• Avvio tramite elenchi di URL noti
• Viene letto il codice sorgente
• I nuovi link vengono inseriti nella lista d’attesa
• Il processo viene eseguito in modo continuo e in parallelo

Tipi di crawler

Oltre ai crawler dei motori di ricerca, esistono crawler di strumenti SEO che controllano in modo mirato la presenza di errori in una singola pagina, nonché bot per il confronto dei prezzi e bot di archiviazione. Ogni tipo persegue un proprio obiettivo, anche se la tecnologia di base rimane simile. A questi si aggiungono ormai i crawler basati sull’intelligenza artificiale, che raccolgono contenuti per modelli linguistici anziché per un classico indice di ricerca, rendendo sempre più sfumati i confini tra le diverse categorie. Per gli operatori diventa quindi più difficile distinguere chiaramente ogni singolo tipo di bot.

• Crawler dei motori di ricerca per l’indicizzazione
• Strumenti SEO per il controllo degli errori
• Portali di prezzi e comparazione
• Bot di archiviazione per la storia del Web

Comandare e controllare i cingolati

Il file robots.txt consente di specificare quali aree un crawler può visitare. Molte e-commerce escludono intenzionalmente aree importanti, come il sistema del carrello, per ridurre il carico sul server ed evitare contenuti duplicati. Anche la SEO tecnica di un sito influisce sull’efficienza con cui un crawler individua le aree importanti e sulla quantità di risorse sprecate su pagine irrilevanti. Una struttura di link interni ben progettata indirizza inoltre il crawler in modo mirato verso le pagine che contano davvero: un elemento fondamentale di ogni solida ottimizzazione SEO on-page.

• Il file robots.txt regola l’accesso
• La mappa del sito rimanda alle pagine principali
• Le limitazioni riducono il carico sul server
• I log del server mostrano le visite effettive

Errori tipici nella gestione dei crawler

Spesso intere directory vengono bloccate per errore tramite il file robots.txt, ad esempio dopo un rilancio del sito o l’installazione di un nuovo CMS. Errori di questo tipo spesso passano inosservati per molto tempo, poiché non si manifestano direttamente nell’aspetto del sito, ma solo attraverso un calo del numero di visitatori e report vuoti nella Search Console. Un breve test effettuato subito dopo ogni modifica tecnica di rilievo permette solitamente di individuare immediatamente tali errori, invece di accorgersene solo settimane dopo.

• Blocchi trascurati dopo il rilancio
• Percorsi errati nel file robots.txt
• La mappa del sito non è aggiornata
• Errori visibili solo in un secondo momento

Comprendere il budget dei crawler e utilizzarlo in modo mirato

Ogni sito web riceve da un crawler solo una quota limitata di attenzione, spesso definita “budget di crawling”. Il numero di pagine visitate in un determinato periodo dipende dalle dimensioni del sito web, dalle sue prestazioni tecniche e dalla frequenza con cui vengono pubblicati nuovi contenuti. Se questo budget viene sprecato a causa di pagine irrilevanti o duplicate, i nuovi contenuti importanti rimangono inosservati più a lungo del necessario.

Chi desidera gestire il budget in modo consapevole dovrebbe eliminare sistematicamente le sezioni non essenziali dalla struttura di crawling e costruire invece una chiara gerarchia composta da pagine di categoria e pagine di dettaglio. Una struttura chiara, che consenta di raggiungere la pagina principale con pochi clic, è di grande aiuto, così come una mappa del sito aggiornata regolarmente, come descritto nella sezione “Nozioni di base” di Strumenti per i webmaster.

Anche i parametri URL apparentemente innocui, come quelli relativi all’ordinamento o al tracciamento, generano costantemente, dal punto di vista di un crawler, nuove pagine tecnicamente indipendenti, consumando così, senza che ce ne si accorga, una parte considerevole del budget disponibile. Un tag canonical impostato in modo coerente riporta l’attenzione sulla versione principale effettiva e impedisce che i duplicati impegnino inutilmente risorse.

• Il budget è per sua natura limitato
• Le pagine irrilevanti sprecano capacità
• Una chiara gerarchia delle pagine garantisce una visione d’insieme
• La mappa del sito aggiornata reindirizza in modo mirato

I log del server come strumento per il controllo dei crawler

I log del server mostrano esattamente quando un determinato crawler ha visitato una determinata pagina, indipendentemente da ciò che gli strumenti di analisi nel browser mostreranno in seguito. Questi dati grezzi forniscono quindi una prospettiva che gli strumenti classici di analisi web, per loro natura, non riescono a rappresentare, poiché si concentrano sui visitatori umani, come descritto anche nei principi fondamentali dell’analisi dei dati nel marketing.

Vale particolarmente la pena dare un’occhiata regolare a questi log dopo modifiche tecniche, ad esempio in seguito a un rilancio, perché lì si vede immediatamente se i crawler rilevano nuove pagine con errori o se alcune sezioni importanti vengono improvvisamente visitate meno spesso. Chi trascura questo controllo spesso si accorge dei problemi solo settimane dopo, quando il numero di visitatori inizia a diminuire.

Chi desidera approfondire la questione dovrebbe inoltre verificare se un presunto bot provenga effettivamente dal provider indicato, poiché alcuni programmi dannosi si spacciano falsamente per crawler noti al fine di aggirare i blocchi. Un semplice confronto dell’indirizzo IP con gli intervalli ufficiali del rispettivo provider permette di fare rapidamente chiarezza al riguardo.

• Visite dei bot chiaramente identificabili nel log
• Integra in modo efficace l’analisi web classica
• Particolarmente importante in seguito a modifiche tecniche
• Sistema di allerta precoce per problemi di crawling

Cosa fanno i crawler basati sull’intelligenza artificiale

Un crawler basato sull’intelligenza artificiale, come qualsiasi altro bot, scarica il codice sorgente di una pagina e analizza il testo. A differenza del crawling tradizionale, tuttavia, raramente si tratta di fattori di posizionamento, bensì di materiale grezzo per un modello linguistico o di una risposta immediata e specifica a una domanda concreta dell’utente.

Avviso: molti crawler basati sull’intelligenza artificiale rispettano il file robots.txt solo in parte oppure utilizzano più user-agent in parallelo; pertanto, una singola voce spesso non è sufficiente per mantenere il pieno controllo.

Alcuni di questi bot raccolgono esclusivamente dati di addestramento per future versioni del modello, mentre altri recuperano contenuti aggiornati ad ogni richiesta dell’utente per generare una risposta attuale. Questa differenza determina anche la rapidità con cui i propri contenuti compaiono nelle risposte e per quanto tempo le informazioni obsolete rimangono visibili senza che un nuovo aggiornamento della pagina le corregga automaticamente.

• GPTBot raccoglie dati per OpenAI
• PerplexityBot recupera i contenuti in tempo reale
• Google Extended riguarda l’addestramento di Gemini
• ClaudeBot esegue il crawling per i modelli Anthropic

Differenza rispetto ai classici crawler dei motori di ricerca

Googlebot esegue la scansione per inserire una pagina in un indice destinato alla pagina dei risultati. I crawler basati sull’intelligenza artificiale, invece, attingono da un corpus di addestramento o da una singola risposta generata istantaneamente, senza disporre di un proprio indice di ricerca nel senso classico del termine. Questa mancanza di una struttura di indice rende inoltre particolarmente difficile misurare in modo affidabile la propria visibilità nei confronti dei crawler basati sull’intelligenza artificiale.

Per gli operatori ciò comporta un doppio carico di lavoro nella gestione: una regola robots.txt valida per Google non è automaticamente valida anche per tutti i crawler basati sull’intelligenza artificiale, poiché ogni fornitore utilizza i propri user-agent e le proprie regole, che possono inoltre cambiare continuamente. Un elenco di bot consentiti o bloccati, una volta creato, deve quindi essere verificato e aggiornato regolarmente, un’attività che ormai fa parte integrante del lavoro di ogni agenzia GEO.

• Googlebot alimenta un indice di ricerca
• I crawler basati sull’intelligenza artificiale alimentano modelli o risposte
• Ogni bot ha bisogno delle proprie regole
• Il controllo richiede una manutenzione costante

Gestire la visibilità nei confronti dei crawler basati sull’intelligenza artificiale

Chi desidera comparire nelle risposte generate dall’IA deve autorizzare attivamente i crawler dell’IA; chi non lo desidera, deve bloccarli in modo mirato. Entrambe le opzioni sono possibili tramite il file robots.txt, ma richiedono una decisione consapevole anziché un’impostazione predefinita, poiché un blocco generalizzato esclude automaticamente anche la propria visibilità nelle risposte generate dall’IA, anche se ciò non era affatto nelle proprie intenzioni.

• Promuovere una maggiore visibilità dell’IA
• Blocchi a tutela dei propri contenuti
• Controllo periodico del file robots.txt
• Continuano a comparire nuovi bot

Riconoscere i crawler basati sull’intelligenza artificiale nei log del server

I log del server indicano in modo affidabile quali crawler basati sull’intelligenza artificiale visitano effettivamente una pagina, indipendentemente da ciò che è consentito o bloccato nel file robots.txt. Un controllo regolare di questi log permette di scoprire se stanno comparendo nuovi bot o se i crawler già noti hanno modificato la frequenza delle visite, il che spesso costituisce un primo segnale di una crescente visibilità dell’IA. Senza questo controllo, qualsiasi valutazione della propria visibilità dell’IA rimane, in definitiva, una mera supposizione.

• Identificare l’User-Agent nel log
• Osservare l’andamento della frequenza delle visite nel tempo
• Ricerca mirata di bot sconosciuti
• Adattare le regole in base alle necessità

Configurare passo dopo passo il crawler basato sull’intelligenza artificiale nel file robots.txt

Chi desidera gestire in modo mirato i crawler basati sull’intelligenza artificiale non dovrebbe limitarsi a un’unica regola generica, ma creare una voce specifica per ogni bot rilevante. Innanzitutto, vale la pena fare un punto della situazione: quali user-agent compaiono effettivamente nei log del proprio server e a quali di essi si intende concedere l’accesso in futuro? Solo successivamente si procede alla configurazione vera e propria del file robots.txt con singoli blocchi per ciascun bot.

È inoltre importante testare effettivamente le modifiche dopo la pubblicazione, ad esempio tramite gli strumenti di verifica presenti nella Search Console o controllando nuovamente i log dopo qualche giorno. Solo così è possibile verificare se un bot rispetta effettivamente la nuova regola e se il comportamento cambia come desiderato.

È inoltre opportuno prevedere una classificazione più dettagliata a livello di directory, anziché una singola regola per l’intero dominio, ad esempio quando si desidera rendere accessibile in modo mirato una sezione del blog, ma bloccare sistematicamente un portale clienti interno. Inoltre, alcuni crawler basati sull’intelligenza artificiale ignorano il campo «crawl-delay», motivo per cui la frequenza effettiva di accesso può essere monitorata in modo affidabile solo tramite i log, non solo tramite il file robots.txt.

• Verificare la presenza di bot nei log del server
• Creare un blocco specifico per ogni user-agent
• Verificare le regole dopo la pubblicazione
• Controllare il risultato dopo alcuni giorni

L’interazione tra i crawler basati sull’intelligenza artificiale e la propria mappa del sito

Una Sitemap XML ben curata non solo aiuta i motori di ricerca tradizionali, ma facilita anche a alcuni crawler basati sull’intelligenza artificiale l’individuazione di contenuti aggiornati, a condizione che il bot in questione li prenda in considerazione. Chi non sa ancora come configurare la propria sitemap può trovare le basi tecniche necessarie in un’introduzione alle nozioni fondamentali di Webmaster Tools. Inoltre, vale la pena comprendere cosa significa che una pagina sia stata sottoposta a scansione, poiché questo concetto di base aiuta anche a interpretare il comportamento specifico dei bot basati sull’intelligenza artificiale.

Se manca una Sitemap aggiornata o se questa contiene URL obsoleti, anche i crawler basati sull’intelligenza artificiale sprecano risorse su pagine non più rilevanti, invece di acquisire rapidamente i contenuti nuovi o aggiornati. Un aggiornamento regolare della mappa del sito offre quindi un doppio vantaggio, sia per i classici posizionamenti nei motori di ricerca che per la propria visibilità nelle risposte fornite dall’intelligenza artificiale.

Un dettaglio spesso trascurato è la data dell’ultima modifica all’interno della mappa del sito: se questo campo viene aggiornato correttamente, i bot individuano più rapidamente quali pagine sono effettivamente cambiate dall’ultima visita, invece di dover ricontrollare nuovamente ogni URL per intero. Soprattutto nel caso delle pagine di glossario aggiornate frequentemente, questa piccola operazione di manutenzione tecnica è particolarmente utile.

• La mappa del sito aggiornata facilita la navigazione
• Gli URL obsoleti comportano uno spreco di risorse
• La cura è fondamentale per la SEO e l’IA
• Comprendere i concetti fondamentali relativi al crawling

Come viene indicizzata una pagina

Googlebot segue i link da un URL all’altro, scaricando nel frattempo il codice sorgente completo di ogni pagina. Questa visita in sé è chiamata “crawling”, indipendentemente da ciò che accadrà in seguito con i dati raccolti. Il bot registra inoltre quando una pagina è stata visitata l’ultima volta e pianifica la visita successiva in base a ciò, solitamente tenendo conto della frequenza di aggiornamento registrata finora per quel determinato URL.

Avviso: una regola robots.txt impostata in modo errato o un tag noindex dimenticato impedisce la scansione, anche se la pagina è perfetta dal punto di vista dei contenuti e funziona correttamente dal punto di vista tecnico.

La frequenza con cui una pagina viene visitata dipende dal cosiddetto “crawl budget”. Le pagine aggiornate regolarmente e con un forte collegamento interno vengono trattate in via prioritaria, mentre le sottopagine trascurate vengono visitate meno spesso e, di conseguenza, gli aggiornamenti diventano visibili solo con un certo ritardo. Soprattutto nei siti web di grandi dimensioni con migliaia di pagine secondarie, questo budget influisce in modo significativo sulla scelta delle aree da visitare tempestivamente e di quelle da visitare solo occasionalmente.

• Il bot segue i link interni ed esterni
• Il codice sorgente viene caricato per intero
• Il file robots.txt può bloccare l’accesso
• Il crawl budget determina la frequenza delle visite

“Scansionato” non significa necessariamente “indicizzato”

I termini “crawling” e “indicizzazione” vengono spesso considerati sinonimi, ma si tratta di due fasi distinte dello stesso processo. Una pagina può essere stata visitata senza però comparire successivamente nei risultati di ricerca, ad esempio a causa di contenuti scarsi, contenuti duplicati o istruzioni contraddittorie nel codice sorgente che segnalano al bot di ignorare la pagina.

Search Console mostra, per ogni singolo URL, se è stato sottoposto a scansione ma al momento non è indicizzato, e nella maggior parte dei casi ne indica anche il motivo. Chi controlla regolarmente questo rapporto individua i problemi molto prima rispetto a quanto avvenga osservando semplicemente il posizionamento, poiché i cali di posizionamento si manifestano solitamente solo con un notevole ritardo.

• Il crawling è sempre il primo passo
• L’indicizzazione avverrà solo in seguito
• I contenuti scarsi rallentano l’indicizzazione
• Ogni URL indica uno stato proprio

Cosa contiene una Sitemap XML

Dal punto di vista tecnico, una mappa del sito è un file XML che fornisce, per ogni URL, informazioni aggiuntive quali la data dell’ultima modifica, la frequenza di aggiornamento o una priorità relativa. I motori di ricerca come Google utilizzano questi dati per individuare più rapidamente le pagine nuove o modificate, invece di navigare all’interno del sito esclusivamente tramite i link interni.

Una mappa del sito non garantisce l’indicizzazione, ma costituisce semplicemente un invito al crawler a visitare determinate pagine.

Soprattutto nel caso di siti web molto grandi con migliaia di pagine secondarie o di domini appena lanciati senza molti backlink, una mappa del sito ben curata accelera notevolmente l’individuazione di nuovi contenuti. Se nel file mancano pagine importanti o se contiene URL errati, si spreca il prezioso budget di scansione.

• Data dell’ultima modifica per ciascun URL
• Priorità relativa delle singole pagine
• Frequenza di aggiornamento a titolo indicativo
• Esclusione dei contenuti duplicati

Perché le sitemap sono importanti per il posizionamento

Una mappa del sito non sostituisce una buona struttura di link interni né l’ottimizzazione on-page, ma integra entrambe queste misure. Tramite Google Search Console è possibile verificare quanti degli URL inviati siano stati effettivamente indicizzati e dove si verifichino delle discrepanze. Questi report forniscono spesso i primi indizi su problemi tecnici quali reindirizzamenti errati, directory bloccate o pagine orfane prive di link interni.

• Verificare eventuali discrepanze tra la mappa del sito e l’indice
• Individuare tempestivamente i reindirizzamenti errati
• Trovare pagine orfane prive di link interni
• Controllare regolarmente i rapporti di indicizzazione

Anche la velocità di caricamento del file della mappa del sito stesso ha la sua importanza, soprattutto se contiene diverse migliaia di URL e viene fornito da un server poco potente. Un file compresso e ben strutturato viene letto in modo più affidabile e veloce dai crawler rispetto a una versione disordinata, di diverse megabyte, priva di una chiara struttura.

La mappa del sito nella pratica della SEO tecnica

La creazione di una mappa del sito è strettamente legata ad altri fattori tecnici, come il crawling e il tempo di caricamento di una pagina. Nel caso di domini di grandi dimensioni, si consiglia di suddividerla in più file di mappa del sito con un indice principale, in modo che i motori di ricerca possano comprenderne la struttura più rapidamente. Anche in caso di rilancio del sito, è indispensabile aggiornare la mappa del sito e inviarla nuovamente; in caso contrario, continuerà a rimandare a vecchi URL che non esistono più da tempo.

• Dividere domini di grandi dimensioni in più file
• Creare un indice generale della mappa del sito
• Inviare nuovamente dopo ogni rilancio
• Rimuovere sistematicamente i vecchi URL

Panoramica dei diversi tipi di mappa del sito

Oltre alla classica mappa del sito per le pagine di testo, esistono varianti specializzate per singoli tipi di contenuto. Una mappa del sito per immagini aiuta i motori di ricerca a individuare in modo mirato gli elementi grafici presenti su una pagina, una mappa del sito per video fornisce informazioni aggiuntive come la durata o l’anteprima, mentre una mappa del sito per notizie è utile per le redazioni con articoli di grande attualità, poiché viene analizzata particolarmente in fretta. Per la maggior parte dei siti web di piccole e medie dimensioni è del tutto sufficiente un’unica mappa del sito ben curata per tutte le pagine; i portali più grandi con diverse forme di contenuto, invece, traggono vantaggio da una chiara separazione per tipo. La scelta della variante più appropriata dipende dal focus dei contenuti del sito web in questione e, di norma, può essere integrata gradualmente senza dover ricostruire completamente la struttura esistente.

• Mappa del sito delle immagini per grafici e foto
• Mappa del sito dei video con durata e immagine di anteprima
• Mappa del sito delle notizie per gli articoli redazionali più recenti
• Per i siti più piccoli è sufficiente una mappa del sito

Indipendentemente dal tipo scelto, vale quanto segue: una mappa del sito dovrebbe contenere esclusivamente pagine reali e accessibili ed essere aggiornata automaticamente a intervalli regolari, in modo che non diventi obsoleta nel tempo e non indirizzi i crawler verso link non funzionanti.

Mappa del sito: errori comuni nella pratica

Con il passare del tempo, molte sitemap contengono URL che non esistono più da tempo, perché le pagine sono state eliminate o rinominate senza che il file venisse aggiornato di conseguenza. Anche i reindirizzamenti finiscono spesso nella sitemap senza che ci si accorga, sebbene in essa dovrebbero figurare esclusivamente gli indirizzi di destinazione finali, effettivamente raggiungibili. Un sistema di gestione dei contenuti (CMS) che genera automaticamente le sitemap può certamente ridurre questi errori, ma non sostituisce un controllo manuale regolare.

Anche una gestione coerente della struttura degli URL ha un impatto diretto sulla mappa del sito: chi modifica i permalink a posteriori senza ripulire le vecchie voci genera collegamenti errati in modo permanente.

• Rimuovere le pagine cancellate dalla mappa del sito
• Inserire solo gli indirizzi di destinazione finali
• Non fidarsi ciecamente della generazione automatica
• Aggiornare sistematicamente le modifiche ai permalink

Combinare i dati della mappa del sito con gli strumenti di analisi

Solo se abbinata a dati reali sugli utenti, una mappa del sito ben curata fornisce un quadro completo. Tramite Google Analytics è possibile verificare se gli URL presenti nella mappa del sito ricevono effettivamente visite o se determinate sezioni, nonostante siano state indicizzate, vengono consultate raramente.

Questa combinazione spesso evidenzia più rapidamente rispetto ai semplici report di crawling quali pagine dovrebbero essere riviste nei contenuti o rimosse dalla struttura, poiché non sono rilevanti né per i motori di ricerca né per i visitatori.

• Confrontare i dati della mappa del sito con i dati reali sulle visite
• Identificare le aree poco frequentate
• Stabilire le priorità della revisione in base ai dati
• I rapporti sul crawling da soli non bastano

Cosa fa esattamente il file robots.txt

Il file si trova nella directory principale di un dominio ed è costituito da semplici regole di testo. Ogni regola, tramite la voce «User-agent», è rivolta a un determinato crawler e, tramite «Disallow» o «Allow», stabilisce quali percorsi questo può visitare. Google, Bing e altri motori di ricerca leggono questo file prima di ogni operazione di crawling e, di norma, ne rispettano le indicazioni in modo affidabile.

Basta una sola voce “Disallow” errata nella directory principale per far sì che l’intero dominio venga escluso dall’indice di Google.

Per questo motivo, il file è uno degli elementi tecnici più delicati di un sito web. Basta una barra dimenticata o un percorso troppo ampio per rendere inaccessibili sezioni che dovrebbero invece essere visibili. Chi modifica il file dovrebbe sempre testarne il risultato prima di pubblicare la nuova versione.

• Consentire l’accesso mirato a singoli bot
• Escludere intere directory dalla scansione
• Inserire il percorso della mappa del sito
• Concentrare il crawl budget sulle pagine più importanti
• Proteggere i contenuti duplicati dall’indicizzazione

Gestire i crawler dei motori di ricerca tradizionali

Googlebot, Bingbot e i crawler dei motori di ricerca simili rileggono il file robots.txt ad ogni visita. Tramite righe specifiche relative all’user-agent è possibile definire una regola separata per ogni bot, ad esempio per consentire a Bing di visualizzare sezioni diverse rispetto a Google. Google Search Console offre a tal fine uno strumento di test dedicato, con cui è possibile verificare i singoli URL rispetto al file attuale prima che una modifica abbia effettivamente effetto. Soprattutto nei grandi negozi online con pagine di filtro o percorsi del carrello, una configurazione accurata impedisce che il prezioso budget di scansione venga sprecato in pagine irrilevanti.

• Impostare regole specifiche per ciascun motore di ricerca
• Escludere le pagine dei filtri e del carrello
• Utilizzare lo strumento di test prima di ogni modifica
• Definire il ritardo di scansione se necessario

I crawler basati sull’intelligenza artificiale e il nuovo panorama dei bot

Oltre ai motori di ricerca tradizionali, oggi un numero crescente di crawler basati sull’intelligenza artificiale legge il file robots.txt, tra cui GPTBot, ClaudeBot, Google-Extended o CCBot. Tramite le voci personalizzate dell’user-agent è possibile stabilire se questi sistemi possano raccogliere contenuti per i dati di addestramento o utilizzarli per fornire risposte in tempo reale. Questo controllo è ormai parte integrante di una strategia di visibilità tecnica ben strutturata, come quella verificata anche nel nostro audit SEO/GEO. Anche in caso di rilancio del sito, il controllo del file robots.txt è uno dei primi passi da compiere, affinché nessun blocco indesiderato venga trasferito sul nuovo sito. Chi desidera tenere d’occhio anche i fattori di ranking strutturati, troverà ulteriori spunti nel nostro articolo sull’ottimizzazione on-page.

• Autorizzare in modo mirato GPTBot e ClaudeBot
• Regolare separatamente Google Extended per l’addestramento dell’IA
• Verificare le regole prima di ogni rilancio
• Verificare periodicamente la visibilità tecnica

Gestire e testare correttamente il file robots.txt

Il file non è un’operazione da eseguire una tantum, ma deve essere aggiornato ogni volta che viene apportata una modifica significativa alla struttura del sito. Nuove directory, percorsi rinominati o un cambio del sistema di gestione dei contenuti modificano spesso le aree che devono effettivamente essere sottoposte a scansione. Un controllo regolare nella Search Console mostra se Google incontra blocchi che in realtà non sono più desiderati o se aree importanti rimangono accidentalmente bloccate. Anche gli strumenti esterni di analisi tecnica aiutano a evidenziare le differenze tra la versione attuale e una precedente del file, prima che queste si trasformino in un vero e proprio problema di visibilità.

• Verifica del file dopo ogni modifica della struttura
• Controllare regolarmente gli avvisi di Search Console
• Verificare l’attualità dei vecchi blocchi
• Documentare le modifiche prima della messa in produzione

Robots.txt: errori comuni nella pratica

L’errore più comune è una voce “Disallow” formulata in modo troppo generico, che blocca inavvertitamente intere sezioni di un sito web, sebbene fosse intesa solo per una singola directory. Anche le regole contraddittorie, in cui una riga successiva revoca un’autorizzazione precedente, causano spesso un comportamento di scansione poco chiaro. Soprattutto in caso di cambio del sistema di gestione dei contenuti, il file viene spesso ripreso senza modifiche, nonostante la struttura dei percorsi sia completamente cambiata.

Un altro problema classico riguarda le strutture degli URL, che cambiano nel tempo: le vecchie regole “Disallow” rimandano quindi a percorsi che non esistono più da tempo, mentre le nuove aree, effettivamente sensibili, rimangono prive di protezione.

• Non definire le voci “Disallow” in modo troppo generico
• Risolvere in modo coerente le incongruenze nelle regole
• Verificare nuovamente il file dopo il cambio di sistema
• Eliminare regolarmente i percorsi obsoleti

Il file robots.txt in combinazione con la gestione dei tag

Strumenti come Google Tag Manager spesso caricano script esterni provenienti da domini aggiuntivi, che a loro volta possono avere regole di crawling proprie. Chi si concentra solo sul proprio file robots.txt rischia facilmente di trascurare il fatto che uno script integrato su un altro dominio abbia impostazioni completamente diverse.

In caso di configurazioni più complesse con più servizi integrati, vale quindi la pena effettuare un inventario periodico di tutti i domini coinvolti, non solo del proprio dominio principale.

• Gli script esterni hanno regole proprie
• Non concentrarsi solo sul dominio principale
• Elencare regolarmente i domini interessati
• Aggiornare la configurazione per i nuovi servizi

Chi considera il file robots.txt, la Sitemap e la struttura tecnica come un sistema integrato anziché come singole attività separate, individua più rapidamente gli errori ed evita che una modifica apportata in un punto provochi, senza che ce ne si accorga, effetti collaterali in un altro punto, che si notano solo settimane dopo.