Guida Completa al robots.txt: Funzionamento e Utilità SEO
Ne parliamo su BlackFrog 🐸
Nell'ambito della SEO (Search Engine Optimization), il controllo dell'indicizzazione dei contenuti sui motori di ricerca è un aspetto cruciale. Tra gli strumenti più utilizzati per questo scopo ci sono il file robots.txt e i tag meta robots. Questi elementi permettono di gestire quali parti di un sito web possono o non possono essere visitate dai crawler dei motori di ricerca, come Googlebot.
In questa guida esploreremo nel dettaglio cosa sono, come funzionano, come si implementano e l'importanza per la SEO.
Cos'è il file robots.txt?
Il file robots.txt è un semplice file di testo che si trova nella radice (o root) del sito web e ha lo scopo di dare istruzioni ai crawler dei motori di ricerca, come Googlebot (il crawler di Google), su quali pagine o sezioni del sito possono essere indicizzate e quali no. Si tratta di una risorsa fondamentale per evitare che i motori di ricerca accedano a contenuti che non vuoi rendere pubblici o che possono generare confusione nell'indicizzazione.
Esempio di un file robots.txt
Un esempio molto semplice di file robots.txt presente all'indirizzo https://www.sito.com/robots.txt potrebbe essere il seguente:
User-agent: *
Disallow: /privata/
Disallow: /admin/
In questo esempio, stiamo dicendo a tutti i crawler (User-agent: *) di non accedere alla cartella /privata/ e /admin/. Questo è un classico scenario in cui si desidera nascondere aree sensibili o amministrative del sito.
La direttiva Allow nel robots.txt
La direttiva Allow è utilizzata per permettere l'accesso a determinate pagine o directory di un sito, anche se sono incluse in una directory più ampia che è stata bloccata tramite una direttiva Disallow. Questo è particolarmente utile quando si vuole bloccare una parte di una directory, ma consentire comunque l'accesso a pagine specifiche al suo interno.
Esempio pratico
Immagina di avere una cartella /blog/ che vuoi in generale bloccare, ma desideri consentire l'accesso a una specifica pagina chiamata guida-seo.html.
Ecco come potresti configurare il file robots.txt:
User-agent: *
Disallow: /blog/
Allow: /blog/guida-seo.html
In questo esempio, il crawler non accederà a nessun contenuto nella directory /blog/, tranne la pagina specificata /blog/guida-seo.html, che verrà scansionata.
L'uso dell'asterisco (*)
L'asterisco (*) è un carattere jolly che può essere utilizzato per rappresentare qualsiasi sequenza di caratteri all'interno di un percorso URL. È una risorsa potente perché consente di applicare regole generiche a più pagine o directory in una singola riga.
Esempio di utilizzo dell'asterisco
Se desideri bloccare tutti i file che contengono la parola "stampa" all'interno del loro nome o percorso, puoi fare così:
User-agent: *
Disallow: /*stampa*
In questo caso, il crawler eviterà di accedere a qualsiasi URL che contiene la parola "stampa", come ad esempio /prodotti/stampa-flyer.html o /documenti/stampa.pdf.
La combinazione di Allow e asterisco ti permette di gestire in modo avanzato quali pagine o sezioni del sito rendere accessibili ai crawler. Ad esempio, se desideri bloccare una directory completa tranne tutti i file HTML, puoi configurare il file robots.txt in questo modo:
User-agent: *
Disallow: /cartella/
Allow: /cartella/*.html
In questo modo, il crawler non accede ai file non HTML nella cartella, come immagini o PDF, ma permette l'indicizzazione di tutte le pagine .html presenti in quella cartella.
È importante ricordare che la direttiva Disallow ha la precedenza, quindi se una pagina o una directory viene bloccata, per sbloccarla occorre usare esplicitamente Allow.
L'uso del dollaro ($)
Il simbolo del dollaro ($) viene utilizzato per indicare la fine di un URL. Questo carattere è particolarmente utile quando si desidera creare regole che si applicano esclusivamente a URL che terminano in un modo specifico, senza includere altre varianti.
User-agent: *
Disallow: /*.html$
L'uso del cancelletto (#)
Il simbolo cancelletto (#) può essere posizionato all'inizio di una riga per scrivere un commento indipendente, oppure dopo una direttiva per aggiungere una spiegazione su di essa. Ecco alcuni esempi pratici di utilizzo:
# Blocco di tutte le risorse della directory admin
User-agent: *
Disallow: /admin/
Disallow: /cart/ # Blocca la pagina del carrello
Come funziona il file robots.txt?
Il file agisce come una lista di regole che i bot dei motori di ricerca devono seguire. Quando un crawler visita il tuo sito, consulta prima il file robots.txt per sapere quali aree può scansionare. Ad esempio, se il Googlebot trova una direttiva che blocca una determinata sezione, eviterà di scansionare quelle pagine.
Blocco di Googlebot tramite il file robots.txt
Nel caso volessimo bloccare specificamente Googlebot, potremmo utilizzare una configurazione simile a questa:
User-agent: Googlebot
Disallow: /sezione-bloccata/
In questo modo, solo Googlebot sarà bloccato dall'accesso alla cartella specificata.
Sitemap e robots.txt
È una buona pratica includere il percorso della tua sitemap nel file robots.txt (oltre che nella Google Search Console), così da aiutare i crawler a scoprire più facilmente la struttura del tuo sito. Un esempio sarebbe:
Sitemap: https://www.sito.com/sitemap.xml
Questo non solo migliora la navigabilità del sito da parte dei bot, ma accelera anche l'indicizzazione delle pagine più importanti.
Il file robots.txt e la SEO: Ottimizzazione della scansione e gestione delle risorse
Il file robots.txt è uno strumento essenziale per la gestione SEO di un sito web, in quanto consente di ottimizzare il crawl budget e dirigere i crawler dei motori di ricerca verso i contenuti più rilevanti. Questa risorsa gioca un ruolo cruciale nel migliorare la visibilità del sito nei risultati di ricerca e garantire che le pagine chiave vengano scansionate e indicizzate, evitando che i bot dedichino tempo a contenuti di scarsa rilevanza.
Uno dei principali vantaggi del file robots.txt riguarda la gestione del crawl budget. I motori di ricerca come Google assegnano un limite di tempo o di risorse a ciascun sito per l'esplorazione delle pagine. Se i crawler passano troppo tempo a scansionare pagine non utili, duplicati o aree che non apportano valore (ad esempio, pagine di login, aree amministrative o risorse multimediali non necessarie), potrebbero non riuscire a scansionare e indicizzare le pagine più rilevanti per il business.
Grazie a un file robots.txt ben configurato, è possibile evitare che i crawler sprecano risorse su pagine o sezioni del sito che non devono essere indicizzate, indirizzando la loro attenzione sulle aree più importanti per la SEO. Ad esempio, puoi bloccare directory come /wp-admin/ in WordPress o sezioni di carrelli in siti e-commerce come Prestashop, Magento e Shopify. In questo modo, Googlebot e altri crawler si concentrano sui contenuti che contano per il posizionamento nei risultati di ricerca.
Un altro vantaggio, che spesso non viene considerato, è che evita un consumo inutile di banda e delle risorse del server. I crawler consumano banda e possono influire sulle prestazioni del server, soprattutto su siti di grandi dimensioni. Bloccare le sezioni non necessarie del sito non solo preserva il crawl budget, ma evita che i bot occupino tempo CPU su contenuti inutili, ottimizzando così l'efficienza del sito.
Testare il file robots.txt
Per testare il tuo file robots.txt e verificare se è correttamente configurato per gestire i crawler dei motori di ricerca, puoi utilizzare il nostro tool tester del file robots.txt. Questo strumento ti consente di inserire l'URL del tuo sito e vedere immediatamente se i bot possono accedere o meno alle pagine secondo le regole definite nel file robots.txt. È un ottimo strumento per garantire che il tuo sito sia ottimizzato per la SEO, impedendo l’indicizzazione di contenuti non rilevanti e migliorando l’efficienza del crawl budget.
In aggiunta, Google Search Console offre una funzionalità simile che permette di analizzare il file robots.txt del sito. Sebbene Google abbia dismesso la versione precedente dello strumento di test del robots.txt, la nuova versione di Search Console continua a fornire strumenti utili, come il monitoraggio delle modifiche e la verifica delle direttive di crawling. Inoltre, conserva lo storico delle variazioni, permettendo ai webmaster di analizzare come eventuali modifiche influenzano il comportamento dei crawler nel tempo.
Guidare i crawler e ottimizzare il crawl budget è parte del nostro lavoro di indicizzazione su Google.