Validatore robots.txt
Chi entra e chi resta fuori, riga per riga — compresi i crawler dei modelli generativi.
Nessuna registrazione. Oppure incolla il contenuto del file qui sotto.
Domande frequenti
Bloccare i crawler dei modelli generativi conviene?
Dipende da cosa vendi. Se vivi di traffico dai motori, essere citato nelle risposte generate porta visite; se il tuo contenuto è il prodotto, lasciarlo leggere significa regalarlo. Non c’è una risposta giusta per tutti, ma la scelta va fatta sapendo di farla: molti plugin SEO aggiungono queste esclusioni per impostazione predefinita.
Il robots.txt tiene le pagine fuori da Google?
No, e questo è l’equivoco più diffuso. Il robots.txt impedisce la scansione, non l’indicizzazione: una pagina bloccata può comparire lo stesso nei risultati, senza descrizione, se altri siti la collegano. Per tenerla fuori davvero serve il meta robots noindex — che però richiede che la pagina sia leggibile.
Cosa succede se il file non esiste?
Nulla di grave: senza robots.txt tutti i crawler considerano l’intero sito visitabile. Il file serve a limitare, non a permettere. Vale però la pena averlo per dichiarare la sitemap.
Le regole valgono per i sottodomini?
No. Ogni sottodominio ha il suo robots.txt, e quello del dominio principale non lo riguarda. È un errore frequente sui siti con un blog o un negozio su un sottodominio separato.