robots.txt è un file di testo nella directory principale di un sito Web che fornisce ai crawler dei motori di ricerca le regole per CrawlingIl crawling significa che un bot di un motore di ricerca come Googlebot o Bingbot visita automaticamente i siti web, segue i link e, tecnicamente, indicizza il loro contenuto. Senza il crawling, una pagina... Clicca per saperne di più Il file robots.txt indica a un crawler come Googlebot o Bingbot a quali aree di un sito web può accedere e quali deve evitare.
Per le PMI, il file robots.txt è principalmente uno strumento di organizzazione: meno caos dovuto alla scansione dei motori di ricerca, una migliore prioritizzazione delle pagine importanti e segnali più chiari per i motori di ricerca stessi. Tuttavia, non è una protezione infallibile. Google Search Central spiega che robots.txt non è un meccanismo per escludere i siti web da Google; per le informazioni riservate, non è uno strumento adatto alla gestione di siti web sensibili. ContenutoPer contenuto si intende qualsiasi contenuto digitale pubblicato intenzionalmente su siti web, negozi online, canali social, newsletter e altri ambienti digitali. Per saperne di più... Clicca per saperne di più Google consiglia invece la protezione dell'accesso, del login o della password.
Il file robots.txt controlla la scansione dei siti web, non la sicurezza. Nascondere contenuti riservati con un file robots.txt potrebbe, nel peggiore dei casi, rivelare percorsi sensibili.
In pratica, nelle piccole imprese riscontro spesso due estremi: o non c'è alcun controllo consapevole sull'indicizzazione dei motori di ricerca, oppure il file robots.txt viene utilizzato come archivio di incertezze tecniche. Entrambe le situazioni sono rischiose. Un buon file robots.txt è conciso, definito in modo preciso e testato.
Che cosa significa esattamente robots.txt?
Il file robots.txt appartiene direttamente alla radice il sito web. Per il dominio www.esempio.com Quindi il file si trova in www.example.com/robots.txtIn genere, i crawler scaricano questo file prima di eseguire la scansione di un sito web.
Lo standard che sta alla base di tutto si chiama Protocollo di esclusione dei robotIl Robots Exclusion Protocol è stato pubblicato nel settembre 2022 come RFC 9309 ed è elencato nell'IETF Datatracker come "RFC - Standard proposto".
La chiave sta nel comprendere le aspettative: i crawler affidabili come Googlebot o Bingbot generalmente rispettano le regole del file robots.txt. Gli scraper dannosi, i bot di spam o gli strumenti configurati in modo errato non sono tenuti a farlo. Pertanto, il file robots.txt è un accordo con i crawler collaborativi, non un blocco tecnico di accesso.
Qual è lo scopo di un file robots.txt?
Un file robots.txt è utile se si desidera... Crawling È importante strutturare il proprio sito web in modo strategico. L'obiettivo non è quello di bloccare il più possibile l'accesso ai motori di ricerca, ma di indirizzare l'attenzione degli utenti verso le aree più importanti del sito.
Le applicazioni tipiche utili includono:
- Escludere le aree tecniche dalla scansione: Ad esempio, risultati di ricerca interni, URL di filtro o percorsi di sistema specifici.
- Strisciare-Budget proteggere: soprattutto per siti web di grandi dimensioni, negozi online, siti multilingue o con molte varianti di URL.
- Rendi visibile la mappa del sito: Una riga della sitemap aiuta i crawler a trovare più velocemente gli URL importanti.
- Limita gli schemi non importanti: come ad esempio gli URL dei parametri che non hanno alcuna rilevanza indipendente per gli utenti.
- Migliorare l'igiene del sito web: perché regole chiare rendono visibili i problemi tecnici preesistenti.
Per i siti web di piccole dimensioni con poche pagine, la semplicità è generalmente la chiave del successo. Un sito web piccolo e pulito spesso necessita solo di un semplice file robots.txt con un riferimento alla sitemap. Per progetti più ampi, il file dovrebbe trovarsi in una directory tecnica. Audit SEOUn audit SEO è l'esame sistematico di un sito web per individuare problemi tecnici, di contenuto e strutturali relativi all'ottimizzazione per i motori di ricerca. Un audit SEO rivela cosa ostacola la visibilità e quali misure è possibile adottare per risolvere tali problemi. Clicca per saperne di più oder ein Controllo SEO, in modo che le regole non compromettano inavvertitamente la visibilità.
Come è strutturato un file robots.txt?
Un file robots.txt è costituito da semplici direttive. I termini più importanti sono: Agente utente, rifiutare, Consentire e Mappa del sito.
Agente utente
Agente utente Specifica a quale crawler si applica una regola. Un asterisco rappresenta tutti i crawler.
User-agent: *
Disallow: /intern/Questo esempio dice: Tutti i crawler devono seguire il percorso /interno/ Non strisciare.
rifiutare
rifiutare Specifica i percorsi a cui un crawler non deve accedere. Un valore Disallow vuoto significa: niente è bloccato.
User-agent: *
Disallow: /suche/Questo esempio può essere utile se i risultati delle ricerche interne generano molte varianti di URL non necessarie.
Consentire
Consentire Consente l'esecuzione di un sottopercorso specifico anche se il percorso principale è bloccato. Ciò è particolarmente rilevante nei sistemi tecnici.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpQuesto schema si osserva spesso in WordPressBlocca l'area amministrativa per i crawler, ma lascia accessibile un file tecnicamente necessario.
Mappa del sito
* Mappa del sitoLa riga `<head>` si riferisce alla sitemap XML del tuo sito web. Una sitemap non sostituisce una struttura del sito chiara, ma aiuta i crawler a scoprire più rapidamente gli URL importanti.
Sitemap: https://www.beispiel.com/sitemap.xmlQuando sviluppo un sito web strategico, mi assicuro che il file robots.txt, la sitemap, i link interni e la struttura delle pagine siano coerenti. Questo approccio orientato ai sistemi fa parte anche del nostro lavoro in... Webdesign und EntwicklungLa tecnologia non dovrebbe essere fine a se stessa, ma dovrebbe consentire una migliore visibilità, un orientamento più chiaro e indagini più efficaci.
Il file robots.txt controlla la scansione, non l'indicizzazione.
La differenza più importante: Il file robots.txt controlla la scansione, ma non l'indicizzazione in modo affidabile. Se un URL viene bloccato tramite l'opzione "Non consentire", un crawler cooperativo non può recuperarne il contenuto. Tuttavia, l'URL potrebbe comunque apparire nei risultati di ricerca se altre pagine vi rimandano tramite link.
Se desideri davvero escludere una pagina dall'indice, dovrai utilizzare metodi diversi a seconda della situazione:
- Meta robot senza indice: per singole pagine HTML che devono rimanere accessibili ai crawler ma non essere indicizzate.
- X-Robots-Tag: per le regole di indicizzazione tramite intestazioni HTTP, ad esempio per PDF o altri file.
- Protezione con nome utente o password: per contenuti riservati, documenti interni, dati dei clienti o siti web di staging.
- Controllo degli accessi lato server: quando i contenuti non devono essere accessibili al pubblico per motivi tecnici.
Se vuoi conoscere le differenze tra robots.txt, Meta-Robots e llms.txtIn breve, LLMs.txt 2026 significa: Il file /llms.txt è un file guida volontario per sistemi di intelligenza artificiale, agenti e altri lettori automatici. Il file è una proposta della comunità, non una proposta ufficiale... Clicca per saperne di più Se desideri approfondire questo argomento, ho scritto un articolo a parte a riguardo: Classificazione corretta di Meta-Robots, robots.txt e llms.txt.
Perché robots.txt non è uno strumento di sicurezza
Il file robots.txt è accessibile pubblicamente. Chiunque e qualsiasi strumento possono accedervi. /robot.txt Aggiungi il file al tuo dominio e leggilo. Se contiene percorsi sensibili, possono facilmente generarsi falsi positivi: ciò che dovrebbe rimanere nascosto verrà segnalato come un percorso interessante.
Può essere una cosa reale Sicherheitsrisiko Voci come le seguenti sono particolarmente problematiche:
Disallow: /kunden/
Disallow: /vertraulich/
Disallow: /backup/
Disallow: /staging/
Disallow: /angebote-intern/Questi percorsi non proteggono contenuti riservati. Indicano solo che lì potrebbe trovarsi qualcosa di interessante. Per aree interne, bozze, documenti dei clienti, listini prezzi o progetti non pubblicati, è necessaria la protezione degli accessi, non un file robots.txt.
Se un contenuto non può essere reso pubblico, non può semplicemente essere "impedito all'indicizzazione". Il contenuto deve essere tecnicamente protetto.
Errori tipici in robots.txt
La maggior parte dei problemi relativi al file robots.txt non deriva da tecnologie complesse, ma da piccoli, ma significativi, fraintendimenti. In oltre 20 anni di collaborazione con esperti di siti web, ho riscontrato questi errori ripetutamente:
- L'intero sito web è bloccato: un Non consentire: / può impedire a tutti i crawler di scansionare l'intero sito web.
- Le regole di allestimento restano in vigore: Durante lo sviluppo tutto si blocca, e poi qualcuno si dimentica di apportare la modifica dopo il lancio.
- CSS e JavaScript sono bloccati: Se risorse importanti vengono bloccate, Google potrebbe visualizzare e comprendere una pagina in modo meno efficace.
- Il file si trova nella posizione sbagliata: Un file robots.txt presente in una sottocartella non è considerato il file robots.txt centrale del sito web.
- I percorsi contengono errori di battitura: Errori di maiuscole/minuscole, barre mancanti o nomi di cartelle errati possono rendere le regole inefficaci.
- robots.txt viene confuso con noindex: Disallow impedisce la scansione, noindex controlla l'indicizzazione.
- Si sta accumulando troppo bagaglio: Un file sui robot che si è ingrandito nel corso degli anni finisce per diventare incomprensibile e rischioso.
Il mio consiglio pragmatico: ogni regola del file robots.txt dovrebbe avere uno scopo ben preciso. Se nessuno sa spiegare il motivo dell'esistenza di una regola, questa dovrebbe essere rivista.
robots.txt in WordPress
Sui siti web WordPress, il file robots.txt viene spesso generato automaticamente o tramite plugin SEO. In genere va bene, a patto di capire a cosa serve il file. Una versione semplice per WordPress si presenta spesso in questo modo:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.beispiel.com/sitemap_index.xmlImportante: non bloccare su tutta la fascia. / Wp-content /, / Wp-includes / o file del tema, senza verificarne gli effetti. I motori di ricerca moderni spesso hanno bisogno di poter accedere a CSS, JavaScript e file multimediali per comprendere correttamente una pagina.
Se stai lavorando con i plugin SEO, vale la pena dare un'occhiata alle basi. Per WordPressWordPress è un CMS open source per siti web, blog e negozi online. I suoi principali svantaggi includono la dipendenza dai plugin, la manutenzione continua, i rischi per la sicurezza, i potenziali problemi di prestazioni del sito web e le difficoltà tecniche. Clicca per saperne di più Ho anche scritto una classificazione degli strumenti utili: I migliori plugin SEO per WordPress.
Quando un file robots.txt diventa dannoso?
Un file robots.txt può essere dannoso se blocca contenuti importanti o crea un falso senso di sicurezza. Questo file è particolarmente critico per i siti web rilanciati, i siti multilingue, i negozi online, le landing page e i sistemi di staging.
I segnali di allarme includono:
- Le pagine importanti non vengono indicizzate: In tal caso, i motori di ricerca non sono in grado di valutare appieno i contenuti.
- Le nuove pagine non vengono visualizzate nei motori di ricerca: La causa potrebbe essere una vecchia regola che vieta di utilizzare tali regole.
- La mappa del sito elenca gli URL bloccati: Quindi il sito web invia segnali contraddittori.
- Le pagine di ricerca o filtro interne generano URL in blocco: Quindi, la mancanza di controllo dello strisciamento può causare lo strisciamento-Budget sciupare.
- Nel file sono visualizzati apertamente i percorsi riservati: In questo modo, robots.txt stesso diventa un fornitore di notifiche.
In termini strategici, il file robots.txt è solo una piccola parte di un sistema più ampio. Una buona visibilità non si ottiene con un singolo file, ma con una struttura di pagine chiara, contenuti pertinenti, una tecnologia solida e un linguaggio comprensibile. MarcaDefinizione di Brand: Brand (chiamato anche brands) è il termine inglese per "marca". Un brand è un segno distintivo che identifica prodotti o servizi... Clicca per saperne di piùQuesta è anche l'essenza del bene Gestione SEO.
Lista di controllo pratica per le PMI
Se vuoi controllare il tuo file robots.txt, inizia con queste domande:
- Il file si trova nella directory principale? Controllo yourdomain.tld/robots.txt.
- L'intero sito web viene bloccato per errore? Presta particolare attenzione a Non consentire: /.
- Le pagine importanti, i file CSS, JavaScript o le immagini sono accessibili? Google deve essere in grado di comprendere il tuo sito web.
- È presente una riga relativa alla mappa del sito? La mappa del sito deve fare riferimento alla mappa del sito XML corrente.
- Il file contiene percorsi sensibili? Non eliminate indiscriminatamente tali voci, ma proteggete il contenuto in modo tecnicamente corretto.
- Le norme relative alle fasi di sviluppo o di implementazione sono ancora in vigore? Questo è un errore comune nei rilanci.
- È chiaro quale regola serva a quale scopo? Altrimenti, il file dovrebbe essere ripulito.
Soprattutto per le piccole imprese, la chiarezza è più importante della complessità tecnica. Un semplice file robots.txt verificato è meglio di un file lunghissimo di cui nessuno si assume la responsabilità.
Domande frequenti su robots.txt
Dove si trova il file robots.txt?
Il file robots.txt si trova nella directory principale del tuo sito web, ad esempio sotto https://www.deinedomain.tld/robots.txtSe il file si trova in una sottocartella, non verrà considerato dai crawler come il file robots.txt centrale per il dominio.
È possibile rimuovere pagine da Google tramite il file robots.txt?
No, robots.txt non è lo strumento adatto. Se una pagina deve essere rimossa da Google o non indicizzata affatto, a seconda della situazione, serve qualcos'altro. noindexProtezione dell'accesso, rimozione tramite Google Search Console o cancellazione pulita con un codice di stato appropriato.
Cosa significa "Disallow" nel file robots.txt?
rifiutare indica a un robot cingolato quale percorso non deve seguire. Vietare: /interno/ Ciò significa, ad esempio, che il percorso /interno/ Non dovrebbe essere accessibile se il crawler rispetta la regola.
Cosa significa "Allow" nel file robots.txt?
Consentire Consente un percorso specifico all'interno di un'area altrimenti bloccata. Ciò è utile quando un sottopercorso tecnico deve rimanere accessibile anche se la cartella principale è bloccata da una direttiva Disallow.
Ogni sito web ha bisogno di un file robots.txt?
No, non tutti i piccoli siti web necessitano di regole robots.txt complesse. Tuttavia, un semplice file con un riferimento alla sitemap è spesso utile per fornire ai crawler un orientamento chiaro.
Il file robots.txt è uno strumento di protezione o sicurezza dei dati?
No, il file robots.txt non protegge i contenuti riservati. Documenti sensibili, aree clienti, file interni e siti web di staging devono essere protetti tramite login, password o controllo degli accessi lato server.
Qual è la differenza tra robots.txt e Meta-Robots?
Il file robots.txt controlla se un crawler deve essere autorizzato ad accedere a un URL. Il file meta-robots controlla se una pagina può essere indicizzata nelle pagine HTML, ad esempio, utilizzando... noindex.
Qual è la differenza tra Meta-Robots e X-Robots-Tag?
Meta-Robots è presente nel codice HTML di una singola pagina. X-Robot-Tag Viene trasmesso tramite intestazioni HTTP ed è adatto anche a file come i PDF, che non dispongono di un'intestazione HTML.
L'inserimento di una sitemap nel file robots.txt contribuisce al posizionamento nei risultati di ricerca?
L'inserimento di una sitemap nel file robots.txt non è un fattore di ranking diretto. Tuttavia, aiuta i crawler a trovare più rapidamente gli URL importanti e contribuisce quindi a una struttura tecnica del sito web pulita.
Quale regola del file robots.txt è particolarmente pericolosa?
Non consentire: / Questo aspetto è particolarmente critico perché questa regola può bloccare l'intero sito web per l'agente utente interessato. Sui siti web attivi, questa regola dovrebbe essere utilizzata solo deliberatamente e in casi molto specifici.
Breve conclusione
Il file robots.txt è uno strumento utile se si desidera controllare consapevolmente la scansione dei motori di ricerca. Questo file aiuta i motori di ricerca a evitare aree tecniche e a impedire la scansione.Budget per utilizzare meglio e trovare più velocemente i file della sitemap.
Tuttavia, il file robots.txt non è uno strumento di segretezza né una protezione affidabile contro l'indicizzazione. Se il tuo sito web è importante per la tua attività, il file robots.txt non dovrebbe essere un'aggiunta successiva, ma piuttosto parte integrante di una solida strategia per il sito web: chiaro, testato e focalizzato sulle tue reali esigenze.
