Guruhowtos

Lo strumento di analisi robots.txt legge il file robots.txt nello stesso modo di Googlebot. Se lo strumento interpreta una riga come un errore di sintassi, Googlebot non capire che la linea. Se lo strumento indica che un URL è consentito, Googlebot interpreta tale URL come consentito.

Questo strumento fornisce i risultati solo per gli user-agent di Google (ad esempio Googlebot). Altri bot non può interpretare il file robots.txt nello stesso modo. Ad esempio, Googlebot supporta una definizione estesa dello standard. Esso comprende Allow: direttive, così come alcuni pattern matching. Così, mentre lo strumento mostra le righe che includono queste estensioni, come capita, ricordate che questo vale solo per Googlebot e non necessariamente ad altri bot che possono eseguire la scansione del tuo sito.

Se esiste un file robots.txt nella directory principale del paese ospitante, questo strumento elenca le informazioni che Google ha a questo proposito, tra cui:

• Un link al file robots.txt corrente sul tuo sito.
• Quando Google Ultimo download del file - se hai apportato modifiche al file dopo tale data e l'ora, la nostra versione cache non rifletterà le modifiche
• Lo stato del file - la risposta HTTP che abbiamo ricevuto quando abbiamo tentato di scaricarlo. (Per saperne di più sui codici di stato.) Se si riceve un errore 404 (file non trovato) di errore, questo non rappresenta un problema. Non dovete avere un file robots.txt - ma se non lo fai, i bot saranno in grado di eseguire la scansione di tutte le pagine del tuo sito.
• Il tipo MIME - se il file è un tipo diverso dal testo, non possiamo elaborarlo.
• Se il robots.txt blocca l'accesso alla tua home page o ad uno qualsiasi sitemap hai inviato.
• Se abbiamo avuto problemi durante l'analisi delle righe del file.