Diagnostica del sito

[pollon]

tale funzione apparsa da qualke mese non mi aveva mai segnalato alcun url bloccato, da fine Dicembre mi sta segnalando una miriade di pagine bloccate sempre per lo stesso motivo: robots.txt file

Mi sono affretta ad inserire tale file nella directory principale con le due righe suggerite da google:
User-agent: Mediapartners-Google*
Disallow:

Sebbene venga indicata in una settimana la prossima scansione, mi sono comparse altre pagine degli stessi domini con la stessa motivazione di blocco (anche in presenza del file robots riportante le loro righe).

Come risolvere questo problem?

devo aggiungere un meta tag a tutte le pagine che richiama il file robots (ho letto che è superfluo)?

thanks in anticipo webmasters

smakete

www.robotsfile.com

[Suppliziante]

Io ho questo robots.txt ed è sempre andato bene:


User-agent: *
Disallow:


Per molti siamo demoni, per altri angeli...