Userbase

Allen,


kan mij iemand een antwoord geven op het volgende issue?
Een aantal klanten van mij krijgen soms de melding dat er een probleem gedetecteerd is op hun site bij de indexatie.
==> Geïndexeerd, maar geblokkeerd door robots.txt

Het vreemde van al is dat we geen zoekmachines tegenhouden.

Thanx !

svermassen schreef: Het vreemde van al is dat we geen zoekmachines tegenhouden.

Wil je hiermee zeggen dat je effectief gecontroleerd hebt dat er geen robots.txt bestanden in de file root staan?

Ik bedoel daarmee...

==> User-agent: *

Dus mij lijkt dit in orde.

Kijk de "alternatieve" robots.txt mogelijkheden na, zijnde de robots meta tag en de X-Robots-Tag HTTP header.

Als dat ook niets oplevert, kan het mogelijks een robots.txt zijn die ergens downstream van de site root staat.

Noot dat enkel "User-agent: *" zonder iets anders in principe niet syntactisch correct is, maar ik denk niet dat dit de reden is.

Kan het zijn dat robots.txt gewijzigd werd nadat de pagina al eens werd geïndexeerd?
Bijvoorbeeld: de pagina bevindt zich in /subdir/ en in robots.txt heb je na indexering van de pagina het volgende toegevoegd:

Disallow: /subdir/