Vlaamse Media & Duckduckgo

[Stroper]

Iets wat me de afgelopen weken is opgevallen, bij gebruik van Duckduckgo.

Ik krijg nauwelijks/geen resultaten meer van DPG/Mediahuis. Terwijl dat bij Google/Bing/Ecosia geen probleem is.
als ik bv. in het zoekvenstertje

Code: Selecteer alles

de wever site:standaard.be

ingeef krijg ik geen resultaten idem met demorgen.be, ook Tweakers (eigendom van DPG) geeft geen resultaten.

In de robots.txt zie ik geen block op duckduckbot, dus dacht misschien dat het aan de crawler van DDG zou kunnen liggen(alhoewel DDG ook een deel via Bing werkt).
maar vrtnws.be & lesoir.be werken dan weer perfect. Dus misschien ligt het aan de mediabedrijven?

[raf1]

Misschien blokkeert DPG Media de DuckDuckBot onder het motto "Protecting news sites from security threats": https://www.akamai.com/resources/custom ... /dpg-media

zie ook https://www.akamai.com/products/bot-manager

[Albert Peetermans]

"site:standaard.be" geeft resultaten, maar dan alleen over abonnementen en de shop etc. Dus het lijkt er inderdaad op dat er specifiek "nieuws content" wordt geblokkeerd (bv. "de wever site:standaard.be").
Ik vind echter geen link tussen Mediahuis en akamai.

[dragonflo]

Akamai is niet de enige die zo een diensten aanbiedt. Bij cloudflare kan je bijvoorbeeld ook een (Ai) bot blocker afnemen.