Das Crawl-Verhalten des Adwords-Bots
Wie sich der Adwords-Bot an die Robots.txt hält.
Eine wichtige Aussage, gestützt durch Google selbst: Wenn man Seiten aus dem Google-Index mittels ‘User-agent: *’ in der Robots.txt-Datei ausschliessen will (siehe meine ‘Vergeudet Eure Link-Autorität nicht’ Posts), könnte dies potentiell eine Auswirkung auf den Adwords Quality Score haben und schlimmstenfalls die Klickpreise erhöhen.
Würde man meinen jedenfalls, denn der Adwords-Bot sollte auf diese Weise ja auch ausgeschlossen und etwa die Kontakt, Impressum etc. Seiten nicht berücksichtigen. Dem ist aber anscheinend nicht so: Der Adwords-Bot ignoriert die ‘User-agent: *’-Anweisung und crawlt die Seiten trotzdem. Ausser, man verbietet es ihm explizit mit ‘User-agent: AdsBot-Google’. Gefunden hier.
Hat Dir der Beitrag gefallen? Abonniere Webgreenhorn kostenlos!
Ähnliche Posts, die von Interesse sein könnten:
2. August 2007 von Christian Schmidt
Also solange es nur der Adwords Bot ist der meinen Content nicht irgendwo auf einer Pseudo Suchmaschine publiziert ist es mir ansich egal
6. August 2007 von Gregor
Ist doch gut wenn die Klickpreise oben sind.
6. August 2007 von Webgreenhorn
@Gregor: für den AdSense Publisher schon!
7. August 2007 von tim
Solche Kommentare bekomme ich auch regelmäßig auf Adwords Beiträge. Es ist lustig wie wenig SEOs & andere Publisher sich mit SEM beschäftigen und wie verwirrend da schon die Unterscheidung zwischen Adsense und Adwords wird