Forum > SEO & Online Marketing & Social Media

icjobs

Das ist korrekt! Seit vorgestern laufen auf ALLEN IP's diese neuen user agents.

Grund waren die sinnvollen Anregungen hier im Forum. Jetzt sagt bereits der Name des user agent aus, wozu der Crawler genutzt wird.

IC - I see...

Merci dafür.

icjobs

Vielen Dank für den Hinweis bzgl. rekruter.de. "Die Daten basieren auf Angaben der Arbeitgeber. Eine gewerbliche Nutzung ist nur mit schriftlicher Zustimmung der BA gestattet." Genau DAS wollen wir vermeiden, kann jedoch bei mittlerweile ca. 1800 erkannten und "abgeschalteten" Bö...

icjobs

Wow, pikante Fragen. :roll: Unter welchem Aspekt diese Fragen gestellt werden kann ich zwar noch nicht so ganz nachvollziehen, werde aber jede Frage explizit beantworten um hier, wenn sich schon einmal ein Suchmaschinenbetreiber in einem Forum meldet keine Missverständnisse aufkommen zu lassen: a) D...

icjobs

Hallo Kristian, dann schieben ich doch nochmals einige Informationen nach. Die meisten Angaben bzgl. User Agent (iCCrawler) sind in der erwähnten https://www.iccenter.net/bot.htm zu finden. Da sich die IP's ständig ändern und/oder erweitern, kann eine Aufzählung hier nie vollständig sein. ICCrawler ...

icjobs

Hallo Psycho, die Bedenken und die Skepsis sind teilweise tatsächlich berechtigt, insbesondere dann wenn niemand so recht weiss wozu dieser Bot/Crawler geeignet ist und wer tatsächlich dahinter steckt. Zudem gibt es zahlreiche dieser Bots, welche das "Gentlemen's Agreement" der robots.txt ...

Die Suche ergab 5 Treffer

Rekruter

user agent

zu http://www.iccenter.net/bot.htm könnnen wir etwas sagen