BaiduSpider schlampt mit DNS
Verfasst: 25.07.2011, 08:39
Irgendwie hat das chinesische Baidu noch nie was vom DNS gehört. Nach einem IP-Wechsel vor einer Woche haben die Crawler ihre Zugriffe umgestellt:
1. Google, Yahoo: praktisch sofort alle Crawler
2. Yandex: erste Crawler sofort, letzte ein paar Stunden nach dem eingestellten TTL-Wert (Time-To-Live)
3. BingBot: erste Crawler ein paar Stunden nach TTL, letzte etwa einen Tag nach TTL
4. Baiduspider: erste Cralwer etwa einen Tag nach TTL, letzte greifen bis heute auf die alte IP zu
Testsieger: Yahoo und Google. Schlampig: Baidu
1. Google, Yahoo: praktisch sofort alle Crawler
2. Yandex: erste Crawler sofort, letzte ein paar Stunden nach dem eingestellten TTL-Wert (Time-To-Live)
3. BingBot: erste Crawler ein paar Stunden nach TTL, letzte etwa einen Tag nach TTL
4. Baiduspider: erste Cralwer etwa einen Tag nach TTL, letzte greifen bis heute auf die alte IP zu
Testsieger: Yahoo und Google. Schlampig: Baidu