Seite 1 von 1
Server-Tool kann Googlesperre auslösen?
Verfasst: 21.07.2011, 08:58
von weltweit
wir wollen uns ein Tool programmieren lassen, daß die Google-Keywordzahlen ermittelt.
Das Tool soll auf einem Server installiert werden.
Läuft man damit Gefahr, daß Google diese Server-IP sperrt? Dann wäre das Tool schnell nutzlos... oder hat jemand eine gute Idee?
Verfasst: 21.07.2011, 09:24
von Synonym
Läuft man damit Gefahr, daß Google diese Server-IP sperrt?
Ja, relativ sicher sogar.
Verfasst: 21.07.2011, 10:11
von Hirnhamster
Proxies bei den Abfragen verwenden und ein zeitliches Delay einbauen. Das von dir beschriebene Probleme ist das Problem aller Google-Scraper
Verfasst: 21.07.2011, 10:56
von Justus
Probier es erst einmal in einem kleinen Feldversuch aus, um zu sehen bei welchem Abfragevolumen die Sperren einsetzen und dann könnt ihr planen wie groß eure Infrastruktur (Proxies) angelegt sein muss.
Eine permanente Sperre halte ich für sehr sehr unwahrscheinlich und einen Einfluss auf das Ranking, sofern ihr Seiten auf dem Server liegen habt, für ausgeschlossen.
Verfasst: 21.07.2011, 12:39
von Vegas
Justus hat geschrieben:Eine permanente Sperre halte ich für sehr sehr unwahrscheinlich und einen Einfluss auf das Ranking, sofern ihr Seiten auf dem Server liegen habt, für ausgeschlossen.
Yep, da müßte man schon andere ganz böse Sachen für veranstalten. In der Regel wird die IP einfach nur für einen kurzen Zeitraum geblockt. Als Alternative zu Proxies kann man natürlich auch eine längere Timeout Zeit zwischen den einzelnen Abfragen nutzen, so daß keine Sperre greift. Hängt vom Abfragevolumen ab, denn ab einer gewissen Menge dauerts dann schnell Stunden oder Tage, bis man seine Ergebnisse hat...auch nicht im Sinne des Erfinders.
Verfasst: 22.07.2011, 06:16
von weltweit
Danke erstmal für die Infos. Dann werden wir es erstmal mit Delay zwischen den Abfragen testen.
Hat jemand von Euch zufällig Erfahrungswerte für sowas oder ähnliches?
Verfasst: 25.07.2011, 09:40
von WoY
Hi,
es gibt 2 Möglichkeiten
1. Bei einer Sperre ein Captcha Erkennungsdienst zu nutzen, welcher den Google Captcha lößt.
2. Wie oben schon gesagt Proxys benutzen.
Wenn man es aber richtig machen will benötigt das einiges an Arbeit. Für meinen Proxy Management hab ich omg viel Stunden verballert.
Verfasst: 25.07.2011, 09:52
von Michael
So ein Tool gibt es schon fertig. Es gibt keine Probleme mit Google, ist kostenlos und man bekommt viele Plugins und regelmäßige Updates.
Das Ding heißt piwik und ich habe es selbst im Einsatz. Ist echt klasse. Viel mehr geht nicht. Ausser man macht so etwas:
https://www.whattheinternetknowsaboutyou.org/
Verfasst: 25.07.2011, 10:26
von profo
@Michael, ich glaube, weltweit meinte Keyword-Rankings und nicht User-Statistiken...
Verfasst: 25.07.2011, 10:46
von ender
WoY hat geschrieben:Für meinen Proxy Management hab ich omg viel Stunden verballert.
Magst Du kurz darauf eingehen, wo für Dich das Hauptproblem lag?
Verfasst: 25.07.2011, 17:09
von WoY
Die meiste Arbeit habe in den Modulen und Controllern gehabt.
Mein Script muss sich automatisch selbst verwalten.
Controlling Routinen, etc. werden über einen Cronjob Aufruf selber abgewickelt.
Skripte arbeiten parallel nicht sequenziell
Heißt:
- Parse von unterschiedlichen Sites Public Proxys (Auch JavaScript geschützt)
- Checke Proxys, ob mit Yahoo, Google funktionieren
- Blacklist Management
- ReCheck gebannter Ips
Und noch einiges mehr^^.
