Server-Tool kann Googlesperre auslösen?

[weltweit]

wir wollen uns ein Tool programmieren lassen, daß die Google-Keywordzahlen ermittelt.

Das Tool soll auf einem Server installiert werden.

Läuft man damit Gefahr, daß Google diese Server-IP sperrt? Dann wäre das Tool schnell nutzlos... oder hat jemand eine gute Idee?

[Synonym]

Läuft man damit Gefahr, daß Google diese Server-IP sperrt?

Ja, relativ sicher sogar.

[Hirnhamster]

Proxies bei den Abfragen verwenden und ein zeitliches Delay einbauen. Das von dir beschriebene Probleme ist das Problem aller Google-Scraper

[Justus]

Probier es erst einmal in einem kleinen Feldversuch aus, um zu sehen bei welchem Abfragevolumen die Sperren einsetzen und dann könnt ihr planen wie groß eure Infrastruktur (Proxies) angelegt sein muss.
Eine permanente Sperre halte ich für sehr sehr unwahrscheinlich und einen Einfluss auf das Ranking, sofern ihr Seiten auf dem Server liegen habt, für ausgeschlossen.

[Vegas]

Eine permanente Sperre halte ich für sehr sehr unwahrscheinlich und einen Einfluss auf das Ranking, sofern ihr Seiten auf dem Server liegen habt, für ausgeschlossen.

Yep, da müßte man schon andere ganz böse Sachen für veranstalten. In der Regel wird die IP einfach nur für einen kurzen Zeitraum geblockt. Als Alternative zu Proxies kann man natürlich auch eine längere Timeout Zeit zwischen den einzelnen Abfragen nutzen, so daß keine Sperre greift. Hängt vom Abfragevolumen ab, denn ab einer gewissen Menge dauerts dann schnell Stunden oder Tage, bis man seine Ergebnisse hat...auch nicht im Sinne des Erfinders.

[weltweit]

Danke erstmal für die Infos. Dann werden wir es erstmal mit Delay zwischen den Abfragen testen.

Hat jemand von Euch zufällig Erfahrungswerte für sowas oder ähnliches?

[WoY]

Hi,

es gibt 2 Möglichkeiten

1. Bei einer Sperre ein Captcha Erkennungsdienst zu nutzen, welcher den Google Captcha lößt.

2. Wie oben schon gesagt Proxys benutzen.

Wenn man es aber richtig machen will benötigt das einiges an Arbeit. Für meinen Proxy Management hab ich omg viel Stunden verballert.

[Michael]

So ein Tool gibt es schon fertig. Es gibt keine Probleme mit Google, ist kostenlos und man bekommt viele Plugins und regelmäßige Updates.

Das Ding heißt piwik und ich habe es selbst im Einsatz. Ist echt klasse. Viel mehr geht nicht. Ausser man macht so etwas: https://www.whattheinternetknowsaboutyou.org/

[profo]

@Michael, ich glaube, weltweit meinte Keyword-Rankings und nicht User-Statistiken...

[ender]

Für meinen Proxy Management hab ich omg viel Stunden verballert.

Magst Du kurz darauf eingehen, wo für Dich das Hauptproblem lag?

[WoY]

Die meiste Arbeit habe in den Modulen und Controllern gehabt.

Mein Script muss sich automatisch selbst verwalten.
Controlling Routinen, etc. werden über einen Cronjob Aufruf selber abgewickelt.
Skripte arbeiten parallel nicht sequenziell

Heißt:
- Parse von unterschiedlichen Sites Public Proxys (Auch JavaScript geschützt)
- Checke Proxys, ob mit Yahoo, Google funktionieren
- Blacklist Management
- ReCheck gebannter Ips

Und noch einiges mehr^^.