Automatische Abfragen von Google größeren Umfanges

Beitrag von **Armi** » 27.05.2005, 16:37

Hallo,

ich möchte ein kleines Monitoring-Tool programmieren. Ist eigentlich schon fertig, allerdings habe ich das Problem dass Google nach einer gewissen Zeit die Abfrage-IP sperrt.

Kennt hier jemand Tricks/Methoden, wie man das umgehen kann? Unterschiedliche Abstände der Abfragen und Zugriff auf unterschiedliche Datacenter habe ich schon probiert. Hilft aber leider nichts. Bei den prof. Monitoring-Tools wie IBP klappt es ja auch...

Die 1000 Abfragen pro Tag über die Google API reichen mir auch nicht, da es mir um größere Größenordnungen geht

Danke vorab für Eure Hilfe!

Armi

von **Anzeige von ABAKUS** »

Beitrag von **Jojo** » 27.05.2005, 16:46

Mit IBP gibt es dan in letzer Zeit auch wohl ein paar Probleme. Man versucht es wohl mit ein paar Sekunden Pause zwischen den Abfragen zu umgehen, ob das aber bei deinen Größenordnungen auch noch hilft. Bin kein Experte, kann man da was mit Proxys machen?

Beitrag von **Outman** » 27.05.2005, 17:06

Jojo hat geschrieben:Mit IBP gibt es dan in letzer Zeit auch wohl ein paar Probleme. Man versucht es wohl mit ein paar Sekunden Pause zwischen den Abfragen zu umgehen, ob das aber bei deinen Größenordnungen auch noch hilft. Bin kein Experte, kann man da was mit Proxys machen?

Hallo,

mit Proxys wird man da auch nicht viel machen können, da nach einer Zeit alle Ips gesperrt sind

Ich selber habe es mit den Befehl

Code: Alles auswählen

<?php sleep&#40;&#41;; ?>

ein wenig getüftelt, aber dies ist nicht die beste Lösung. Es kommt ja drauf an was man für Daten haben möchte. Man könnte ja sich 100 Ergebnisse ausgeben lassen und ein wenig Cachen, aber na ja das ist auch nicht die beste Lösung.

mfg. Nico

Beitrag von **chulian** » 27.05.2005, 17:39

hallo armin,

ich vermute, dass es hier eigentlich eine lösung geben sollte.

hast du schonmal versucht über z.B einen telekom proxy zu gehen. keine ahnung ob der bei "harter" nutzung auch gesperrt wird, schätze aber eher nicht. Ansonsten kannst du ja auch eine umfangreiche Liste von proxy´s definieren, welche abwechselnd verwendet werden.

gruß

Beitrag von **Outman** » 28.05.2005, 09:27

chulian hat geschrieben:hallo armin,

ich vermute, dass es hier eigentlich eine lösung geben sollte.

hast du schonmal versucht über z.B einen telekom proxy zu gehen. keine ahnung ob der bei "harter" nutzung auch gesperrt wird, schätze aber eher nicht. Ansonsten kannst du ja auch eine umfangreiche Liste von proxy´s definieren, welche abwechselnd verwendet werden.

gruß

Hallo,

es werden alle Ips (auch Proxy´s) gesperrt die mehr als 30 abfragen in 8 Sekunden machen, ist immer einwenig unterschiedlich.

mfg. Nico

Beitrag von **Airport1** » 28.05.2005, 12:51

Wie macht ranking-hits das bloss taeglich die Google Daten fuer ueber 6000 Teilnehmer upzudaten*

Kann nur eine Erklaerung geben: muessen Aliens sein

Welch selbstironischer Beitrag *g*

(*) Klar sind 6000 eigentlich gar nicht so viele, habe aber auch schon 1 Mio Abfragen in extrem kurzer Zeit gemacht... alles moeglich

Beitrag von **yankee** » 25.01.2006, 05:56

Bin bei der Suche auf diesen Beitrag gestossen und würde ihngerne nochmal anstossen. Hat jemand zwischenzeitlich etwas brauchbares gefunden um dies Problem des Abfragevolumens zu lösen ?

Yankee

Beitrag von **Thomas1978** » 25.01.2006, 08:29

Ich glaube nicht, dass auch nur einer den fertigen Code rausgibt (außer gegen Bares

), denn das ist teilweise wirklich Arbeit.

Ich sag nur eins. Man muss wie ein Browser da vorgehen. Eigentlich logisch

Beitrag von **Thomas1978** » 25.01.2006, 08:31

Ich glaube nicht, dass auch nur einer den fertigen Code rausgibt (außer gegen Bares

), denn das ist teilweise wirklich Arbeit.

Ich sag nur eins. Man muss wie ein Browser da vorgehen. Eigentlich logisch

Beitrag von **yankee** » 25.01.2006, 08:37

Ein Hinweis wäre hilfreich. Kommt die Sperre auf Grund der Abfragemenge oder auf Grund von einer bestimmten Anzahl von Abfragen in bestimmter Zeit ?

Vom Grundsatz könnte ich mir denken, dass Abfragen im Abstand vom 30 Sekunden nicht bestraft werden. Kann natürlich sein dass es trotzdem eine Mengensperre für eine IP auslöst.

Ideen ?

Yankee

Beitrag von **SloMo** » 25.01.2006, 08:40

Airport1 hat geschrieben:Wie macht ranking-hits das bloss taeglich die Google Daten fuer ueber 6000 Teilnehmer upzudaten*

Du sendest ja auch gar keine Daten an Google. So steht's jedenfalls im Footer auf jeder Seite bei Ranking-Hits.

Beitrag von **polo** » 25.01.2006, 09:03

Mit den Proxies ist das Problem, dass die meisten nicht in Deutschland stehen und falls man wert auf die Adwords-Anzeigen legt bekommt man dann nicht das zu sehen was man hier in Deutschland sehen würde. Außerdem sind Proxies aus Listen teilweise echt übel zu erreichen und man muss da dann auch erstmal irgendwas bauen was eine Liste von Proxies ständig prüft. Wenn Du mich fragst kannst Du das mit den Proxies vergessen.

Mit 6000 KWs pro Tag gibts keine Probleme. Womit hast Du es den schon versucht ? Programme/Bibliotheken ?

Beitrag von **yankee** » 25.01.2006, 09:19

Ich bekomme schon bei der Abfrage eines Projektes welches aus 60 Keywords besteht und bei Google deutschspraching und das Web abgefragt wird die Virenmeldung. Habe zur Zeit eine Emulation von 3 Sekunden. Werde es mal mit 9 Sekunden versuchen. Irgend jemand sagte hier ja, dass es nur Probleme bei Intervallen unter 8 Sekunden geben soll. Mal sehen.

Wenn noch jemand Ideen hat. Immer her damit.

Yankee

Beitrag von **polo** » 25.01.2006, 09:26

Das kann nicht sein. Definitiv kann man 50 Anfragen pro Minute machen ohne ein Problem zu bekommen.

Was für einen User-Agent schickst Du mit ?

Beitrag von **yankee** » 25.01.2006, 10:34

Ich weiss nicht was da mitgeschickt wird. Ist die normale IBP Auswertung.

Yankee