Seite 1 von 2
Automatische Abfragen von Google größeren Umfanges
Verfasst: 27.05.2005, 16:37
von Armi
Hallo,
ich möchte ein kleines Monitoring-Tool programmieren. Ist eigentlich schon fertig, allerdings habe ich das Problem dass Google nach einer gewissen Zeit die Abfrage-IP sperrt.
Kennt hier jemand Tricks/Methoden, wie man das umgehen kann? Unterschiedliche Abstände der Abfragen und Zugriff auf unterschiedliche Datacenter habe ich schon probiert. Hilft aber leider nichts. Bei den prof. Monitoring-Tools wie IBP klappt es ja auch...
Die 1000 Abfragen pro Tag über die Google API reichen mir auch nicht, da es mir um größere Größenordnungen geht
Danke vorab für Eure Hilfe!
Armi
Automatische Abfragen von Google größeren Umfanges
Verfasst: 27.05.2005, 16:46
von Jojo
Mit IBP gibt es dan in letzer Zeit auch wohl ein paar Probleme. Man versucht es wohl mit ein paar Sekunden Pause zwischen den Abfragen zu umgehen, ob das aber bei deinen Größenordnungen auch noch hilft. Bin kein Experte, kann man da was mit Proxys machen?
Re: Automatische Abfragen von Google größeren Umfanges
Verfasst: 27.05.2005, 17:06
von Outman
Jojo hat geschrieben:Mit IBP gibt es dan in letzer Zeit auch wohl ein paar Probleme. Man versucht es wohl mit ein paar Sekunden Pause zwischen den Abfragen zu umgehen, ob das aber bei deinen Größenordnungen auch noch hilft. Bin kein Experte, kann man da was mit Proxys machen?
Hallo,
mit Proxys wird man da auch nicht viel machen können, da nach einer Zeit alle Ips gesperrt sind
Ich selber habe es mit den Befehl
ein wenig getüftelt, aber dies ist nicht die beste Lösung. Es kommt ja drauf an was man für Daten haben möchte. Man könnte ja sich 100 Ergebnisse ausgeben lassen und ein wenig Cachen, aber na ja das ist auch nicht die beste Lösung.
mfg. Nico
Automatische Abfragen von Google größeren Umfanges
Verfasst: 27.05.2005, 17:39
von chulian
hallo armin,
ich vermute, dass es hier eigentlich eine lösung geben sollte.
hast du schonmal versucht über z.B einen telekom proxy zu gehen. keine ahnung ob der bei "harter" nutzung auch gesperrt wird, schätze aber eher nicht. Ansonsten kannst du ja auch eine umfangreiche Liste von proxy´s definieren, welche abwechselnd verwendet werden.
gruß
Re: Automatische Abfragen von Google größeren Umfanges
Verfasst: 28.05.2005, 09:27
von Outman
chulian hat geschrieben:hallo armin,
ich vermute, dass es hier eigentlich eine lösung geben sollte.
hast du schonmal versucht über z.B einen telekom proxy zu gehen. keine ahnung ob der bei "harter" nutzung auch gesperrt wird, schätze aber eher nicht. Ansonsten kannst du ja auch eine umfangreiche Liste von proxy´s definieren, welche abwechselnd verwendet werden.
gruß
Hallo,
es werden alle Ips (auch Proxy´s) gesperrt die mehr als 30 abfragen in 8 Sekunden machen, ist immer einwenig unterschiedlich.
mfg. Nico
Automatische Abfragen von Google größeren Umfanges
Verfasst: 28.05.2005, 12:51
von Airport1
Wie macht ranking-hits das bloss taeglich die Google Daten fuer ueber 6000 Teilnehmer upzudaten*
Kann nur eine Erklaerung geben: muessen Aliens sein
Welch selbstironischer Beitrag *g*
(*) Klar sind 6000 eigentlich gar nicht so viele, habe aber auch schon 1 Mio Abfragen in extrem kurzer Zeit gemacht... alles moeglich
Verfasst: 25.01.2006, 05:56
von yankee
Bin bei der Suche auf diesen Beitrag gestossen und würde ihngerne nochmal anstossen. Hat jemand zwischenzeitlich etwas brauchbares gefunden um dies Problem des Abfragevolumens zu lösen ?
Yankee
Automatische Abfragen von Google größeren Umfanges
Verfasst: 25.01.2006, 08:29
von Thomas1978
Ich glaube nicht, dass auch nur einer den fertigen Code rausgibt (außer gegen Bares
), denn das ist teilweise wirklich Arbeit.
Ich sag nur eins. Man muss wie ein Browser da vorgehen. Eigentlich logisch
Automatische Abfragen von Google größeren Umfanges
Verfasst: 25.01.2006, 08:31
von Thomas1978
Ich glaube nicht, dass auch nur einer den fertigen Code rausgibt (außer gegen Bares
), denn das ist teilweise wirklich Arbeit.
Ich sag nur eins. Man muss wie ein Browser da vorgehen. Eigentlich logisch
Verfasst: 25.01.2006, 08:37
von yankee
Ein Hinweis wäre hilfreich. Kommt die Sperre auf Grund der Abfragemenge oder auf Grund von einer bestimmten Anzahl von Abfragen in bestimmter Zeit ?
Vom Grundsatz könnte ich mir denken, dass Abfragen im Abstand vom 30 Sekunden nicht bestraft werden. Kann natürlich sein dass es trotzdem eine Mengensperre für eine IP auslöst.
Ideen ?
Yankee
Re: Automatische Abfragen von Google größeren Umfanges
Verfasst: 25.01.2006, 08:40
von SloMo
Du sendest ja auch gar keine Daten an Google. So steht's jedenfalls im Footer auf jeder Seite bei Ranking-Hits.
Automatische Abfragen von Google größeren Umfanges
Verfasst: 25.01.2006, 09:03
von polo
Mit den Proxies ist das Problem, dass die meisten nicht in Deutschland stehen und falls man wert auf die Adwords-Anzeigen legt bekommt man dann nicht das zu sehen was man hier in Deutschland sehen würde. Außerdem sind Proxies aus Listen teilweise echt übel zu erreichen und man muss da dann auch erstmal irgendwas bauen was eine Liste von Proxies ständig prüft. Wenn Du mich fragst kannst Du das mit den Proxies vergessen.
Mit 6000 KWs pro Tag gibts keine Probleme. Womit hast Du es den schon versucht ? Programme/Bibliotheken ?
Automatische Abfragen von Google größeren Umfanges
Verfasst: 25.01.2006, 09:19
von yankee
Ich bekomme schon bei der Abfrage eines Projektes welches aus 60 Keywords besteht und bei Google deutschspraching und das Web abgefragt wird die Virenmeldung. Habe zur Zeit eine Emulation von 3 Sekunden. Werde es mal mit 9 Sekunden versuchen. Irgend jemand sagte hier ja, dass es nur Probleme bei Intervallen unter 8 Sekunden geben soll. Mal sehen.
Wenn noch jemand Ideen hat. Immer her damit.
Yankee
Automatische Abfragen von Google größeren Umfanges
Verfasst: 25.01.2006, 09:26
von polo
Das kann nicht sein. Definitiv kann man 50 Anfragen pro Minute machen ohne ein Problem zu bekommen.
Was für einen User-Agent schickst Du mit ?
Verfasst: 25.01.2006, 10:34
von yankee
Ich weiss nicht was da mitgeschickt wird. Ist die normale IBP Auswertung.
Yankee
