Massenabfragen an Google

Beitrag von **Daniela** » 09.11.2005, 15:30

Hey ihr,

ich bastele gerade an einem Script mit dem ich die Platzierung meine Seiten bei Google (und noch ein paar andere Sachen) automatisiert abfragen kann.

Nun habe ich allerdings das Problem dass Google meine IP irgendwann sperrt und ich nur noch Abfragen kann wenn ich so ein Bild abtippe.

Weiss jemand die ungefähren Limits pro IP die Google da einsetzt? Wieviele Anfragen in welchem Zeitraum sind okay?

Antworten gerne natürlich auch per PM.

Dankeschön!

von **Anzeige von ABAKUS** »

Beitrag von **BeatGorsch** » 09.11.2005, 15:47

versuchst du das über die API-Schnittstelle von Google? Die liefert nämlich andere Ergebnisse als Google.de (kurz: Müll)... begrenzt auf 1.000 Abfragen pro Tag

Beitrag von **minivip** » 09.11.2005, 16:56

schon mal an rotierende proxy-server gedacht?

Beitrag von **Daniela** » 09.11.2005, 17:14

BeatGorsch, ich nutze die direkte Abfrage an die Google-Server - mit der API kann ich nicht viel anfangen. Müllergebnisse und tausend Abfragen reichen nie und nimmer.

minivip, genau das bastele ich - nur möchte man ja auch die Limits bei den Proxies ausreizen (also was Google an Anfragen zulässt) und gleichzeitig den Proxy nicht irgendwie sperren oder so - so viele schnelle und anonyme Proxies gibt es nämlich auch nicht.

Deshalb meine Frage nach den Limits.

Beitrag von **SoniC-LaBlue** » 09.11.2005, 17:52

hi daniela,

mit den limits kann ich dir auch nicht helfen, ABER evtl. würd's ja auch eine (zusätzliche) einwahlverbindung tun

gruß,
SoniC

Beitrag von **syntesi1** » 09.11.2005, 22:04

Hallo,

ich kann dir folgendes Anbieten:

Webbasiertes System

Abfragesystem
Kundendatenbank Stammdaten
Automatische Rechnungserstellung
Manuelle Rechnungserstellung
Kampagnenverwaltung Kunden (inkl Keyword Preis, Anzahl gesamt, Anzahl für die Abrechnung)
Keyword Statistik
Rechnungsverwaltung
Mahnstufen 1 und 2
Inkassoverwaltung
Umsatzanzeige
Mitarbeiterverwaltung
Resellerverwaltung
Provisionsabrechnung
Automatische Angebotserstellung
Alles ohne API

Die Anzahl der Kunden ist nicht nach oben berenzt, im Moment fragt das System fast 50.000 Keywords am Tag ab - deine Probleme wäre somit gelöst.

Für 8.500 Euro installiere ich es dir.

Syntesi

Beitrag von **syntesi1** » 09.11.2005, 22:08

es sind ungef. 3.600.000 Abfragen im Monat also 72.000 am Tag.
Also volle Auslastung auf 2 Servern.

Beitrag von **syntesi1** » 09.11.2005, 22:16

syntesi1 hat geschrieben:es sind ungef. 3.600.000 Abfragen im Monat also 72.000 am Tag.
Also volle Auslastung auf 2 Servern.

das System fragt auch noch MSN und Yahoo ab und zwar Syncron. denke das wars. mailto syntesi@o2online.de

Beitrag von **tron** » 09.11.2005, 22:44

auch versch. DCs?

knackpunkt is ne gescheite proxie verwaltung fuer die abfragen.. wer dafuer 8500 hinlegt.. naja

Beitrag von **depp ich** » 09.11.2005, 23:08

Ich habe mir auch ein Teil selbst gebastelt; für meine Bedürfnisse. Ich frage die DCs nicht extra ab, hab ja auch noch andere Hobbys....
Mein Teil macht das einfach rund um die Uhr, alle 15 sek eine Abfrage = so ungefähr jedes Keyword/Site alle 2 Tage. Ich hatte bisher nie Probleme, trotz immer der gleichen IP.

Das schwierige ist nicht die Daten abzufragen, sondern sie auszuwerten: längerfristige Trend erkennen und Alarm schlagen, wenn sich wirklich was tut. Ich schau mir doch nicht Daten von 5000 KWs an. Ich will nur wissen, WAS sich tut.

Beitrag von **syntesi1** » 10.11.2005, 08:55

es kann nur ein dc abgefragt werden, aber man kann es festlegen. das system läuft erfolgreich bei einem großen seo aus norddeutschland. am preis gibts also nix zu rütteln.

Beitrag von **The-Plaqe** » 10.11.2005, 09:28

Für 8.500 Euro installiere ich es dir.

ja nee is klar

Beitrag von **msuess** » 10.11.2005, 13:02

Wie wär´s mit ALEXA-Webservice (Google-Datenbestand):

https://pages.alexa.com/prod_serv/WebInfoService.html

"The first 10,000 requests per month are free. Thereafter, requests are charged at a rate of $.00015 each (just 15 cents per thousand requests.). For example, if you make 100,000 requests to the Alexa Web Information Service during a given month, you will be charged $13.50. Your first 10,000 requests are free, while your remaining 90,000 requests are charged at a rate of $.00015 each: .00015 * 90000 = $13.50"

Wären aber bei Deinen 3.6 Mio Abfragen auch schon 540 Euro pro Monat.

Beitrag von **Daniela** » 10.11.2005, 14:13

syntesi1, das ist dann doch nicht so mein Fall. Welche Hamburger Firma hat denn die Kohle hingeblättert?

Also alle 15 Sekunden eine Anfrage läuft laut depp auf jeden Fall mal - das wären 5760 Abfragen pro Tag. Immerhin.