site: automatisiert abfragen

Beitrag von **lokari** » 10.06.2007, 15:33

Hallo zusammen,

ich würde gerne für meine Domains eine automatisierte Abfrage bei Google nach "site: domain.tld" machen und das Ergebnis auslesen.

Dabei sehe ich zwei probleme:

- häufige automatisierte Abfragen werden von Google mit einer Sperre für die IP belegt. (?)

- die API die für sowas eigentlich noch nutzbar wäre, liefert oft andere Ergebnisse als die normale Suche (?)

Stimmen meine Vermutungen? Kennt jemand unter Euch einen Ausweg aus der Misere? Das einzige was mir einfällt ist die Suchergebnisse normal abzufragen, aber entsprechend gethrottelt - also maximal einmal in 5 Minuten z.B. was grundsätzlich noch okay wäre in meinem Fall.

Danke für Eure Hilfe.

von **Anzeige von ABAKUS** »

Beitrag von **semtex** » 10.06.2007, 15:48

Was heisst eine automatisierte Abfrage?
Du könntest ohne Probleme ein paar mal am Tag den Status für Deine Domain abfragen.
Eine andere Abfrage Frequenz wäre ja wohl auch unnötig !?
Sollte es ein Online Tool zu Abfragen von Seiten werden, sieht die Sache schon anders aus.

Beitrag von **lokari** » 10.06.2007, 15:51

Nein, ein (öffentliches) "Online-Tool" wird es nicht. Aber es wird etwas um mehrere Domains regelmäßig abzufragen. Und automatisiert heisst eben ohne Eingriff eines nutzers in regelmäßigen Abständen.

Beitrag von **SISTRIX** » 10.06.2007, 15:54

lokari hat geschrieben:Stimmen meine Vermutungen?

Prinzipiell stimmen die Überlegungen. Aber, was hast du davon, das alle 5 Minuten abfragen zu lassen? Minimum eine Stunde würde ich empfehlen. Ansosten wirst du wohl die Anzahl der anfragenden Ip-Adressen erhöhen.

Beitrag von **semtex** » 10.06.2007, 15:56

Ob es nun von Google zulässig ist, wollen wir mal beiseite lassen.
Ich kann Dir auch nicht sagen wie hoch dei Frequenz sein darf, aber 5-6 Abfragen am Tag mit ein paar Domains ist ohne Probleme möglich.
Ich möchte hier auch niemanden zum verbotenen animieren, aber probiere es einfach mal auf einem Freeweb aus, die kontrollierten Domains sollten dabei nicht gesperrt werden.

Beitrag von **lokari** » 10.06.2007, 17:27

das ganze passiert ohnehin hinter einer dynamischen IP. Ich hab da nun nicht die größten Sorgen, wenn was gesperrt wird. Ich wollte mir nur ausgiebige Versuche ersparen, falls es da schon Erfahrungswerte gibt.

@Sistrix: Ich muss insgesammt einen recht großen Domainbestand abfragen. Eine Domain pro Stunde wären gerade mal 24 pro Tag...

Du verstehst...

Beitrag von **t-rex** » 10.06.2007, 18:50

Hi,

ich hatte sowas mal am laufen. Das waren etwas über 100 Domains, die 2 mal am Tag abgefragt wurden. Die Reihenfolge der Abfragen hat variiert, und der Zeitabstand zwischen den einzelnen abfragen ebenfalls. Nach einiger Zeit - weiss nicht mehr wie lange - hat das dann nicht mehr richtig funktioniert, weil dann teilweise eine Captchaabfrage vor das Ergebnis geschaltet war.

Ich habe dann die Abfrage nur noch einmal am Tag durchgeführt. Was kurzfristig half. Aber nach einiger Zeit hat auch das nicht mehr geholfen.

Überraschender Weise konnte ich aber in den Statistiken noch sehen, wie einige Seiten von mir aus dem Index verschwanden. Ob es mit den ständigen Abfragen zusammen hing!? Weiss ich nicht und möchte ich auch nicht behaupten

Es war halt so. Und es war sehr komisch.

Sonnige Grüsse
HaPe

Beitrag von **v-maxx** » 10.06.2007, 19:38

lokari hat geschrieben:das ganze passiert ohnehin hinter einer dynamischen IP. Ich hab da nun nicht die größten Sorgen, wenn was gesperrt wird.

Reicht nicht - das G.-Cookie sollte auch noch gelöscht werden, und die G.-Toolbar sollte auch nicht installiert sein (das sei der Vollständigkeit halber erwähnt

)...

Weitere potentielle böse Falle:
Ein dynamischer DNS-Service (z.B. Dyn*DNS) - von kleinen Unternehmen oft im Firmennetz verwendet für den Zugriff von mobilen Rechnern per VPN.
Habe darüber zwar keine gesicherten Erkenntnisse (deswegen potentiell), aber ich denke, es ist ein leichtes für G., auch den Domain Name auszuwerten, um automatisierte Anfragen abzuwehren.

Beste Grüße
v-maxx

Beitrag von **SISTRIX** » 10.06.2007, 23:50

lokari hat geschrieben:@Sistrix: Ich muss insgesammt einen recht großen Domainbestand abfragen. Eine Domain pro Stunde wären gerade mal 24 pro Tag... Du verstehst...

Von welchen Größenordnungen reden wir hier?

Gruß Johannes

Beitrag von **Anonymous** » 11.06.2007, 00:22

lad dir doch mal den "Free Monitor für Google" runter und analysiere wie der es macht... er nutzt ja auch die normalen serps für die positionsbestimmungen....

Beitrag von **SISTRIX** » 11.06.2007, 08:59

Ihm geht es ja nicht um Positionsbestimmungen für Keywords sondern die Angaben, die man mit site: ermitteln kann. Und bekanntermaßen legt Google an diese "speziellen" Anfragen etwas engere Limits ...