Tool zur Überwachung der Position in SuMas pro Keyword

Beitrag von **gnark** » 21.06.2009, 21:55

Ich hab da jetzt mal experimentiert mit Proxies und google-abfragen.
Lustigerweise bekomme ich beim benutzen von unterschiedlichen Proxis viel öfter die Ergebnisse nicht angezeigt (Verdacht auf automatisierte Abfragen etc.).
Weiss jemand, woran das liegt?
Kennt Google die Proxy-IP´s oder erkennt G anhand irgendwelcher Header-Infos, dass es kein normaler User ist?
Ich hab das per fsockopen probiert.

von **Anzeige von ABAKUS** »

Beitrag von **t-rex** » 22.06.2009, 05:31

Hi,

ich denke, dass Google bei Proxies keinen Unterschied macht. Du wirst allerdings nicht der einzige sein, der über diese Proxies abfragt.

Sonnige Grüsse
HaPe

Beitrag von **gnark** » 22.06.2009, 08:17

ah, stimmt, soweit hab ich garnicht gedacht

das is natürlich blöd ...

und man kann eigentlich nichts dagegen machen, oder?

von **Anzeige von ABAKUS** »

Beitrag von **t-rex** » 22.06.2009, 08:45

Hi,

ich würde die Antwort von Google überprüfen, und wenn da was vorkommt wie "untersuchen Sie ihren Computer nach Viren", würde ich den Proxy wechseln und noch einmal die gleiche Anfrage stellen.

So oder so wäre es für alle Beteiligten aber besser und auch sinnvoller, wenn sie nicht alle Anfragen über einen Proxy durchführen würden. Sondern die Anfragen über mehrere Proxies per Zufalsauswahl leiten würden.

Auch sinnvoll wäre, wenn man nicht gleich alle 5798 Anfragen in einem Rutsch durchführen würde, sondern künstliche Wartezyklen einbauen würde. Ich habe gute Erfahrungen mit 25 Abfragen hintereinander mit Pausen zwischen 2 und 5 Sekunden. Und alle 25 Anfragen eine Pause zwischen 30 und 45 Sekunden.

Desweiteren ist es sinnvoll, wenn man die Cookies, die Google einem unterjubeln möchte, auch per Bot annimmt und für diese Session weiterverwendet. Beim Proxywechsel verwirft man diese Cookies natürlich und fängt von vorne an.

Selbstverständlich sollte man auch aktuelle User Agent Strings verwenden und auch diese hin und wieder ändern.

Gerade bei Pagerankabfragen wäre es auch äusserst sinnvoll, diese nicht täglich durchzuführen, sondern zu cachen. Zum cachen eignen sich übrigens auch die Anfragen an die Yahoo API. Änderungen beim PR sind nicht täglich zu erwarten. Und die Gesamtlinkzahl bei der Yahoo API ändert sich auch nur marginal.

Und last but not least, Wenn man die Ergebnisse 1 bis 100 haben möchte, sollte man das dann in der Anfrage auch so formulieren und sich nicht von Seite 1 bis 10 durchhangeln. Es gibt in den Ergebnissen kaum einen Unterschied und man hat alle 100 Ergebnisse sicher aus einem Datencenter.

Achja, und es ist nicht notwendig, die Keywords oder Seitenanzahl oder Backlinks stündlich abzufragen. Es reicht durchaus dies einmal pro Tag zu tun, sofern man eine Statistik daraus erstellen möchte. Wenn es nur zur individuellen Information des tatsächlichen Stands dienen soll, dann sollte man auf die automatisierten Abfragen komplett verzichten, und sich lieber seinen Fox so einrichten, dass der einem die wichtigen Informationen präsentiert.

Na ist wieder ne Menge dabei, nachdem du gar nicht gefragt hast LOL, aber ich kann einfach nicht anders

Sonnige Grüsse
HaPe

Beitrag von **gnark** » 22.06.2009, 09:05

Vielen Dank,
hast einiges beantwortet, wonach ich mich vorher nicht fragen traute

Das mit dem Zufallsproxy hab ich schon grob so versucht, bei einigen kam aber tatsächlich bei der ersten Abfrage schon kein Ergebnis.

Wegen Cookies annehmen, das ist natürlich etwas komplexer, mit snoopy sollte das aber gehen, oder lieber gleich cURL verwenden?

Beitrag von **t-rex** » 22.06.2009, 16:05

Hi,

für das Cookiehandling gibt es tausend Ansätze und Möglichkeiten.

Je nachdem, wie Du cUrl eingebunden hast bzw. verwendest, kannst Du die Cookies komplett an cUrl delegieren. Dann werden die in einer festzulegenden Datei statisch abgelegt und bei Bedarf gelesen.

Da ich jetzt aber nicht so der Freund von cUrl bin, habe ich einen eigenen / erweiterten Snoopy mit eigenen Cookiehandling, das die Cookies in einer Tabelle speichert.

Wegen Zufallsproxy: Mach doch eine Gewichtung der Zuverlässigkeit der Proxies. Jeder Proxy bekommt einen Startwert und für jede erfolgreiche Abfrage wird der Wert erhöht für jeden fehlgeschlagenen Versuch heruntergesetzt. Und bei der Auswahl des nächsten Proxies werden nur Proxies berücksichtigt, die mit ihrem Gewicht über Wert X liegen plus ein paar Kandidaten, die auch drunter liegen. so wirst Du vermutlich öfters einen erwischen, der gut funktioniert. Und wenn sich einer der schlechteren wieder erholt, bekommt er die Chance wieder zu wachsen.

Sonnige Grüsse
HaPe

Beitrag von **bloddy newbie** » 22.06.2009, 17:23

Cookies kannst du vernachlässigen (für die Serps)

. Der Request-Header sowie die Anzahl der Abfragen pro IP im Zeitraum x sind entscheidend.

Grüße BN

Beitrag von **Lord Lommel** » 22.06.2009, 21:35

Guck dir einfach mal den Header an, mit dem der Proxy den Request ansetzt. Dann kannst du schnell sehen, welcher Proxy Sinn macht und welcher nicht.

Beitrag von **gnark** » 23.06.2009, 10:38

Lord Lommel hat geschrieben:Guck dir einfach mal den Header an, mit dem der Proxy den Request ansetzt. Dann kannst du schnell sehen, welcher Proxy Sinn macht und welcher nicht.

ahja, das ist mir eh unklar ... kommt das also auf den proxy an, ob der meinen header so weitergibt oder selber irgendwas anderes reinschreibt?
Unverändert weitergeben würde ja am meisten sinn ergeben ...

und noch ne Frage ... denkt ihr, dass das Land in dem der Proxy steht einfluss auf die Serps hat bzw. darauf, ob eine Anfrage geblockt wird?

Beitrag von **Lord Lommel** » 23.06.2009, 11:21

Lies dich mal ein, wie ein Proxy funktioniert (HTTP-Spezifikation) und analysiere die Such-URLs von Google. Dann klärt sich einiges von selbst.

Beitrag von **t-rex** » 23.06.2009, 11:31

Hi,

ahja, das ist mir eh unklar ... kommt das also auf den proxy an, ob der meinen header so weitergibt oder selber irgendwas anderes reinschreibt?
Unverändert weitergeben würde ja am meisten sinn ergeben ...

Das hängt zum grössten teil davon ab, wie der Proxy konfiguriert wurde. Und lässt sich nur über Tests (wie Lord Lommel schon emphohlen hat) rausfinden.

und noch ne Frage ... denkt ihr, dass das Land in dem der Proxy steht einfluss auf die Serps hat bzw. darauf, ob eine Anfrage geblockt wird?

Davon musst Du unbedingt ausgehen. Und auch wenn Du dem Request eine "gefakte" Browsersprache mitgibst, hängt es dann wieder davon ab, ob der Proxy diese auch weitergibt. Aber so oder so beeinflusst das Land die Ergebnisse.

Sonnige Grüsse
HaPe

Beitrag von **gnark** » 23.06.2009, 12:52

ok, verwendet ihr dann nur deutsche proxies?

Beitrag von **t-rex** » 23.06.2009, 13:25

Hi,

jein - aber auf jeden Fall nur eigene. Und diese horchen nur auf mich

Du kannst das ja ein bisschen aufsplitten. Abfragen, deren Ergebnis per GEO Targeting zusammen gestellt wird, nur über deutsche Proxies. Das wären z.B. die SERPS.

Und Abfragen, bei denen das GEO weniger ne Rolle spielt, wie bei z.B. PR Abfragen, verwendest Du einen Chinesischen Proxy.

Sonnige Grüsse
HaPe

Beitrag von **Lord Lommel** » 23.06.2009, 13:56

Ich hatte mal ein paar Tests gemacht und eigentlich nur kleine Unterschiede zwischen ausländischen Proxies festgestellt, wenn ich "&hl=de" übergeben habe. War das dann nur Zufall ?

Beitrag von **t-rex** » 23.06.2009, 14:39

Hi,

ich teste hier von Spanien direkt, mit transparentem Proxy über Frankreich und mit transparentem Proxy über Deutschland. Jeweils einmal mit Browsersprache Deutsch und einmal mit Englisch.

Die ersten 10 Ergebnisse waren bei jedem Test unterschiedlich. Der Parameter hl=de wurde immer mit übergeben.

Youtube war mal auf 3, mal auf 7 und mal auf 10. Eine Domain war mal auf 1, mal auf 3 und mal gar nicht sichtbar. eine andere Domain war nur 1 mal auf 1 und ansonsten nicht sichtbar. usw. usf.

Sonnige Grüsse
HaPe