Funktionsweise Keyword-Scraper

Beitrag von **Dominik83** » 23.01.2013, 17:36

Kann mir jemand genau erklären wie ein Keyword-Scraper funktioniert, welcher aus der Google-Suggest Wörter rauskopiert?

Was braucht man dazu alles und was muss man beachten, usw?

von **Anzeige von ABAKUS** »

Beitrag von **Expirado** » 24.01.2013, 09:44

Das ist ein sehr komplexes Thema. Ich werde einmal versuchen, auf die wichtigsten Details einzugehen:

Da jedes Keyword unterschiedlich ergiebig ist, also eine unterschiedlich hohe Anzahl von Vorschlägen liefert, ist der Einsatz einer größeren Menge von Servern sinnvoll. Diese können dann parallel, mit verschiedenen IP-Adressen, Google-Suggest (Google-Autocomplete) scrapen.

Wichtig ist hier eine vollständige Automatisierung, da ein Durchlauf schon einmal mehrere Tage dauern kann - je nach Abfragetiefe sogar mehrere Wochen. So lange möchte sicherlich niemand manuell Jobs starten, beobachten, auf Fehler reagieren usw.

Sinnvoll ist hier der Einsatz einer Software, welche alle Buchstaben, Umlaute, Zahlen, Sonderzeichen und Leerzeichen durchgeht und diese - je nach Bedarf - vor und hinter dem abzufragenden Keyword einsetzt. Also nach dem Vorbild:

"expired domains a" bis "expired domains z"
"expired domainsa" bis "expired domainsz"
"a expired domains" bis "z expired domains"
usw.

Auch bei Nicht-Money-Keywords liegt die Abfragemenge sehr schnell im zwei- bis dreistelligen Millionenbereich, zumal die Ergebnisse theoretisch unbegrenzt tief verschachtelt sein können. Und natürlich müssen doppelte Vorschläge automatisch berücksichtigt werden.

Außerdem reagiert Google natürlich sehr allergisch auf die Abfragemenge und sperrt die abfragenden IP-Adressen nach wenigen Minuten (je nach Abfragefrequenz auch bereits nach ca. 90 bis 120 Sekunden). Also sind viele Experimente und der Einsatz technischer Tricks erforderlich, um diese Abfragesperren zu umgehen.

Für erste kleine Abfragen kann man sicherlich Tools wie z. B. die Scrapebox verwenden, allerdings lohnt sich irgendwann der Einsatz einer vollkommen automatisch ablaufenden Software.

Wir bieten den Service des vollautomatischen Google-Suggest-Scrapings mehreren Kunden an. Uns wird ein Basis-Keyword vorgegeben und die Kunden erhalten nach Abschluss des Scrapings eine Liste aller von Google genannten Vorschläge. Auf Wunsch auch mit einer Priorisierung versehen (welche Vorschläge werden besonders häufig genannt, welche Vorschläge eher besonders selten) und der Ausgabe der Suchergebnisanzahl.

Gelegentlich werden auch Aufträge zur "Manipulation" der von Google gelieferten Vorschläge (Entfernung bestimmter Vorschläge, Einführung neuer Vorschläge, Beförderung bestehender Vorschläge an eine höhere Position usw.) ausgeführt.

Bei Detailfragen darfst du gerne eine PM senden.

Beitrag von **sup** » 31.01.2013, 18:49

Expirado hat geschrieben:Das ist ein sehr komplexes Thema. Ich werde einmal versuchen, auf die wichtigsten Details einzugehen:

Da jedes Keyword unterschiedlich ergiebig ist, also eine unterschiedlich hohe Anzahl von Vorschlägen liefert, ist der Einsatz einer größeren Menge von Servern sinnvoll. Diese können dann parallel, mit verschiedenen IP-Adressen, Google-Suggest (Google-Autocomplete) scrapen.

Wichtig ist hier eine vollständige Automatisierung, da ein Durchlauf schon einmal mehrere Tage dauern kann - je nach Abfragetiefe sogar mehrere Wochen. So lange möchte sicherlich niemand manuell Jobs starten, beobachten, auf Fehler reagieren usw.

Sinnvoll ist hier der Einsatz einer Software, welche alle Buchstaben, Umlaute, Zahlen, Sonderzeichen und Leerzeichen durchgeht und diese - je nach Bedarf - vor und hinter dem abzufragenden Keyword einsetzt. Also nach dem Vorbild:

"expired domains a" bis "expired domains z"
"expired domainsa" bis "expired domainsz"
"a expired domains" bis "z expired domains"
usw.

Auch bei Nicht-Money-Keywords liegt die Abfragemenge sehr schnell im zwei- bis dreistelligen Millionenbereich, zumal die Ergebnisse theoretisch unbegrenzt tief verschachtelt sein können. Und natürlich müssen doppelte Vorschläge automatisch berücksichtigt werden.

Außerdem reagiert Google natürlich sehr allergisch auf die Abfragemenge und sperrt die abfragenden IP-Adressen nach wenigen Minuten (je nach Abfragefrequenz auch bereits nach ca. 90 bis 120 Sekunden). Also sind viele Experimente und der Einsatz technischer Tricks erforderlich, um diese Abfragesperren zu umgehen.

Für erste kleine Abfragen kann man sicherlich Tools wie z. B. die Scrapebox verwenden, allerdings lohnt sich irgendwann der Einsatz einer vollkommen automatisch ablaufenden Software.

Wir bieten den Service des vollautomatischen Google-Suggest-Scrapings mehreren Kunden an. Uns wird ein Basis-Keyword vorgegeben und die Kunden erhalten nach Abschluss des Scrapings eine Liste aller von Google genannten Vorschläge. Auf Wunsch auch mit einer Priorisierung versehen (welche Vorschläge werden besonders häufig genannt, welche Vorschläge eher besonders selten) und der Ausgabe der Suchergebnisanzahl.

Gelegentlich werden auch Aufträge zur "Manipulation" der von Google gelieferten Vorschläge (Entfernung bestimmter Vorschläge, Einführung neuer Vorschläge, Beförderung bestehender Vorschläge an eine höhere Position usw.) ausgeführt.

Bei Detailfragen darfst du gerne eine PM senden.

Ich mach das ganze in PHP, mit der Sperrung hatte ich noch nie ein Problem dafür gibts ja genug captchabreaker. Wenn man das ganze in der EC2 Cloud z.B. baut und ein paar hundert instanzen holt, kann man pro Stunde weit über 500.000 abfragen abarbeiten.