Google ablutschen, scrapen, parsen, grabben

Beitrag von **derjanni** » 21.06.2012, 20:29

Gibt es da funktionierende Verfahren auch ohne Proxy, die kostenfrei sind und wenn ja, welche?

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **marco1492** » 21.06.2012, 21:11

JAP-Proxy ??? Aber gut , das ist ein Proxy... das Problem wird sein, dass du immer mal wieder die IP wechseln musst, also dürfte es ohne Proxy schwierig werden...

Beitrag von **Provocateur** » 21.06.2012, 23:48

Kann mir jemand erklären was der Threadersteller mit "Google ablutschen, scrapen, parsen, grabben" meint?

Beitrag von **mogli** » 22.06.2012, 00:16

Provocateur hat geschrieben:Kann mir jemand erklären was der Threadersteller mit "Google ablutschen, scrapen, parsen, grabben" meint?

Vermutlich das Auslesen und Speichern von Trefferlisten.

Beitrag von **seonewbie** » 22.06.2012, 01:49

Irgend ein Programm und dann https://www.routercontrol.de/
nutzen. Routercontrol resetten den router und du bekommst eine
neue IP.

Proxy brauchst Du nur wenn du parallel mehrere Verbindungen
aufbauen mußt. Programm mit mutithreading brauchen das.

Warum meinen eigentlich immer alle mach brauch einen
Proxy um auf Google zuzugreifen? Einfach alle X Zugriffe IP wechseln
und gut.

Gruß

Micha

Beitrag von **derjanni** » 22.06.2012, 09:42

Irgend ein Programm und dann https://www.routercontrol.de/
nutzen. Routercontrol resetten den router und du bekommst eine
neue IP.

Es handelt sich um zwei OpenSUSE Server in London.

Proxy brauchst Du nur wenn du parallel mehrere Verbindungen
aufbauen mußt. Programm mit mutithreading brauchen das.

Meine Applikation arbeitet mit POSIX Threads.

Warum meinen eigentlich immer alle mach brauch einen
Proxy um auf Google zuzugreifen? Einfach alle X Zugriffe IP wechseln
und gut.

Dazu brachen "die Leute" die Proxy Server, da normalerweise DC Provider den Servern eben statische IP Adressen geben und man die auch nicht mal so eben wechseln kann.[/quote]

Beitrag von **ender** » 22.06.2012, 12:38

"zwei Server im Datacenter", "Multithreaded App" hört sich nicht nach ner Hobbygeschichte an - Merkwürdig, wenn man da ein paar Euro für Proxies sparen möchte.

Beitrag von **bbnetch** » 22.06.2012, 12:38

seonewbie hat geschrieben:Irgend ein Programm und dann https://www.routercontrol.de/
nutzen. Routercontrol resetten den router und du bekommst eine
neue IP.

Proxy brauchst Du nur wenn du parallel mehrere Verbindungen
aufbauen mußt. Programm mit mutithreading brauchen das.

Warum meinen eigentlich immer alle mach brauch einen
Proxy um auf Google zuzugreifen? Einfach alle X Zugriffe IP wechseln
und gut.

Gruß

Micha

lol, wenn du jedesmal warten willst bis der router neu gestartet hat...
nicht nur fuer multiabfragen braucht man proxys, wenn du eine kewordliste abfragen willst, wirst wahrscheinich 5 stunden brauchen mit router neu starten.

Beitrag von **ender** » 22.06.2012, 12:42

bbnetch hat geschrieben:lol, wenn du jedesmal warten willst bis der router neu gestartet hat...
nicht nur fuer multiabfragen braucht man proxys, wenn du eine kewordliste abfragen willst, wirst wahrscheinich 5 stunden brauchen mit router neu starten.

Nein, das kann man schon so machen, da nur ein Reconnect und kein Reboot gemacht werden muss. Das dauert keine 2 Sekunden. Ist aber eher im Bereich der Hobbyprojekte anzusiedeln, nicht für produktive Anwendungen.

Beitrag von **derjanni** » 22.06.2012, 13:16

ender hat geschrieben:"zwei Server im Datacenter", "Multithreaded App" hört sich nicht nach ner Hobbygeschichte an - Merkwürdig, wenn man da ein paar Euro für Proxies sparen möchte.

Ja, von Hobby war auch nicht die Rede - es ist nur so, dass ich jetzt noch nicht die laufenden Kosten für Proxies haben möchte - später vielleicht.

Beitrag von **ender** » 22.06.2012, 13:54

Dann nimm einfach Freeproxies, Listen gibts da wohl zu Hauf. Ich weiß zwar nicht was Du da genau vorhast, aber wenn Du die Proxies im produktiven Betrieb eh brauchst, dann bau die Funktionen auch möglichst frühzeitig ein.