Seite 1 von 1

Google ablutschen, scrapen, parsen, grabben

Verfasst: 21.06.2012, 20:29
von derjanni
Gibt es da funktionierende Verfahren auch ohne Proxy, die kostenfrei sind und wenn ja, welche?

Verfasst:
von

Verfasst: 21.06.2012, 21:11
von marco1492
JAP-Proxy ??? Aber gut , das ist ein Proxy... das Problem wird sein, dass du immer mal wieder die IP wechseln musst, also dürfte es ohne Proxy schwierig werden...

Verfasst: 21.06.2012, 23:48
von Provocateur
Kann mir jemand erklären was der Threadersteller mit "Google ablutschen, scrapen, parsen, grabben" meint? :D

Verfasst: 22.06.2012, 00:16
von mogli
Provocateur hat geschrieben:Kann mir jemand erklären was der Threadersteller mit "Google ablutschen, scrapen, parsen, grabben" meint? :D
Vermutlich das Auslesen und Speichern von Trefferlisten.

Verfasst: 22.06.2012, 01:49
von seonewbie
Irgend ein Programm und dann https://www.routercontrol.de/
nutzen. Routercontrol resetten den router und du bekommst eine
neue IP.

Proxy brauchst Du nur wenn du parallel mehrere Verbindungen
aufbauen mußt. Programm mit mutithreading brauchen das.

Warum meinen eigentlich immer alle mach brauch einen
Proxy um auf Google zuzugreifen? Einfach alle X Zugriffe IP wechseln
und gut.

Gruß

Micha

Verfasst: 22.06.2012, 09:42
von derjanni
Irgend ein Programm und dann https://www.routercontrol.de/
nutzen. Routercontrol resetten den router und du bekommst eine
neue IP.
Es handelt sich um zwei OpenSUSE Server in London.
Proxy brauchst Du nur wenn du parallel mehrere Verbindungen
aufbauen mußt. Programm mit mutithreading brauchen das.
Meine Applikation arbeitet mit POSIX Threads.
Warum meinen eigentlich immer alle mach brauch einen
Proxy um auf Google zuzugreifen? Einfach alle X Zugriffe IP wechseln
und gut.
Dazu brachen "die Leute" die Proxy Server, da normalerweise DC Provider den Servern eben statische IP Adressen geben und man die auch nicht mal so eben wechseln kann.[/quote]

Verfasst: 22.06.2012, 12:38
von ender
"zwei Server im Datacenter", "Multithreaded App" hört sich nicht nach ner Hobbygeschichte an - Merkwürdig, wenn man da ein paar Euro für Proxies sparen möchte. :o

Verfasst: 22.06.2012, 12:38
von bbnetch
seonewbie hat geschrieben:Irgend ein Programm und dann https://www.routercontrol.de/
nutzen. Routercontrol resetten den router und du bekommst eine
neue IP.

Proxy brauchst Du nur wenn du parallel mehrere Verbindungen
aufbauen mußt. Programm mit mutithreading brauchen das.

Warum meinen eigentlich immer alle mach brauch einen
Proxy um auf Google zuzugreifen? Einfach alle X Zugriffe IP wechseln
und gut.

Gruß

Micha
lol, wenn du jedesmal warten willst bis der router neu gestartet hat...
nicht nur fuer multiabfragen braucht man proxys, wenn du eine kewordliste abfragen willst, wirst wahrscheinich 5 stunden brauchen mit router neu starten.

Verfasst: 22.06.2012, 12:42
von ender
bbnetch hat geschrieben:lol, wenn du jedesmal warten willst bis der router neu gestartet hat...
nicht nur fuer multiabfragen braucht man proxys, wenn du eine kewordliste abfragen willst, wirst wahrscheinich 5 stunden brauchen mit router neu starten.
Nein, das kann man schon so machen, da nur ein Reconnect und kein Reboot gemacht werden muss. Das dauert keine 2 Sekunden. Ist aber eher im Bereich der Hobbyprojekte anzusiedeln, nicht für produktive Anwendungen.

Verfasst: 22.06.2012, 13:16
von derjanni
ender hat geschrieben:"zwei Server im Datacenter", "Multithreaded App" hört sich nicht nach ner Hobbygeschichte an - Merkwürdig, wenn man da ein paar Euro für Proxies sparen möchte. :o
Ja, von Hobby war auch nicht die Rede - es ist nur so, dass ich jetzt noch nicht die laufenden Kosten für Proxies haben möchte - später vielleicht.

Verfasst: 22.06.2012, 13:54
von ender
Dann nimm einfach Freeproxies, Listen gibts da wohl zu Hauf. Ich weiß zwar nicht was Du da genau vorhast, aber wenn Du die Proxies im produktiven Betrieb eh brauchst, dann bau die Funktionen auch möglichst frühzeitig ein.