Google ablutschen, scrapen, parsen, grabben

[derjanni]

Gibt es da funktionierende Verfahren auch ohne Proxy, die kostenfrei sind und wenn ja, welche?

[marco1492]

JAP-Proxy ??? Aber gut , das ist ein Proxy... das Problem wird sein, dass du immer mal wieder die IP wechseln musst, also dürfte es ohne Proxy schwierig werden...

[Provocateur]

Kann mir jemand erklären was der Threadersteller mit "Google ablutschen, scrapen, parsen, grabben" meint?

[mogli]

Kann mir jemand erklären was der Threadersteller mit "Google ablutschen, scrapen, parsen, grabben" meint?

Vermutlich das Auslesen und Speichern von Trefferlisten.

[seonewbie]

Irgend ein Programm und dann https://www.routercontrol.de/
nutzen. Routercontrol resetten den router und du bekommst eine
neue IP.

Proxy brauchst Du nur wenn du parallel mehrere Verbindungen
aufbauen mußt. Programm mit mutithreading brauchen das.

Warum meinen eigentlich immer alle mach brauch einen
Proxy um auf Google zuzugreifen? Einfach alle X Zugriffe IP wechseln
und gut.

Gruß

Micha

[derjanni]

Irgend ein Programm und dann https://www.routercontrol.de/
nutzen. Routercontrol resetten den router und du bekommst eine
neue IP.

Es handelt sich um zwei OpenSUSE Server in London.

Proxy brauchst Du nur wenn du parallel mehrere Verbindungen
aufbauen mußt. Programm mit mutithreading brauchen das.

Meine Applikation arbeitet mit POSIX Threads.

Warum meinen eigentlich immer alle mach brauch einen
Proxy um auf Google zuzugreifen? Einfach alle X Zugriffe IP wechseln
und gut.

Dazu brachen "die Leute" die Proxy Server, da normalerweise DC Provider den Servern eben statische IP Adressen geben und man die auch nicht mal so eben wechseln kann.[/quote]

[ender]

"zwei Server im Datacenter", "Multithreaded App" hört sich nicht nach ner Hobbygeschichte an - Merkwürdig, wenn man da ein paar Euro für Proxies sparen möchte.

[bbnetch]

Irgend ein Programm und dann https://www.routercontrol.de/
nutzen. Routercontrol resetten den router und du bekommst eine
neue IP.

Proxy brauchst Du nur wenn du parallel mehrere Verbindungen
aufbauen mußt. Programm mit mutithreading brauchen das.

Warum meinen eigentlich immer alle mach brauch einen
Proxy um auf Google zuzugreifen? Einfach alle X Zugriffe IP wechseln
und gut.

Gruß

Micha

lol, wenn du jedesmal warten willst bis der router neu gestartet hat...
nicht nur fuer multiabfragen braucht man proxys, wenn du eine kewordliste abfragen willst, wirst wahrscheinich 5 stunden brauchen mit router neu starten.

[ender]

lol, wenn du jedesmal warten willst bis der router neu gestartet hat...
nicht nur fuer multiabfragen braucht man proxys, wenn du eine kewordliste abfragen willst, wirst wahrscheinich 5 stunden brauchen mit router neu starten.

Nein, das kann man schon so machen, da nur ein Reconnect und kein Reboot gemacht werden muss. Das dauert keine 2 Sekunden. Ist aber eher im Bereich der Hobbyprojekte anzusiedeln, nicht für produktive Anwendungen.

[derjanni]

"zwei Server im Datacenter", "Multithreaded App" hört sich nicht nach ner Hobbygeschichte an - Merkwürdig, wenn man da ein paar Euro für Proxies sparen möchte.

Ja, von Hobby war auch nicht die Rede - es ist nur so, dass ich jetzt noch nicht die laufenden Kosten für Proxies haben möchte - später vielleicht.

[ender]

Dann nimm einfach Freeproxies, Listen gibts da wohl zu Hauf. Ich weiß zwar nicht was Du da genau vorhast, aber wenn Du die Proxies im produktiven Betrieb eh brauchst, dann bau die Funktionen auch möglichst frühzeitig ein.