Suche wget Profi

Beitrag von **michaelro** » 06.09.2012, 18:39

Hallo!

Ich suche jemanden der sich gut mit wget auskennt.
Von einer Webseite müsste ich bestimmte Inhalte auslesen lassen und habe zur Zeit das Problem, dass ich nur über die google indexierten Seiten rankomme, mich google aber nach 60 oder 70 Seiten nicht mehr weiter lässt.

Bitte Kontaktaufnahme per PN mit mir.

DANKE!

von **Anzeige von ABAKUS** »

Beitrag von **Exelfoli** » 06.09.2012, 23:25

Grundsätzlich die Frage in was du programmieren möchtest ? wget ist normal ein Unix befehl.

Mitdem grabben von Seiten würde ich vorsichtig sein, soweit ich das weiß darf man dies grundsätzlich nicht erlaubt. Zumindest wenn den Inhalt weiter veröffentlicht. Evtl. wäre dein Vorhaben auch intressant.

Gruß Exel

Beitrag von **om-labs** » 07.09.2012, 06:44

was du suchst ist ein crawler. wget ist dafür nicht so die beste wahl.

Beitrag von **backlinkbabe** » 07.09.2012, 08:33

Und warum nicht mit wget? Was kann man denn nicht mit ner pipe und mit wget?

Beitrag von **backlinkbabe** » 07.09.2012, 08:36

Exelfoli hat geschrieben:Grundsätzlich die Frage in was du programmieren möchtest ? wget ist normal ein Unix befehl.

Und mit Unix Befehlen kann man jetzt nicht programmieren? Welche Sprache muss es denn neuerdings sein?

Exelfoli hat geschrieben: Mitdem grabben von Seiten würde ich vorsichtig sein, soweit ich das weiß darf man dies grundsätzlich nicht erlaubt. Zumindest wenn den Inhalt weiter veröffentlicht. Evtl. wäre dein Vorhaben auch intressant.

Gruß Exel

Wenn das grabben von Daten und das spätere Darstellen nicht erlaubt ist, wie kommt Google an seine Daten?

Beitrag von **Exelfoli** » 07.09.2012, 13:04

backlinkbabe hat geschrieben:
Exelfoli hat geschrieben:Grundsätzlich die Frage in was du programmieren möchtest ? wget ist normal ein Unix befehl.
Und mit Unix Befehlen kann man jetzt nicht programmieren? Welche Sprache muss es denn neuerdings sein?

Exelfoli hat geschrieben: Mitdem grabben von Seiten würde ich vorsichtig sein, soweit ich das weiß darf man dies grundsätzlich nicht erlaubt. Zumindest wenn den Inhalt weiter veröffentlicht. Evtl. wäre dein Vorhaben auch intressant.

Gruß Exel
Wenn das grabben von Daten und das spätere Darstellen nicht erlaubt ist, wie kommt Google an seine Daten?

Wie gesagt, soweit ich weiß. Bin kein Rechtsanwalt oder ähnlich. Allerdings bin ich mir sicher das ohne Erlaubnis du deren Inhalt nicht veröffentlichen darfst.

Also so wie ich dich nun verstanden habe, möchtest du in Unix was programmieren oder wie ?

Ich mein keiner weiß hier was du überhaupt realisieren willst. Das wird schwierig ohne Input Tipps oder so zu geben.

Beitrag von **Hannelore-Müller** » 08.09.2012, 10:46

[quote="michaelro"]Ich suche jemanden der sich gut mit wget auskennt./quote]

Ich kann aus eigenen Erfahrungen die snoopy-Klassse (php) dafür empfehlen. Dann evtl. noch tor dazwischenschalten oder andere Proxies.

Aus rechtlichen Gründen würde ich die robots.txt berücksichtigen.

Gruß
Hannelore

Beitrag von **michaelro** » 18.01.2013, 07:33

Hallo,
das letzte mal konnte mir jemand gut weiterhelfen.
Aktuell bin ich wieder auf der Suche nach jemanden, der mir von einer Webseite einige Daten kopiert. weiß nicht ob es wieder mit wget läuft oder sonst irgendwie.

bitte per pn melden