RDF Datei von DMOZ mittels PHP in Datenbank bringen

[pfuchs]

Hat sich erledigt

Peter

[viggen]

Hallo pfuchs,

erledigt weil du es nicht mehr brauchst oder weil du es jetzt weißt, falls letzteres wäre nett zu wissen wie du es gemacht hast.

mfg
viggen

[pfuchs]

Hallo viggen,

oder weil du es jetzt weißt,

Noch nicht ganz.
Aber ich habe jetzt zwei interessant scheinende Tools gefunden, die ich mir erstmal in Ruhe anschauen möchte.

1. https://www.webreference.com/perl/xhoo/index.html

Hier bin ich mir allerdings noch nicht ganz im klaren, wie ich die ODP Daten in die mysql DB bekomme. Muss mir die Anleitung in Ruhe anschauen. Ist leider in Englisch. Und das ist nicht meine favorisierte Sprache.

https://www.portalscripts.com/home/Free ... dp__.shtml

Hier bin ich mir noch nicht klar, ob ich die Daten in einer MySQL DB halte oder ob dies Livezugriff auf ODP ist. Wenn ich es richtig mitbekommen habe, gibts auch einige Realtime Lösungen. Auch das muss ich mir noch in Ruhe anschauen.

Ich kann Euch gerne auf dem Laufenden halten, wenn es interessiert. Bin natürlcih auch an einen Erfahrungsaustausch interessiert, falls jemand das selber testet oder shcon einsetzt.

Betse Grüsse, Peter

[mark]

Für die Einbindung der "live Daten" gibt es unter https://www.grohol.com/ ein nettes Skript in Perl.

relativ einfach zu mod_rewriten

gruß mark

[joost]

https://dmoz.org/Computers/..../Use_of_ODP_Data/Upload_Tools/

Gruesse


joost

[SISTRIX]

"Realtime"-Einbindung - also parsen der Webseiten - wird vom OPD sehr ungerne gesehen und die betreffenden IPs gesperrt.

[pfuchs]

@joost

Danke, von dieser Adresse habe ich auch die beiden Links

@SISTRIX
Jetzt weiss ich wenigstens, warum ich die Daten in meiner eigenen DB haben möchte.

Weiss nur noch nicht genau, wie ich es hinkriege. Aber irgendwie muss es ja gehen.

Gruss, Peter

[SISTRIX]

@pfuchs

Guck Dir halt mal das XML des ODP-Dumps an. Ist relativ simple und dauert länger als 30 Minuten, nen Scripts dafür zu schreiben.
Der Import dauert dann allerdings eine Nacht und erzeugt eine 3GB grosse Mysql-DB.

[pfuchs]

@SISTRIX

Der Import dauert dann allerdings eine Nacht und erzeugt eine 3GB grosse Mysql-DB.

Kann ich mir vorstellen, lade gerade die 250 MB (gezippt) XML-Datei runter.

Brauche aber ja nicht alle Daten, sondern nur ausgewählte Kategorien.

[pfuchs]

Zur Info, wen es interessiert:

Nachdem ich ja nur ausgwählte Kategorien von DMOZ benötige, werde ich wohl mit dem Programm https://www.pjltechnology.com/dmoz.htm#where arbeiten.

Zumindest die Beschreibung verspricht genau das was ich benötige.

@SISTRIX

"Realtime"-Einbindung - also parsen der Webseiten - wird vom OPD sehr ungerne gesehen und die betreffenden IPs gesperrt.

Komisch dann aber eigentlich, dass Links zu derlei Scripte dann in DMOZ aufgenommen werde, siehe https://dmoz.org/Computers/..../Use_of_ ... oad_Tools/


Gruss, Peter

[pfuchs]

Falls es noch jemanden interessiert:

DMOZ Extractor wäre schon ganz praktisch, wenn er nicht Probleme mit weltweiten Kategorien hätte.

So kann er zB. bei deutschen Kategorien keine Untermenüs auslesen. Sondern liest stets nur die Einträge aus der aktuellen Kategorie. Es gibt zwar ein Addon (muss man per Mail anfordern), aber das kann auch nur die aktuelle Kategorie und die nächste Ebene.

Gruss, Peter

[Corlath]

ai,

habt ihr hier was brauchbares gefunden ?
Mich interessieren eigentlich auch nur bestimmte Zweige oder Länder.

Mit einer langen download Zeit könnte ich nehmen, aber woher nehmen und wie einbinden ?;)

Corlath

[viggen]

keine Ahnung ob das hilft, bin aber vor kurzem darüber gestolpert, denke passt zum Thema

https://www.bie.no/products/phpodp/

[Corlath]

ai,

yep, darüber bin auch schon gestoplert, aber so weit ich das sehe ist es nur recht eingeschränkt anpassbar und Google nimmt die Seiten nicht auf ...

Corlath

[dasklaus]

Der Thread ist zwar schon ewig alt, aber das Thema immernoch interessant.
Ich habe mir dmoz2mysql von sourceforge runtergeladen, was auch vor 4 oder 5 Monaten noch bei mir funktioniert hat, aber leider klappt es gerade nicht mehr.

Evtl. gabs Umstellungen an der Datenbankstruktur, die das Tool nicht mehr umsetzen kann...

Aber egal... hat noch jemand eine Möglichkeit, wie man zB /World/Deutsch/ aus DMOZ in eine Mysql-Datenbank bekommt? habe leider noch nichts passendes gefunden...