ABAKUS

Verfasst: **17.02.2011, 22:57**

Hallo Leute,

für mein Projekt brauche ich einen Webseitenindex, der ähnlich Google & Co. URLs mit Titeln nach Relevanz zu den eingegebenen Keywords ausspuckt.

Einen eigenen Crawler habe ich bereits entwickelt, aber wie wir wohl alle wissen, ist das aussichtlos.

Gibt es denn einen "freien" Suchindex, an den ich mein Projekt anschließen kann und z. B. via HTTP-GET der Keywords eine Ergebnisliste als XML zurückbekomme? Die Qualität muss nicht unbedingt supertoll, sollte aber auch nicht unterirdisch sein.

Ich möchte nur nicht unerlaubt Google oder Bing parsen "müssen", da sonst bestimmt die Antwort via Anwaltspost kommt.

Wie bekommen denn Metasuchmaschinen wie ixQuick et al ihre Ergebnisse?

Verfasst: **18.02.2011, 08:03**

vielleicht kannst du mit dmoz etwas anfangen?

https://rdf.dmoz.org/

Verfasst: **18.02.2011, 08:18**

Verfasst: **18.02.2011, 17:36**

Hi,

danke für die Antworten. DMOZ hilft mir nicht wirklich weiter, ist größtenteils uralt, schlecht Sortiert und der Index ist auch ein Witz. (Vgl. Mein selbst erstellter Index, der größtenteils aus News besteht ist nach 6 Monaten bereits aus 1 Mio täglich aktualisierten spamfreien Deeplinks zu Seiten in ausschließlich deutscher Sprache angewachsen).

Beispiel: Gibt man bei mir "Guttenberg Plagiat" ein erscheinen aktuell 650 Ergebnisse der letzten 7 Tage und 3.282 Näherungsergebnisse weil das gewichtete Key "Guttenberg" im Artikel vorkommt. Was ich aber suche und momentan nicht finden kann sind "Alltagssuchen", halt das was laut meinen Suchlisten von den Leuten gesucht wird, ich zieh euch mal ein Beispiel raus...

Bild

Für sowas bräuchte ich brauchbare Ergebnisse, damit mein Projekt halt nicht bei zu wenigen Treffern auf Google weiterleiten muss.

Den Wikipedia Dump könnte ich noch indexen, das gäbe schonmal bei gefühlten 20% der Fragen brauchbare Antworten, wenn ich einfach den ersten Paragraph rausziehe.

Hat sonst noch jemand eine Idee?

Verfasst: **18.02.2011, 17:39**

crilla hat geschrieben:Wie wärs mit Yahoo Boss?

Klingt interessant, ist das aber noch nicht deprecated wie die Google Search API? Außerdem dachte ich, dass Y inzwischen auch nur noch G-Links serviert, oder irre ich da?

Update... in den Yahoo Agreements steht:

#9 FEES AND PAYMENT

Yahoo! does not prohibit Your use of third party products or services in connection with the Services, so long as You are in compliance with this TOU. Yahoo! reserves the right, in its sole discretion, to charge fees for use of or access to some or all of the Services made available by Yahoo!. If Yahoo! decides to charge fees for Services, such fees and additional terms and conditions will be disclosed to You prior to the effective date when such fees or requirements would be imposed.

Was muss ich mir darunter vorstellen? Hat jemand Erfahrungen mit Yahoo Boss? Wie siehts mit Vermischung von Y-Ergebnissen und eigenen Ad-Kampagnen aus?

Verfasst: **18.02.2011, 17:46**

Verfasst: **02.03.2011, 22:49**

Unter dieser Adresse findest Du eine selbstprogrammierte Suchmaschine. https://www.coder-world.de/cw/seite__pa ... aseek.html

Vielleicht kannst Du mit dem Besitzer irgendein Deal eingehen.

Verfasst: **21.03.2011, 14:29**

Ich würde ja auf nutch (https://nutch.apache.org/) setzen. Sehr schnell, ausgereift, sicher und sehr gute Qualität.

Verfasst: **17.04.2011, 19:27**

gitschi hat geschrieben:
Wie wärs mit Yahoo Boss?

Ganz jungfreulich: https://www.netflitzer.at - mit bing-api bzw yahoo boss, dazu noch Bilder- und Videosuche. test bisher ganz passabel verlaufen )

Die ist schön! Allerdings noch zu "voll" mit Wünschen usw., für meinen Geschmack.

Verfasst: **15.05.2011, 17:25**

wolle01 hat geschrieben:Unter dieser Adresse findest Du eine selbstprogrammierte Suchmaschine. https://www.coder-world.de/cw/seite__pa ... aseek.html

Vielleicht kannst Du mit dem Besitzer irgendein Deal eingehen.

Ne, der will Kohle dafür haben und die Suchmaschine soll kostenlos sein

ABAKUS

Gibt es eine "freie" Suchmaschine?

Gibt es eine "freie" Suchmaschine?