Dateien in Verzeichnis indexieren

[cheeky]

Hallo,

ich möchte ein Verzeichnis mit PDF Dokumenten von Google indexieren lassen. Es soll jedoch keine explizite Seite geben, auf der alle Links aufgelistet sind.

Auf der Website gibt es grundsätzlich eine Volltextsuche über sämtliche Dokumente, aber die Inhalte dahinter kann Google ja nicht wahrnehmen.

Ist das möglich?

Ich habe mir überlegt, eine dummy-Seite mit Verlinkungen zu den PDFs anzulegen, und diese Seite dann über die robots.txt Datei auszuschließen - die Dateien im Verzeichnis jedoch explizit zu erlauben.

Funktioniert das? Gibt es andere Vorschläge, wie das lösbar ist?

lg,
cheeky

[Henk]

Du MUSST mit Links auf die PDF´s verweisen, sonst findet sie keine Suchmaschine. Deine Überlegung mit der robots.txt funktioniert nicht: Du kannst keinen Türsteher an den Eingang stellen, niemanden reinlassen - ihm aber dennoch die anderen Räume zeigen wollen.

Alternativ: Schau dir mal die META Angabe noindex an.

Code: Alles auswählen

<meta name="robots" content="noindex,follow" />

[cheeky]

Danke für die rasche Antwort!

ich habe eine Seite pdf.php erstellt, die die Dateien auflistet. Ist es möglich die pdf.php aus den Ergebnissen auszuschließen, aber die Links von der pdf.php aus zu indexieren (z.b. link auf /pdfs/pdf1.pdf von pdf.php aus).

Und ist es möglich, dass diese pdf.php nicht von der Startseite aus verlinkt sein muss? Die Dateien sind ja über Volltextsuche auf der Seite verfügbar und liegen auch in Unterverzeichnissen derselben Domain, aber eine Liste mit 1000 Dokumenten macht sich nicht gerade gut auf einer Website

lg, cheeky

[matin]

so ganz habe ich deine gedankegänge nicht gecheckt ... du möchtest eine seite erstellen, auf der du alle pdf dateien verlinkst, gleichzeitig soll es keine explizite seite geben, wo alle links aufgelistet sind? zudem sperrst du diese seite per robots.txt für den googlebot. right? wie soll der googlebot dann die links zu den pdf's finden? die robots.txt schließt ja den googlebot aus, also ruft er deine seite mit den pdf-links gar nicht vom server ab. somit findet er deine links zu den pdf-datei nicht, die du trotzdem in der robots.txt erlauben möchtest.

wozu möchtest du die link-seite per robots.txt überhaupt für den bot ausschließen?

[cheeky]

die seite mit den verlinkten pdfs soll nur dazu dienen, dass die suchmaschine weiß, dass es dahinter noch pdfs gibt.

die seite, auf der alle links aufgelistet sind, ist allerdings nicht sonderlich schön, weil es eben 4 verzeichnisse mit jeweils 200-300 pdfs gibt ( = 4 sprachen). diese sind ansonsten nicht strukturiert.

kann man sich hier vielleicht mit meta-daten abhelfen? z.b. noindex, follow?

der hintergrund des ganzen:
es gibt vier handbücher mit 200-300 seiten. jetzt wurden für jedes produkt (=1 seite) ein einzelnes weboptimiertes pdf erstellt und darüber gibt es eine volltextsuche.

jetzt ist es aber auch erwünscht, dass über google jedes einzelne pdf gefunden wird und nicht auf das große handbuch verwiesen wird (u.a. um zu tracken, welche seiten besonders beliebt sind - was ja nicht geht, wenn ich nur ein riesiges pdf habe).

ob die seite nun mit robots.txt oder etwas anderem ausgeschlossen wird, ist egal. aber es ist kein schönes ergebnis für den user, wenn er eine auflistung von 1000 dokumenten hat....

hoffe meine wirren gedanken sind nun etwas nachvollziehbarer
danke für deine hilfe.

lg, cheeky

[Henk]

Nochmal: Du MUSST verlinken, egal wie. Der Robot riecht nicht, wo die Dokumente liegen. Er findet nur das, wo du ihm den Weg hinweist (LINKS). Wie soll er die Dateien über die Suche finden. Wenn der Googlebot kommt, führt er keine Suche aus, er sieht nur die Links, die im Quelltext erscheinen.

aber eine Liste mit 1000 Dokumenten macht sich nicht gerade gut auf einer Website

Aufteilen, vielleicht einen Unterbereich machen: "Meine Tutorials" oder so: 10 Seiten á 100 Dokumente - das dürfte kein Problem sein. Aber wie gesagt, du wirst nicht umhin kommen, die Dokumente von außen zu verlinken, diese Seite wiederum muss aber auch bekannt sein.

Was spricht denn gegen meinen NOINDEX Vorschlag!??

[cheeky]

wie sieht es mit google's sitemap.xml aus? kann ich hier auch pdf dokumente indexieren lassen?

Danke für deine Hilfe!!! Habe jetzt eine Seite mit Links zu den Dokumenten mit der meta-angabe noindex, follow angelegt - mal sehen, ob sich etwas tut.

lg, karin