Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Robots.txt und sitemap.txt im Index

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Schneehenry
PostRank 1
PostRank 1
Beiträge: 11
Registriert: 09.04.2010, 17:54

Beitrag von Schneehenry » 10.04.2010, 08:30

Musste feststellen, dass meine robots.txt sowie eine sitemap.txt in der Ergebnislsite auftauchen, wenn ich eine site: Abfrage bei google mache.


Ist das korrekt?

Anzeige von ABAKUS

von Anzeige von ABAKUS »


Hochwertiger Linkaufbau bei ABAKUS:
  • Google-konformer Linkaufbau
  • nachhaltiges Ranking
  • Linkbuilding Angebote zu fairen Preisen
  • internationale Backlinks
Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

kostaki
PostRank 4
PostRank 4
Beiträge: 175
Registriert: 26.10.2009, 22:19
Wohnort: Berlin

Beitrag von kostaki » 10.04.2010, 08:55

Nein. Die Sitemap muss sitemap.xml heißen, aber wie die robots.txt da rein kommt keine Ahnung.

Schneehenry
PostRank 1
PostRank 1
Beiträge: 11
Registriert: 09.04.2010, 17:54

Beitrag von Schneehenry » 10.04.2010, 08:59

Die Sitemap.txt habe ich mittlerweile gelöscht, da ich ja eine sitemap.xml habe.

Anzeige von ABAKUS

von Anzeige von ABAKUS »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:
  • einzigartige Texte
  • suchmaschinenoptimierte Inhalte
  • eine sinnvolle Content-Strategie
  • Beratung und Umsetzung
Jetzt anfragen: 0511 / 300325-0

Mork vom Ork
PostRank 9
PostRank 9
Beiträge: 2557
Registriert: 08.07.2008, 11:07
Wohnort: Aufm Friedhof.

Beitrag von Mork vom Ork » 10.04.2010, 09:39

Schneehenry hat geschrieben:Musste feststellen, dass meine robots.txt sowie eine sitemap.txt in der Ergebnislsite auftauchen, wenn ich eine site: Abfrage bei google mache.
Du hast offenbar nicht nur einen Fehler in deiner .htaccess.

Schneehenry
PostRank 1
PostRank 1
Beiträge: 11
Registriert: 09.04.2010, 17:54

Beitrag von Schneehenry » 10.04.2010, 09:41

Ob das andere nun ein Fehler ist, weiß ich ja nicht.

Mork vom Ork
PostRank 9
PostRank 9
Beiträge: 2557
Registriert: 08.07.2008, 11:07
Wohnort: Aufm Friedhof.

Beitrag von Mork vom Ork » 10.04.2010, 09:45

Schneehenry hat geschrieben:Ob das andere nun ein Fehler ist, weiß ich ja nicht.
Wenn's nicht tut, was es soll, ist es zumindest falsch. Was hast du denn in deiner .htaccess noch drin stehen?

Schneehenry
PostRank 1
PostRank 1
Beiträge: 11
Registriert: 09.04.2010, 17:54

Beitrag von Schneehenry » 10.04.2010, 09:48

Code: Alles auswählen

RewriteEngine ON
#www erzwingen
RewriteCond %{HTTP_HOST} !^www\.domain\.de$
RewriteRule ^(.*)$ http://www.domain.de/$1 [L,R=301]
#suchmaschinenfreundliche URLs
RewriteRule start$ /index.html
RewriteRule wochenbett$ /html/wochenbett.html
RewriteRule geburt$ /html/geburt.html
RewriteRule schwangerschaft$ /html/schwangerschaft.html
RewriteRule kurse$ /html/kurse.html
RewriteRule angebot$ /html/angebot.html
RewriteRule impressum$ /html/impressum.html
RewriteRule ueber_mich$ /html/ueber_mich.html
RewriteRule kontakt$ /html/kontakt.php
RewriteRule info$ /html/info.html
#Favicon
AddType image/x-icon .ico
#benutzerdefinierte Fehlerdokumente
ErrorDocument 401 /info
ErrorDocument 401 /info
ErrorDocument 403 /info
ErrorDocument 404 /info
ErrorDocument 500 /info
Die Url ist natürlich nur exemplarisch ersetzt. Da steht sonst natürlich die richtige URL.

Mork vom Ork
PostRank 9
PostRank 9
Beiträge: 2557
Registriert: 08.07.2008, 11:07
Wohnort: Aufm Friedhof.

Beitrag von Mork vom Ork » 10.04.2010, 10:59

Gut, daran kann es schonmal nicht liegen. Bleibt eigentlich nur die Möglichkeit, dass du die robots.txt irgendwo erwähnt hast – das ist nicht nötig, der Pfad ist festgelegt, Bots finden sie von alleine. Wird irgendwo auf die robots.txt verwiesen, kann das dazu führen, dass sie als normale Seite indiziert wird.

Das Malör sollte sich mit einem Disallow: /robots.txt in der robots.txt ausbügeln lassen, du solltest aber trotzdem prüfen, wo die robots.txt erwähnt wurde, und die Nennung entfernen.
#suchmaschinenfreundliche URLs
RewriteRule start$ /index.html
Die Startseite start zu nennen, hat nichts mit suchmaschinenfreundlich zu tun. Ein Angebot beginnt immer im Wurzelverzeichnis /, belasse es dabei, anstatt einen Sonderweg zu fahren.
(Auf die Inhaltsverzeichnisse index.xy wird übrigens nie verwiesen, die Existenz solcher Dateien ist eine serverinterne technische Notwendigkeit, nach außen ist die dazugehörige URL der Schrägstrich am Ende des Pfades.)
RewriteRule wochenbett$ /html/wochenbett.html
RewriteRule geburt$ /html/geburt.html
RewriteRule schwangerschaft$ /html/schwangerschaft.html
RewriteRule kurse$ /html/kurse.html
RewriteRule angebot$ /html/angebot.html
RewriteRule impressum$ /html/impressum.html
RewriteRule ueber_mich$ /html/ueber_mich.html
RewriteRule kontakt$ /html/kontakt.php
RewriteRule info$ /html/info.html
Was deine normalen Seiten angeht: Wie schon angedeutet, sehe ich keinen Vorteil darin, die Dateien in einem Verzeichnis html/ zu lagern, erst recht nicht, wenn man das Verzeichnis gar nicht haben will. Du machst dir damit nur unnütze Arbeit.

Grundsätzlich und insbesondere bei deiner bestehenden Konstellation rate ich, Seiten in eigene Verzeichnisse zu legen. Du verschiebst also /html/angebot.html nach /angebot/index.html, der Aufruf erfolgt über /angebot/ (nicht /angebot/index.html, das ist unnötig), alle anderen Seiten analog.

Grundsätzlich rate ich dies, weil sich damit eine bestehende Struktur bei Bedarf ohne Änderungen um Unterseiten erweitern lässt. /angebot/ ließe sich zum Beispiel um /angebot/ostern/ erweitern – die Osterangebote sind damit logisch unterhalb des allgemeinen Angebots angeordnet.
Bei /angebot.html wäre die Erweiterung nicht so nahtlos einzufügen, die Osterangebote müssten parallel zu den Angeboten laufen oder es müsste ein neues Verzeichnis angelegt und der alte Pfad umgeleitet werden.

Zweitens lassen sich Dateien, die nur zu einer Seite gehören, Grafiken etwa, unterhalb dieser Seite speichern. billigbillig.jpg würde also unter /angebot/billigbillig.jpg lagern und ist damit eindeutig seinem Verwendungszweck zugeordnet, anstatt irgendwo in einem Sammelsurium rumzufliegen.

Deine bestehende Konstellation ist obendrein für diesen Weg prädestiniert, denn du nutzt ja bereits verzeichnisartige Pfade. Die minimale Korrektur von /angebot zu /angebot/ erledigt der Apache automatisch, du bräuchtest eigentlich nichts machen, außer einmalig die Dateien zu verschieben (nichtsdestotrotz solltest du die Verweise in deinen Seiten korrigieren).

Deine leider indizierten html-URLs wirst du los, indem du Weiterleitungen anlegst:

Redirect permanent /html/index.html /
Redirect permanent /html/wochenbett.html /wochenbett/
Redirect permanent /html/geburt.html /geburt/
Redirect permanent /html/schwangerschaft.html /schwangerschaft/
Redirect permanent /html/kurse.html /kurse/
Redirect permanent /html/angebot.html /angebot/
Redirect permanent /html/impressum.html /impressum/
Redirect permanent /html/ueber_mich.html /ueber_mich/
Redirect permanent /html/kontakt.php /kontakt/
Redirect permanent /html/info.html /info/

Eventuell findest du auch noch eine bessere Struktur, die Kontakseite und das Impressum ließen sich beispielsweise unterhalb von /ueber_mich/ ablegen als /ueber_mich/kontakt/ und /ueber_mich/impressum/

Die RewriteRule-Zeilen kannst du ersatzlos löschen (natürlich mit Ausnahme jener, die für die www-Domain zuständig ist).
#benutzerdefinierte Fehlerdokumente
ErrorDocument 401 /info
ErrorDocument 401 /info
ErrorDocument 403 /info
ErrorDocument 404 /info
ErrorDocument 500 /info
In den ErrorDocument-Zeilen solltest du nach Möglichkeit den tatsächlichen Pfad angeben; ein Umweg bringt in der Regel nichts, weil der Pfad eh serverintern bleibt und nicht nach außen gelangt.
Die Sitemap.txt habe ich mittlerweile gelöscht, da ich ja eine sitemap.xml habe.
Falls das knappe Dutzend Seiten, das in deiner .htaccess aufgeführt ist, alles sein sollte, brauchst du keine Sitemap. Suchmaschinen haben vielleicht Schwierigkeiten, tausende oder zigtausende Seiten unterhalb einer Domain zeitnah zu indizieren, aber nicht eine Handvoll. Du machst dir auch hier Arbeit, die vollkommen unnötig ist.

Schneehenry
PostRank 1
PostRank 1
Beiträge: 11
Registriert: 09.04.2010, 17:54

Beitrag von Schneehenry » 10.04.2010, 11:14

Das sind ja viele Infos auf einmal.

Also die Unterseiten aus dem Ordner html (da sind sie alle) raus, und jeweils einen Ordner mit einer index.html
Demnach müsste die htaccess Zeile dann so aussehen:

Code: Alles auswählen

RewriteRule wochenbett$ /wochenbett/index.html  
bzw.

Code: Alles auswählen

RewriteRule wochenbett$ /wochenbett/

da der Apache automatisch die Index nimmt.

Die Errorseite dann so: ErrorDocument 401 /info.html

Die Links zu start habe ich nun zu / gemacht. Heisst die gehen einfach zu root.
Damit brauch ich die htaccess Zeile dann auch nicht mehr.

Ist das soweit korrekt?

Schneehenry
PostRank 1
PostRank 1
Beiträge: 11
Registriert: 09.04.2010, 17:54

Beitrag von Schneehenry » 10.04.2010, 11:36

Dann habe ich aber hinten immer diese unschönen / am Ende der URL.

Teste das gerade mal. Das heisst ja dann, ich brauche die ganzen RewriteRules nicht mehr, da er bei einem Link /wochenbett/ automatisch das Verzeichnis und die index darin aufruft?

Oder aber, ich mache Links mit /wochenbett (ohne abschliessenden /)
und habe RewriteRules die so aussehen:
ReWriteRule wochenbett$ /wochenbett/

Habe ich das richtig verstanden?

Mork vom Ork
PostRank 9
PostRank 9
Beiträge: 2557
Registriert: 08.07.2008, 11:07
Wohnort: Aufm Friedhof.

Beitrag von Mork vom Ork » 10.04.2010, 14:58

Schneehenry hat geschrieben:Dann habe ich aber hinten immer diese unschönen / am Ende der URL.
Ja, aber was ist daran unschön?
Das heisst ja dann, ich brauche die ganzen RewriteRules nicht mehr, da er bei einem Link /wochenbett/ automatisch das Verzeichnis und die index darin aufruft?
Richtig, den ganzen Aufstand kannst du über Bord kippen.
Oder aber, ich mache Links mit /wochenbett (ohne abschliessenden /)
und habe RewriteRules die so aussehen:
ReWriteRule wochenbett$ /wochenbett/
Da sehe ich allerdings nicht so ganz den Vorteil gegenüber normalen Verzeichnispfaden, also URLs mit Schrägstrich am Ende. Du hast mehr Aufwand und keinen Nutzen.

Schneehenry
PostRank 1
PostRank 1
Beiträge: 11
Registriert: 09.04.2010, 17:54

Beitrag von Schneehenry » 10.04.2010, 15:36

Gut. Dann werde ich das mal so versuchen und realisieren.

Vielen Dank für die Hinweise und Tipps.

luzie
PostRank 10
PostRank 10
Beiträge: 4228
Registriert: 12.07.2007, 13:43
Wohnort: Hannover, Linden-Nord

Beitrag von luzie » 14.04.2010, 16:12

Schneehenry hat geschrieben:Musste feststellen, dass meine robots.txt sowie eine sitemap.txt in der Ergebnislsite auftauchen, wenn ich eine site: Abfrage bei google mache. Ist das korrekt?
Nee, das ist nicht korrekt - und kommt vermutliich weil du (bzw. dein system) diese Dateien irgenwo verlinkt habt. Finde und entferne die Links.

(robots.txt und sitemap in der robots.txt sperren zu wollen, ist natürlich unsinnig)

Schneehenry
PostRank 1
PostRank 1
Beiträge: 11
Registriert: 09.04.2010, 17:54

Beitrag von Schneehenry » 14.04.2010, 19:20

Die waren natürlich nirgendwo verlinkt. Ausser die Info im head Bereich.

heino
PostRank 8
PostRank 8
Beiträge: 833
Registriert: 21.09.2006, 13:42

Beitrag von heino » 14.04.2010, 21:41

Welche Info?

Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag