URL durch "robots.txt" eingeschränkt?

Beitrag von **wowglider** » 26.08.2007, 13:00

http&#58;//forum.wowglider.de/forum,30,-utilities-&#40;member&#41;.html URL durch "robots.txt" eingeschränkt   &#91;?&#93; 21.08.2007

http&#58;//forum.wowglider.de/forum,58,-videos-&#40;member&#41;.html URL durch "robots.txt" eingeschränkt   &#91;?&#93;

http&#58;//forum.wowglider.de/ptopic,10287.html URL durch "robots.txt" eingeschränkt   &#91;?&#93;  	 13.08.2007

http&#58;//forum.wowglider.de/ptopic,11064.html 	URL durch "robots.txt" eingeschränkt   &#91;?&#93; 	16.08.2007

http&#58;//forum.wowglider.de/ptopic,15637.html 	URL durch "robots.txt" eingeschränkt   &#91;?&#93; 	23.08.2007

http&#58;//forum.wowglider.de/ptopic,3621.html 	URL durch "robots.txt" eingeschränkt   &#91;?&#93; 	14.08.2007

http&#58;//forum.wowglider.de/topic,1118,-keymaker-prog.html  	 URL durch "robots.txt" eingeschränkt   &#91;?&#93; 16.08.2007

http&#58;//forum.wowglider.de/topic,1666,-neuer-lootfilter-nach-patch.html 	URL durch "robots.txt" eingeschränkt   &#91;?&#93; 	16.08.2007

http&#58;//forum.wowglider.de/topic,1821,-lootfilter-18-vom-2007-06-12.html 	URL durch "robots.txt" eingeschränkt   &#91;?&#93; 	21.08.2007

http&#58;//forum.wowglider.de/topic,1843,-...haltet-ihr-von-einer-verguetung%3F.html URL durch "robots.txt" eingeschränkt   &#91;?&#93; 	16.08.2007

http&#58;//forum.wowglider.de/topic,1890,-member---non-member.html 	URL durch "robots.txt" eingeschränkt   &#91;?&#93; 	23.08.2007

http&#58;//forum.wowglider.de/topic,1945,-neuer-bereich&#58;-erfahrungen.html 	URL durch "robots.txt" eingeschränkt   &#91;?&#93; 	13.08.2007

http&#58;//forum.wowglider.de/topic,2085,-wie-kann-ich-lootfilter-einstellen.html URL durch "robots.txt" eingeschränkt   &#91;?&#93; 	16.08.2007

http&#58;//forum.wowglider.de/topic,2206,-...-kostet-wow-glider-29,99%80-*zitat.html 	URL durch "robots.txt" eingeschränkt   &#91;?&#93; 	22.08.2007

usw (ca 200)

hier die robots https://forum.wowglider.de/robots.txt

Wo liegt das Problem? verstehs nicht, webmastertools zeigt ca 2000 gesperrte URL's (davon sind ca 1800 richtig, zb dc usw) aber 200 (so wie oben) sind falsch, hab ich bei der robots.txt was falsch gemacht? kann man eigentlich auch bestimmte urls explizit erlauben?

von **Anzeige von ABAKUS** »

Beitrag von **wowglider** » 26.08.2007, 19:24

hat einer eine idee was an der robots.txt falsch ist?

Beitrag von **NaNoNaNed** » 26.08.2007, 19:34

Erst einmal die Frage: Warum willst du so viele URLs sperren?

Es könnte natürlich sein dass eine der gesperrten Dateien nicht gesperrt werden sollte.

lg
Roman

Beitrag von **Fox Mulder** » 26.08.2007, 19:42

NaNoNaNed hat geschrieben:Erst einmal die Frage: Warum willst du so viele URLs sperren?

Will er ja nicht, deshalb seine Frage.

Beitrag von **NaNoNaNed** » 26.08.2007, 20:26

Naja, dann recht einfache Lösung:

Lösche deine robots.txt

Beitrag von **pr_sniper** » 27.08.2007, 09:11

Quatsch, robots.txt gehört zu jeder Website.

Aber die fehlende Übersicht hat Schuld: z.B. die URL "https://forum.wowglider.de/topic,2085,- ... ellen.html" wird weitergeleitet auf "https://forum.wowglider.de/login.php?re ... dd1d123d8c" und ist natürlich durch die robots.txt (Disallow: /login.php) von einer Indizierung ausgeschlossen ...

Alle für eine Indizierung gewünschten Seiten sollten nicht nur in der Sitemap oder irgendwo als Link aufgeführt, sondern vor allem für <b>jedermann</b> (z.B. auch Googlebot) erreichbar sein.

robots.txt erlaubt nichts, sondern kann nur bitten bzw. empehlen, etwas nicht aufzunehmen. Absolute Sicherungen sind anders, z.B. mittels .htaccess zu realisieren.

Beitrag von **wowglider** » 27.08.2007, 16:16

pr_sniper hat geschrieben:Quatsch, robots.txt gehört zu jeder Website.

Aber die fehlende Übersicht hat Schuld: z.B. die URL "https://forum.wowglider.de/topic,2085,- ... ellen.html" wird weitergeleitet auf "https://forum.wowglider.de/login.php?re ... dd1d123d8c" und ist natürlich durch die robots.txt (Disallow: /login.php) von einer Indizierung ausgeschlossen ...

Alle für eine Indizierung gewünschten Seiten sollten nicht nur in der Sitemap oder irgendwo als Link aufgeführt, sondern vor allem für <b>jedermann</b> (z.B. auch Googlebot) erreichbar sein.

robots.txt erlaubt nichts, sondern kann nur bitten bzw. empehlen, etwas nicht aufzunehmen. Absolute Sicherungen sind anders, z.B. mittels .htaccess zu realisieren.

Das weiß ich ja alles, trotzdem danke, ähm diese Weiterleitung hat mich grad mal geschockt... hab nicht viel Ahnung von der PHPBB2, jmd der zufällig weiß was das hervorruft?

und zum thema wieso ich "soviele" sperren möchte, wie oben steht da sonst DC der fall ist...

Beitrag von **pr_sniper** » 28.08.2007, 08:25

"Das weiß ich ja alles, ..." - Schlaumeier, weshalb dann die Frage? Lösungen wären deshalb vermutlich ebenfalls bekannt.

Beitrag von **wowglider** » 29.08.2007, 21:21

pr_sniper hat geschrieben: "Das weiß ich ja alles, ..." - Schlaumeier, weshalb dann die Frage? Lösungen wären deshalb vermutlich ebenfalls bekannt.

hab grad son einen hals

was soll dieser Post?
Wenn du keine Ahnung hast, dann Antworte halt nicht, aber jedesmal gibts ein paar Leute die einfach mal Ihren dünn

loswerden wollen...