phpBB: Was sollte man per .htaccess(?) vom Bot ausschließen?

Beitrag von **fi-ausbilden** » 02.05.2006, 08:43

Hi!

Hoffe ich bin im richtigen Forum...

Ich habe mein phpBB bezüglich URLs SEO-optimiert und frage mich nun, was sollte man (per .htaccess?) vor dem Bot verstecken?

Sowas wie memberlist.php?

Hat jemand eine vollständige Liste?

Vielen Dank!

von **Anzeige von ABAKUS** »

Beitrag von **Christophe** » 02.05.2006, 09:30

Es reicht, folgende Dateien mit einer robots.txt-Datei auszuschließen.

common.php
download.php
faq.php
groupcp.php
memberlist.php
modcp.php
privmsg.php
attach_rules.php
config.php
login.php
merge.php
posting.php
profile.php
search.php
uacp.php
viewonline.php
viewforum.php
viewtopic.php

Beitrag von **fi-ausbilden** » 02.05.2006, 09:41

Danke!

von **Anzeige von ABAKUS** »

Beitrag von **deldao** » 02.05.2006, 10:21

alles bis auf die Forenübersicht und Beiträge.

Beitrag von **martinc** » 02.05.2006, 12:29

Hi, ich habe für google neben einigen der oben genannten noch
dieses per robots.txt ausgeschlossen:

Disallow: *&highlight=
Disallow: *&view=previous
Disallow: *&view=next

Wenn dein phpBB die sid abschneidet ist dieses noch sehr sinnvoll:
Disallow: *?sid=
Disallow: *&sid=

Beitrag von **Yel nats** » 02.05.2006, 15:48

Christophe hat geschrieben:Es reicht, folgende Dateien mit einer robots.txt-Datei auszuschließen.

common.php
download.php
faq.php
groupcp.php
memberlist.php
modcp.php
privmsg.php
attach_rules.php
config.php
login.php
merge.php
posting.php
profile.php
search.php
uacp.php
viewonline.php
viewforum.php
viewtopic.php

darf man fragen wie du dasd gemacht hast? Gibt ja mehrere Möglichkeiten...

Yel Nats

Beitrag von **Christophe** » 02.05.2006, 20:47

Ich habe eine Datei namens robots.txt mit dem Inhalt

Code: Alles auswählen

User-agent&#58; *
Disallow&#58; /forum/admin/
Disallow&#58; /forum/db/
Disallow&#58; /forum/includes/
Disallow&#58; /forum/language/
Disallow&#58; /forum/templates/
Disallow&#58; /forum/custom.php
Disallow&#58; /forum/config.php
Disallow&#58; /forum/groupcp.php
Disallow&#58; /forum/login.php
Disallow&#58; /forum/modcp.php
Disallow&#58; /forum/posting.php
Disallow&#58; /forum/privmsg.php
Disallow&#58; /forum/profile.php
Disallow&#58; /forum/search.php
Disallow&#58; /forum/viewonline.php
Disallow&#58; /forum/faq.php
Disallow&#58; /forum/memberlist.php
Disallow&#58; /forum/download.php

Im Stammverzeichnis meiner Domain. Auf fi-ausbilden.de sollten noch viewforum.php und viewtopic.php hinzugefügt werden, dort sind statische URLs aktiv.

Beitrag von **Tifflor** » 02.05.2006, 21:20

kann mir mal bitte jemand erklaeren wieso man das machen sollte?
danke

Beitrag von **Christophe** » 02.05.2006, 21:24

Um zu verhindern, dass Google und Konsorten sich auf irgendwelchen Unsinn stürzt und dabei das Wesentliche übersieht, nämlich die Foren- und Themen-Seiten.

Beitrag von **CMA** » 02.05.2006, 21:25

Gerne Tifflor. Um den Bot nicht was indexieren zu lassen was ihn nichts angeht. Die oben genannten Seiten sind meist Boarddateien bzw. Dateien die nicht unbedingt gespidert werden müssen/sollen.
Zusätzlich über .htaccess (da hat bull gute muster soweit ich weiß) böse Bots aussperren und der Traffic der unnötig verbraten wird (je nach forengröße sicher nicht unerheblich) verringert sich.

Beitrag von **martinc** » 02.05.2006, 23:49

> kann mir mal bitte jemand erklaeren wieso man das machen sollte?

Wegen dem schon Gesagten, aber auch um keinen doppelten Content zu zeigen.
Wenn man z.B. viewtopic.php drin lässt, erzeugt "viewtopic.php?t=xxx&view=next"
doppelten Content was Google (und übrigens auch ich als Benutzer) nicht mag.
Zum Glück versteht der Googlebot sowas: "Disallow: *&view=next"

Beitrag von **[btk]tobi** » 03.05.2006, 00:10

Wenn man z.B. viewtopic.php drin lässt, erzeugt "viewtopic.php?t=xxx&view=next"
doppelten Content was Google (und übrigens auch ich als Benutzer) nicht mag.

Bin grad dabei solche Sachen zu korrigieren, das Problem hab ich schonmal gelöst.

In der viewtopic.php

Code: Alles auswählen

#
#-----&#91; FIND &#93;-----------------------------------
#

$view_prev_topic_url = append_sid&#40;"viewtopic.$phpEx?" . POST_TOPIC_URL . "=$topic_id&view=previous"&#41;;
$view_next_topic_url = append_sid&#40;"viewtopic.$phpEx?" . POST_TOPIC_URL . "=$topic_id&view=next"&#41;;

#
#-----&#91; REPLACE WITH &#93;---------------------------
#

$sql = "SELECT t.topic_id
	FROM " . TOPICS_TABLE . " t, " . TOPICS_TABLE . " t2
	WHERE
		t2.topic_id = $topic_id
		AND t.forum_id = t2.forum_id
		AND t.topic_last_post_id > t2.topic_last_post_id
	ORDER BY t.topic_last_post_id ASC
	LIMIT 1";

if &#40; !&#40;$result = $db->sql_query&#40;$sql&#41;&#41; || $db->sql_numrows&#40;$result&#41; != 1 &#41;
&#123;
	$nextTopicText = $lang&#91;'No_newer_topics'&#93;;
	$view_next_topic_url = append_sid&#40;"viewtopic.php?t=$topic_id"&#41;;
&#125;
else
&#123;	
	$row = $db->sql_fetchrow&#40;$result&#41;;
	$view_next_topic_url  = append_sid&#40;"viewtopic.php?t=" . $row&#91;'topic_id'&#93; &#41;;
&#125;
$db->sql_freeresult&#40;$result&#41;;

$sql = "SELECT t.topic_id
	FROM " . TOPICS_TABLE . " t, " . TOPICS_TABLE . " t2
	WHERE
		t2.topic_id = $topic_id
		AND t.forum_id = t2.forum_id
		AND t.topic_last_post_id < t2.topic_last_post_id
	ORDER BY t.topic_last_post_id DESC
	LIMIT 1";
if &#40; !&#40;$result = $db->sql_query&#40;$sql&#41;&#41; || $db->sql_numrows&#40;$result&#41; != 1 &#41;
&#123;
	$prevTopicText = $lang&#91;'No_older_topics'&#93;;
	$view_prev_topic_url = append_sid&#40;"viewtopic.php?t=$topic_id"&#41;;
&#125;
else
&#123;	
	$row = $db->sql_fetchrow&#40;$result&#41;;
	$view_prev_topic_url = append_sid&#40;"viewtopic.php?t=" . $row&#91;'topic_id'&#93; &#41;;
&#125;
$db->sql_freeresult&#40;$result&#41;;