Seite 1 von 1
phpBB: Was sollte man per .htaccess(?) vom Bot ausschließen?
Verfasst: 02.05.2006, 08:43
von fi-ausbilden
Hi!
Hoffe ich bin im richtigen Forum...
Ich habe mein phpBB bezüglich URLs SEO-optimiert und frage mich nun, was sollte man (per .htaccess?) vor dem Bot verstecken?
Sowas wie memberlist.php?
Hat jemand eine vollständige Liste?
Vielen Dank!
Verfasst: 02.05.2006, 09:30
von Christophe
Es reicht, folgende Dateien mit einer robots.txt-Datei auszuschließen.
common.php
download.php
faq.php
groupcp.php
memberlist.php
modcp.php
privmsg.php
attach_rules.php
config.php
login.php
merge.php
posting.php
profile.php
search.php
uacp.php
viewonline.php
viewforum.php
viewtopic.php
Verfasst: 02.05.2006, 09:41
von fi-ausbilden
Danke!
Verfasst: 02.05.2006, 10:21
von deldao
alles bis auf die Forenübersicht und Beiträge.
Verfasst: 02.05.2006, 12:29
von martinc
Hi, ich habe für google neben einigen der oben genannten noch
dieses per robots.txt ausgeschlossen:
Disallow: *&highlight=
Disallow: *&view=previous
Disallow: *&view=next
Wenn dein phpBB die sid abschneidet ist dieses noch sehr sinnvoll:
Disallow: *?sid=
Disallow: *&sid=
Verfasst: 02.05.2006, 15:48
von Yel nats
Christophe hat geschrieben:Es reicht, folgende Dateien mit einer robots.txt-Datei auszuschließen.
common.php
download.php
faq.php
groupcp.php
memberlist.php
modcp.php
privmsg.php
attach_rules.php
config.php
login.php
merge.php
posting.php
profile.php
search.php
uacp.php
viewonline.php
viewforum.php
viewtopic.php
darf man fragen wie du dasd gemacht hast? Gibt ja mehrere Möglichkeiten...
Yel Nats
Verfasst: 02.05.2006, 20:47
von Christophe
Ich habe eine Datei namens robots.txt mit dem Inhalt
Code: Alles auswählen
User-agent: *
Disallow: /forum/admin/
Disallow: /forum/db/
Disallow: /forum/includes/
Disallow: /forum/language/
Disallow: /forum/templates/
Disallow: /forum/custom.php
Disallow: /forum/config.php
Disallow: /forum/groupcp.php
Disallow: /forum/login.php
Disallow: /forum/modcp.php
Disallow: /forum/posting.php
Disallow: /forum/privmsg.php
Disallow: /forum/profile.php
Disallow: /forum/search.php
Disallow: /forum/viewonline.php
Disallow: /forum/faq.php
Disallow: /forum/memberlist.php
Disallow: /forum/download.php
Im Stammverzeichnis meiner Domain. Auf fi-ausbilden.de sollten noch viewforum.php und viewtopic.php hinzugefügt werden, dort sind statische URLs aktiv.
Verfasst: 02.05.2006, 21:20
von Tifflor
kann mir mal bitte jemand erklaeren wieso man das machen sollte?
danke
Verfasst: 02.05.2006, 21:24
von Christophe
Um zu verhindern, dass Google und Konsorten sich auf irgendwelchen Unsinn stürzt und dabei das Wesentliche übersieht, nämlich die Foren- und Themen-Seiten.
Verfasst: 02.05.2006, 21:25
von CMA
Gerne Tifflor. Um den Bot nicht was indexieren zu lassen was ihn nichts angeht. Die oben genannten Seiten sind meist Boarddateien bzw. Dateien die nicht unbedingt gespidert werden müssen/sollen.
Zusätzlich über .htaccess (da hat bull gute muster soweit ich weiß) böse Bots aussperren und der Traffic der unnötig verbraten wird (je nach forengröße sicher nicht unerheblich) verringert sich.
Verfasst: 02.05.2006, 23:49
von martinc
> kann mir mal bitte jemand erklaeren wieso man das machen sollte?
Wegen dem schon Gesagten, aber auch um keinen doppelten Content zu zeigen.
Wenn man z.B. viewtopic.php drin lässt, erzeugt "viewtopic.php?t=xxx&view=next"
doppelten Content was Google (und übrigens auch ich als Benutzer) nicht mag.
Zum Glück versteht der Googlebot sowas: "Disallow: *&view=next"
Verfasst: 03.05.2006, 00:10
von [btk]tobi
Wenn man z.B. viewtopic.php drin lässt, erzeugt "viewtopic.php?t=xxx&view=next"
doppelten Content was Google (und übrigens auch ich als Benutzer) nicht mag.
Bin grad dabei solche Sachen zu korrigieren, das Problem hab ich schonmal gelöst.
In der viewtopic.php
Code: Alles auswählen
#
#-----[ FIND ]-----------------------------------
#
$view_prev_topic_url = append_sid("viewtopic.$phpEx?" . POST_TOPIC_URL . "=$topic_id&view=previous");
$view_next_topic_url = append_sid("viewtopic.$phpEx?" . POST_TOPIC_URL . "=$topic_id&view=next");
#
#-----[ REPLACE WITH ]---------------------------
#
$sql = "SELECT t.topic_id
FROM " . TOPICS_TABLE . " t, " . TOPICS_TABLE . " t2
WHERE
t2.topic_id = $topic_id
AND t.forum_id = t2.forum_id
AND t.topic_last_post_id > t2.topic_last_post_id
ORDER BY t.topic_last_post_id ASC
LIMIT 1";
if ( !($result = $db->sql_query($sql)) || $db->sql_numrows($result) != 1 )
{
$nextTopicText = $lang['No_newer_topics'];
$view_next_topic_url = append_sid("viewtopic.php?t=$topic_id");
}
else
{
$row = $db->sql_fetchrow($result);
$view_next_topic_url = append_sid("viewtopic.php?t=" . $row['topic_id'] );
}
$db->sql_freeresult($result);
$sql = "SELECT t.topic_id
FROM " . TOPICS_TABLE . " t, " . TOPICS_TABLE . " t2
WHERE
t2.topic_id = $topic_id
AND t.forum_id = t2.forum_id
AND t.topic_last_post_id < t2.topic_last_post_id
ORDER BY t.topic_last_post_id DESC
LIMIT 1";
if ( !($result = $db->sql_query($sql)) || $db->sql_numrows($result) != 1 )
{
$prevTopicText = $lang['No_older_topics'];
$view_prev_topic_url = append_sid("viewtopic.php?t=$topic_id");
}
else
{
$row = $db->sql_fetchrow($result);
$view_prev_topic_url = append_sid("viewtopic.php?t=" . $row['topic_id'] );
}
$db->sql_freeresult($result);
