DC-Problem mit phpBB wird trotz robots grösser

[bydlo]

moin moin,,
aus irgendeinem mir unerfindlichen grund wird mein doppelter content (bzweise die anzahl der url-skelette bei einer siteabfrage immer grösser obwohl ich vor einigen wochen meine robots.txt angepasst habe.
aktuell hab ich grade entdeckt das ein und die selbe datei (bzw.URL im index 2mal existiert.).und zwar nicht nur diese.
Beispiel

A*berration - Forum für F*otografie (& Lexikon)
FORUM für F*OTOGRAFIE (Fot*otechnik-G*estaltung-Modelecke) Professionell betreut.
www.axellauer.de/f*oto-forum/ftopic35-.html - 20k - Im Cache - Ähnliche Seiten

www.axellauer.de/f*oto-forum/ftopic35.html
Ähnliche Seiten

kann mir mal jemand auf die sprünge helfen wie dieses zustandekommt.
weiss mir so langsam keinen rat mehr.
ich poste auch mal meine robots.
vielleicht findet ja jemand irgendeinen offensichtlichen fehler.
schon mal vielen dank.
gruss axel

User-agent: Googlebot
Disallow: /*?
Disallow: /grusskarte/
Disallow: /forum/admin/
Disallow: /forum/cache/
Disallow: /forum/db/
Disallow: /forum/docs/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/language/
Disallow: /forum/templates/
Disallow: /forum/common
Disallow: /forum/extension
Disallow: /forum/faq
Disallow: /forum/groupcp
Disallow: /forum/login
Disallow: /forum/memberlist
Disallow: /forum/modcp
Disallow: /forum/posting
Disallow: /forum/profile
Disallow: /forum/privmsg
Disallow: /forum/search
Disallow: /forum/fpost
Disallow: /forum/ptopic
Disallow: /forum/ntopic
Disallow: /forum/post-
Disallow: /forum/memberlist.html
Disallow: /forum/profile-editprofile.html
Disallow: /forum/profile-register.html
Disallow: /forum/privmsg-inbox.html
Disallow: /forum/category
Disallow: /forum/viewonline
Disallow: /standfotos/downhillcity.htm
Disallow: /bildbeispiel.htm
Disallow: /gaeste.htm
Disallow: /gaesteset.htm
Disallow: /impressum.htm
Disallow: /leftframe.htm
Disallow: /statistik/
Disallow: /bildverkauf/

User-agent: *
Disallow: /grusskarte/
Disallow: /forum/info.html
Disallow: /forum/counter/
Disallow: /forum/admin/
Disallow: /forum/album_mod/
Disallow: /forum/cache/
Disallow: /forum/db/
Disallow: /forum/docs/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/language/
Disallow: /forum/mods/
Disallow: /forum/templates/
Disallow: /forum/xs_mod/
Disallow: /forum/album
Disallow: /forum/common
Disallow: /forum/extension
Disallow: /forum/faq
Disallow: /forum/groupcp
Disallow: /forum/login
Disallow: /forum/map
Disallow: /forum/memberlist
Disallow: /forum/modcp
Disallow: /forum/posting
Disallow: /forum/privmsg
Disallow: /forum/profile
Disallow: /forum/rating
Disallow: /forum/report
Disallow: /forum/search
Disallow: /forum/fpost
Disallow: /forum/ptopic
Disallow: /forum/ntopic
Disallow: /forum/post-
Disallow: /forum/groups.html
Disallow: /forum/memberlist.html
Disallow: /forum/profile-editprofile.html
Disallow: /forum/profile-register.html
Disallow: /forum/privmsg-inbox.html
Disallow: /forum/category
Disallow: /forum/viewonline
Disallow: /standfotos/downhillcity.htm
Disallow: /bildbeispiel.htm
Disallow: /gaeste.htm
Disallow: /gaesteset.htm
Disallow: /impressum.htm
Disallow: /leftframe.htm
Disallow: /statistik/
Disallow: /bildverkauf/
Disallow: /forum/config.php
Disallow: /forum/groupcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/modcp.php
Disallow: /forum/posting.php
Disallow: /forum/privmsg.php
Disallow: /forum/viewonline.php
Disallow: /forum/faq.php
Disallow: /forum/ptopic*.html$
Disallow: /forum/ntopic*.html$
Disallow: /forum/ftopic*asc*.html$

[Chris2005]

(bzweise die anzahl der url-skelette bei einer siteabfrage immer grösser

das hat erstmal nix zu heissen, denn Google packt jeden Link, der gefunden wird (auch wenn er in der robots.txt steht) in den Index. Bei mir war eine Zeitlang auch meine Bot-Trap im Index

Werden die Dateien tatsächlich gespidert (logfiles)?

Was die ftopic35- Geschichte angeht. Irgendwie scheint Deine short URL implementation nicht sauber zu sein. Siehe angehängtes Bild. Unten in der Statusleiste taucht der Link mit angehängtem "-" auf. Wenn dann natürlich noch von "früher" eine ftopic35 im Index ist, dann existiert in der Tat ein DC Problem.

[bydlo]

ahoi chris,
vielen dank & du hast recht.
von innerhalb des artikels den du als beispiel gewählt hast link ich nämlich zurück auf ftopic36.html (also ohne - )
na schöne schei... wo fang ich denn da jetzt an zu suchen?
ist der bindestrich innerhalb der rewritecondition der grund?
auszug aus der htaccess

RewriteCond %{REQUEST_FILENAME} /foto-forum/ftopic([0-9]*)-([0-9]*)-([a-zA-Z]*)-([0-9]*).html
RewriteRule (.*) /foto-forum/viewtopic.php?t=%1&postdays=%2&postorder=%3&start=%4 [L]

falls ja...was ändere ich denn dann? htaccess-syntax ist mir echt ein böhmisches dorf.
gruss axel

AAAAARRRGHHH...hier ist ja alles falsch.
ich krieg ne krise.
vorheriges thema & nächstes thema verweisen auf ne andere datei als der rest.
omann ...ich will hier raus

[Chris2005]

von innerhalb des artikels den du als beispiel gewählt hast link ich nämlich zurück auf ftopic36.html (also ohne - )
na schöne schei... wo fang ich denn da jetzt an zu suchen?

Der Bug muss in der page-header.php sein... Ich vermute, dass in der URL Generierung irgendwo ein "-" haengt, der da nicht hingehoert. Der Orignal-Thread ist hier.

Der Bereich $urlin ist das, was reinkommt (also die alten dynamischen URLs). $urlout ist das, was rauskommt.

Die Rewrite-Condition ist nicht fuer die URL Erzeugung zustaendig, sondern nur fuer das "Umbiegen" der statischen URL auf die dynamische.

Was mich aber etwas wundert, ist die Tatsache, warum da ploetzlich der "-" auftaucht. Hast Du kuerzlich etwas geaendert?

Code: Alles auswählen

$urlin =
array(
$prefix . '&#40;?<!/&#41;index.php"|',
$prefix . '&#40;?<!/&#41;viewforum.php\?f=&#40;&#91;0-9&#93;*&#41;&&#40;?&#58;amp;&#41;topicdays=&#40;&#91;0-9&#93;*&#41;&&#40;?&#58;amp;&#41;start=&#40;&#91;0-9&#93;*&#41;"|',
$prefix . '&#40;?<!/&#41;viewforum.php\?f=&#40;&#91;0-9&#93;*&#41;"|',
$prefix . '&#40;?<!/&#41;viewtopic.php\?t=&#40;&#91;0-9&#93;*&#41;&&#40;?&#58;amp;&#41;view=previous"|',
$prefix . '&#40;?<!/&#41;viewtopic.php\?t=&#40;&#91;0-9&#93;*&#41;&&#40;?&#58;amp;&#41;view=next"|',
$prefix . '&#40;?<!/&#41;viewtopic.php\?t=&#40;&#91;0-9&#93;*&#41;&&#40;?&#58;amp;&#41;postdays=&#40;&#91;0-9&#93;*&#41;&&#40;?&#58;amp;&#41;postorder=&#40;&#91;a-zA-Z&#93;*&#41;&&#40;?&#58;amp;&#41;start=&#40;&#91;0-9&#93;*&#41;"|',
$prefix . '&#40;?<!/&#41;viewtopic.php\?t=&#40;&#91;0-9&#93;*&#41;&&#40;?&#58;amp;&#41;start=&#40;&#91;0-9&#93;*&#41;&&#40;?&#58;amp;&#41;postdays=&#40;&#91;0-9&#93;*&#41;&&#40;?&#58;amp;&#41;postorder=&#40;&#91;a-zA-Z&#93;*&#41;&&#40;?&#58;amp;&#41;highlight=&#40;&#91;a-zA-Z0-9&#93;*&#41;"|',
$prefix . '&#40;?<!/&#41;viewtopic.php\?t=&#40;&#91;0-9&#93;*&#41;&&#40;?&#58;amp;&#41;start=&#40;&#91;0-9&#93;*&#41;"|',
$prefix . '&#40;?<!/&#41;viewtopic.php\?t=&#40;&#91;0-9&#93;*&#41;"|',
&#41;;
$urlout = array&#40;
'"forums.html"',
'"viewforum\\1-\\2-\\3.html"',
'"forum\\1.html"',
'"ptopic\\1.html"',
'"ntopic\\1.html"',
'"ftopic\\1-\\2-\\3-\\4.html"',
'"ftopic\\1.html"',
'"ftopic\\1-\\2.html"',
'"ftopic\\1.html"',
&#41;;

$s = preg_replace&#40;$urlin, $urlout, $s&#41;;
return $s;
&#125;

[bydlo]

hallo chris,
die short implementation hab ich genau von dort (larsneo auf phpBBforum).
würdest du mir zustimmen wenn ich behaupte das der fehler in der rotmarkierten zeil sitzt? (post-).
denkst du das der fehler damit behoben ist?
siehst du vielleicht noch etwas anderes?
der selbe thread ist übrigens auch noch unter ntopic & ptopic (wegen der links "vorhergehndes & nächstes thema ") zu finden.
wie flick ich denn das?
vielen dank schonmal

$urlin =
array(
$prefix . '(?<!/)index.php"|',
$prefix . '(?<!/)viewforum.php\?f=([0-9]*)&(?:amp;)topicdays=([0-9]*)&(?:amp;)start=([0-9]*)"|',
$prefix . '(?<!/)viewforum.php\?f=([0-9]*)"|',
$prefix . '(?<!/)viewtopic.php\?t=([0-9]*)&(?:amp;)view=previous"|',
$prefix . '(?<!/)viewtopic.php\?t=([0-9]*)&(?:amp;)view=next"|',
$prefix . '(?<!/)viewtopic.php\?t=([0-9]*)&(?:amp;)postdays=([0-9]*)&(?:amp;)postorder=([a-zA-Z]*)&(?:amp;)start=([0-9]*)"|',
$prefix . '(?<!/)viewtopic.php\?t=([0-9]*)&(?:amp;)start=([0-9]*)&(?:amp;)postdays=([0-9]*)&(?:amp;)postorder=([a-zA-Z]*)&(?:amp;)highlight=([a-zA-Z0-9]*)"|',
$prefix . '(?<!/)viewtopic.php\?t=([0-9]*)&(?:amp;)start=([0-9]*)"|',
$prefix . '(?<!/)viewtopic.php\?t=([0-9]*)"|',"'(?<!/)viewtopic.php\?p=([0-9]*)'",
);
$urlout = array(
'"/foto-forum/"',
'"viewforum\\1-\\2-\\3.html"',
'"forum\\1.html"',
'"ptopic\\1.html"',
'"ntopic\\1.html"',
'"ftopic\\1-\\2-\\3-\\4.html"',
'"ftopic\\1.html"',"post-\\1.html",
'"ftopic\\1-\\2.html"',
'"ftopic\\1.html"',
);

$s = preg_replace($urlin, $urlout, $s);
return $s;
}

[Chris2005]

Ja. Daran wird es liegen.... "post" ist eine nicht-definierte Variable und wird daher weggelassen. Dann bleibt nur noch der "-" übrig.

Was die ntopic&ptopic Sache angeht: Die sind doch per robots.txt gesperrt. Da dürfte nix passieren.

edit: ich hatte iregendwo mal eine mod gesehen, die die ntopic&ptopic in saubere ftopics umwandelt. Muss man gucken, ob ich die irgendwo finde.

[bydlo]

jetzt bleibt noch die frage wodurch ich diese fehlerhafte zeile ersetzen muss?
SO?

'"ftopic\\1.html"',

muss ich denn nun auch noch an irgendeiner andere stelle was ändern?
womöglich in der htaccess?

[Chris2005]

Ja. Das sollte tun.

Lass die .htaccess erstmal so und probiere, ob das funktioniert. Sollte eigentlich.

[bydlo]

Prima,
das wars.
so ein stress wegen ner handvoll buchstaben
vielen dank chris
hoffe ich kann mich mal revanchieren