Seite 1 von 1
DC-Problem mit phpBB wird trotz robots grösser
Verfasst: 07.08.2005, 14:50
von bydlo
moin moin,,
aus irgendeinem mir unerfindlichen grund wird mein doppelter content (bzweise die anzahl der url-skelette bei einer siteabfrage immer grösser obwohl ich vor einigen wochen meine robots.txt angepasst habe.
aktuell hab ich grade entdeckt das ein und die selbe datei (bzw.URL im index 2mal existiert.).und zwar nicht nur diese.
Beispiel
kann mir mal jemand auf die sprünge helfen wie dieses zustandekommt.
weiss mir so langsam keinen rat mehr.
ich poste auch mal meine robots.
vielleicht findet ja jemand irgendeinen offensichtlichen fehler.
schon mal vielen dank.
gruss axel
User-agent: Googlebot
Disallow: /*?
Disallow: /grusskarte/
Disallow: /forum/admin/
Disallow: /forum/cache/
Disallow: /forum/db/
Disallow: /forum/docs/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/language/
Disallow: /forum/templates/
Disallow: /forum/common
Disallow: /forum/extension
Disallow: /forum/faq
Disallow: /forum/groupcp
Disallow: /forum/login
Disallow: /forum/memberlist
Disallow: /forum/modcp
Disallow: /forum/posting
Disallow: /forum/profile
Disallow: /forum/privmsg
Disallow: /forum/search
Disallow: /forum/fpost
Disallow: /forum/ptopic
Disallow: /forum/ntopic
Disallow: /forum/post-
Disallow: /forum/memberlist.html
Disallow: /forum/profile-editprofile.html
Disallow: /forum/profile-register.html
Disallow: /forum/privmsg-inbox.html
Disallow: /forum/category
Disallow: /forum/viewonline
Disallow: /standfotos/downhillcity.htm
Disallow: /bildbeispiel.htm
Disallow: /gaeste.htm
Disallow: /gaesteset.htm
Disallow: /impressum.htm
Disallow: /leftframe.htm
Disallow: /statistik/
Disallow: /bildverkauf/
User-agent: *
Disallow: /grusskarte/
Disallow: /forum/info.html
Disallow: /forum/counter/
Disallow: /forum/admin/
Disallow: /forum/album_mod/
Disallow: /forum/cache/
Disallow: /forum/db/
Disallow: /forum/docs/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/language/
Disallow: /forum/mods/
Disallow: /forum/templates/
Disallow: /forum/xs_mod/
Disallow: /forum/album
Disallow: /forum/common
Disallow: /forum/extension
Disallow: /forum/faq
Disallow: /forum/groupcp
Disallow: /forum/login
Disallow: /forum/map
Disallow: /forum/memberlist
Disallow: /forum/modcp
Disallow: /forum/posting
Disallow: /forum/privmsg
Disallow: /forum/profile
Disallow: /forum/rating
Disallow: /forum/report
Disallow: /forum/search
Disallow: /forum/fpost
Disallow: /forum/ptopic
Disallow: /forum/ntopic
Disallow: /forum/post-
Disallow: /forum/groups.html
Disallow: /forum/memberlist.html
Disallow: /forum/profile-editprofile.html
Disallow: /forum/profile-register.html
Disallow: /forum/privmsg-inbox.html
Disallow: /forum/category
Disallow: /forum/viewonline
Disallow: /standfotos/downhillcity.htm
Disallow: /bildbeispiel.htm
Disallow: /gaeste.htm
Disallow: /gaesteset.htm
Disallow: /impressum.htm
Disallow: /leftframe.htm
Disallow: /statistik/
Disallow: /bildverkauf/
Disallow: /forum/config.php
Disallow: /forum/groupcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/modcp.php
Disallow: /forum/posting.php
Disallow: /forum/privmsg.php
Disallow: /forum/viewonline.php
Disallow: /forum/faq.php
Disallow: /forum/ptopic*.html$
Disallow: /forum/ntopic*.html$
Disallow: /forum/ftopic*asc*.html$
Verfasst:
von
Hochwertiger Linkaufbau bei ABAKUS:
- Google-konformer Linkaufbau
- nachhaltiges Ranking
- Linkbuilding Angebote zu fairen Preisen
- internationale Backlinks
Wir bieten
Beratung und
Umsetzung.
Jetzt anfragen:
0511 / 300325-0
DC-Problem mit phpBB wird trotz robots grösser
Verfasst: 07.08.2005, 15:06
von Chris2005
(bzweise die anzahl der url-skelette bei einer siteabfrage immer grösser
das hat erstmal nix zu heissen, denn Google packt
jeden Link, der gefunden wird (auch wenn er in der robots.txt steht) in den Index. Bei mir war eine Zeitlang auch meine Bot-Trap im Index
Werden die Dateien tatsächlich gespidert (logfiles)?
Was die ftopic35- Geschichte angeht. Irgendwie scheint Deine short URL implementation nicht sauber zu sein. Siehe angehängtes Bild. Unten in der Statusleiste taucht der Link mit angehängtem "-" auf. Wenn dann natürlich noch von "früher" eine ftopic35 im Index ist, dann existiert in der Tat ein DC Problem.
Verfasst: 07.08.2005, 15:36
von bydlo
ahoi chris,
vielen dank & du hast recht.
von innerhalb des artikels den du als beispiel gewählt hast link ich nämlich zurück auf ftopic36.html (also ohne
- )
na schöne schei... wo fang ich denn da jetzt an zu suchen?
ist der bindestrich innerhalb der rewritecondition der grund?
auszug aus der htaccess
RewriteCond %{REQUEST_FILENAME} /foto-forum/ftopic([0-9]*)-([0-9]*)-([a-zA-Z]*)-([0-9]*).html
RewriteRule (.*) /foto-forum/viewtopic.php?t=%1&postdays=%2&postorder=%3&start=%4 [L]
falls ja...was ändere ich denn dann? htaccess-syntax ist mir echt ein böhmisches dorf.
gruss axel
AAAAARRRGHHH...hier ist ja alles falsch.
ich krieg ne krise.
vorheriges thema & nächstes thema verweisen auf ne andere datei als der rest.
omann ...ich will hier raus
Verfasst:
von
Content Erstellung von
ABAKUS Internet Marketing
Ihre Vorteile:
- einzigartige Texte
- suchmaschinenoptimierte Inhalte
- eine sinnvolle Content-Strategie
- Beratung und Umsetzung
Jetzt anfragen:
0511 / 300325-0
DC-Problem mit phpBB wird trotz robots grösser
Verfasst: 07.08.2005, 16:01
von Chris2005
von innerhalb des artikels den du als beispiel gewählt hast link ich nämlich zurück auf ftopic36.html (also ohne - )
na schöne schei... wo fang ich denn da jetzt an zu suchen?
Der Bug muss in der page-header.php sein... Ich vermute, dass in der URL Generierung irgendwo ein "-" haengt, der da nicht hingehoert. Der Orignal-Thread ist
hier.
Der Bereich $urlin ist das, was reinkommt (also die alten dynamischen URLs). $urlout ist das, was rauskommt.
Die Rewrite-Condition ist nicht fuer die URL Erzeugung zustaendig, sondern nur fuer das "Umbiegen" der statischen URL auf die dynamische.
Was mich aber etwas wundert, ist die Tatsache, warum da ploetzlich der "-" auftaucht. Hast Du kuerzlich etwas geaendert?
Code: Alles auswählen
$urlin =
array(
$prefix . '(?<!/)index.php"|',
$prefix . '(?<!/)viewforum.php\?f=([0-9]*)&(?:amp;)topicdays=([0-9]*)&(?:amp;)start=([0-9]*)"|',
$prefix . '(?<!/)viewforum.php\?f=([0-9]*)"|',
$prefix . '(?<!/)viewtopic.php\?t=([0-9]*)&(?:amp;)view=previous"|',
$prefix . '(?<!/)viewtopic.php\?t=([0-9]*)&(?:amp;)view=next"|',
$prefix . '(?<!/)viewtopic.php\?t=([0-9]*)&(?:amp;)postdays=([0-9]*)&(?:amp;)postorder=([a-zA-Z]*)&(?:amp;)start=([0-9]*)"|',
$prefix . '(?<!/)viewtopic.php\?t=([0-9]*)&(?:amp;)start=([0-9]*)&(?:amp;)postdays=([0-9]*)&(?:amp;)postorder=([a-zA-Z]*)&(?:amp;)highlight=([a-zA-Z0-9]*)"|',
$prefix . '(?<!/)viewtopic.php\?t=([0-9]*)&(?:amp;)start=([0-9]*)"|',
$prefix . '(?<!/)viewtopic.php\?t=([0-9]*)"|',
);
$urlout = array(
'"forums.html"',
'"viewforum\\1-\\2-\\3.html"',
'"forum\\1.html"',
'"ptopic\\1.html"',
'"ntopic\\1.html"',
'"ftopic\\1-\\2-\\3-\\4.html"',
'"ftopic\\1.html"',
'"ftopic\\1-\\2.html"',
'"ftopic\\1.html"',
);
$s = preg_replace($urlin, $urlout, $s);
return $s;
}
Verfasst: 07.08.2005, 16:22
von bydlo
hallo chris,
die short implementation hab ich genau von dort (larsneo auf phpBBforum).
würdest du mir zustimmen wenn ich behaupte das der fehler in der rotmarkierten zeil sitzt? (post-).
denkst du das der fehler damit behoben ist?
siehst du vielleicht noch etwas anderes?
der selbe thread ist übrigens auch noch unter ntopic & ptopic (wegen der links "vorhergehndes & nächstes thema ") zu finden.
wie flick ich denn das?
vielen dank schonmal
$urlin =
array(
$prefix . '(?<!/)index.php"|',
$prefix . '(?<!/)viewforum.php\?f=([0-9]*)&(?:amp;)topicdays=([0-9]*)&(?:amp;)start=([0-9]*)"|',
$prefix . '(?<!/)viewforum.php\?f=([0-9]*)"|',
$prefix . '(?<!/)viewtopic.php\?t=([0-9]*)&(?:amp;)view=previous"|',
$prefix . '(?<!/)viewtopic.php\?t=([0-9]*)&(?:amp;)view=next"|',
$prefix . '(?<!/)viewtopic.php\?t=([0-9]*)&(?:amp;)postdays=([0-9]*)&(?:amp;)postorder=([a-zA-Z]*)&(?:amp;)start=([0-9]*)"|',
$prefix . '(?<!/)viewtopic.php\?t=([0-9]*)&(?:amp;)start=([0-9]*)&(?:amp;)postdays=([0-9]*)&(?:amp;)postorder=([a-zA-Z]*)&(?:amp;)highlight=([a-zA-Z0-9]*)"|',
$prefix . '(?<!/)viewtopic.php\?t=([0-9]*)&(?:amp;)start=([0-9]*)"|',
$prefix . '(?<!/)viewtopic.php\?t=([0-9]*)"|',"'(?<!/)viewtopic.php\?p=([0-9]*)'",
);
$urlout = array(
'"/foto-forum/"',
'"viewforum\\1-\\2-\\3.html"',
'"forum\\1.html"',
'"ptopic\\1.html"',
'"ntopic\\1.html"',
'"ftopic\\1-\\2-\\3-\\4.html"',
'"ftopic\\1.html"',"post-\\1.html",
'"ftopic\\1-\\2.html"',
'"ftopic\\1.html"',
);
$s = preg_replace($urlin, $urlout, $s);
return $s;
}
DC-Problem mit phpBB wird trotz robots grösser
Verfasst: 07.08.2005, 16:38
von Chris2005
Ja. Daran wird es liegen.... "post" ist eine nicht-definierte Variable und wird daher weggelassen. Dann bleibt nur noch der "-" übrig.
Was die ntopic&ptopic Sache angeht: Die sind doch per robots.txt gesperrt. Da dürfte nix passieren.
edit: ich hatte iregendwo mal eine mod gesehen, die die ntopic&ptopic in saubere ftopics umwandelt. Muss man gucken, ob ich die irgendwo finde.
Verfasst: 07.08.2005, 16:43
von bydlo
jetzt bleibt noch die frage wodurch ich diese fehlerhafte zeile ersetzen muss?
SO?
'"ftopic\\1.html"',
muss ich denn nun auch noch an irgendeiner andere stelle was ändern?
womöglich in der htaccess?
DC-Problem mit phpBB wird trotz robots grösser
Verfasst: 07.08.2005, 16:48
von Chris2005
Ja. Das sollte tun.
Lass die .htaccess erstmal so und probiere, ob das funktioniert. Sollte eigentlich.
Verfasst: 07.08.2005, 17:12
von bydlo
Prima,
das wars.
so ein stress wegen ner handvoll buchstaben
vielen dank chris
hoffe ich kann mich mal revanchieren
