dynamische inhalte mit robots.txt unterbinden?

Beitrag von **DbDdhkP07** » 08.03.2010, 13:45

Moin,

ich steh da grad wohl was auf der Leitung. Vielleicht kann mir jemand von Euch die Nebelkerze vor den Augen wegpusten

Also:

Ich hab da ne kleine, private Seite. Die wird auch soweit ganz gut indexiert.
16 Seiten, Basis-CMS ist TYPO3. (Ja, ich weiss, dass das mit Kanonen auf Spatzen geschossen ist, aber die Seite ist mein Playground für Templavoila etc.)

Jetzt kommt der Googlebot schön regelmässig vorbei und mag die Inhalte auch. Nur manchmal nicht. Dann fliegen einzelne Seiten scheinbar raus. Sind aber nicht raus, sondern nur mit dieser doofen TYPO3-URL drin: index.php?id=4 z.B... anstatt /frueher.html, wie ich es aber mit real_url definiert hab. Zusätzlich ist dann noch im Site-Header das canonical-tag eingebaut, mit "/frueher.html". Das wird auch schön in der index.php?id=4 Variante eingebaut und angezeigt.

In den Serps sind die Seiten dann aber zu "ihren" Keys wie weggeputzt.

Damn, damit sollte man G! aber doch sagen, welche URL korrekt ist, oder hab ich das was falsch verstanden!?

In ein paar Tagen kommt die Seite wieder, dann auch richtig, ist mir klar. Aber die Aussetzer sollten doch zu verhindern sein?

robots.txt - Don't spider index.php at all? Für die Startseite kann man ja einen index.html Alias setzen. Aber ob das 'ne gute Idee ist?
301 in der mod_rewrite? Aber wohin? real_url sollte das ja handlen?
Typoscript und dann noindex in den Header?

Any other ideas!?

Danke für Input.

Nachtrag: Ambulant hab ich jetzt mal mc_googlesitemap installiert und die Sitemap eingereicht. Sowas nervt

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **luzie** » 08.03.2010, 14:23

DbDdhkP07 hat geschrieben:index.php?id=4 z.B... anstatt /frueher.html, wie ich es aber mit real_url definiert hab

Na, da wird doch wohl was falsch konfiguriert sein? Wie kommt Google denn an die 'falsche' Adresse - dürfte doch gar nicht sein? Da musst du ansetzen, alles andere (robots.txt etc.) ist Gewurstel.

Beitrag von **DbDdhkP07** » 08.03.2010, 15:54

Seh ich auch so.

Aber:
Ich hab das mit anderen Sites ausprobiert, das funktioniert echt überall mit TYPO3 und real_url.

z.B.:

https://www.jungfraualetsch.ch/index.php?id=5

ist DC zu

https://www.jungfraualetsch.ch/de/das-w ... ation.html

Die Liste ist beliebig zu verlängern.

Die real_url Konfig bin ich auch durchgegangen, da is auch nix auffälliges?
Evtl. redirectgoodupperdir - Aber das hat ja nix mit mod_rewrite zu tun..

Guckstu:

#REAL_URL CONFIGURATION

$TYPO3_CONF_VARS['FE']['addRootLineFields'].= ',tx_realurl_pathsegment';
$TYPO3_CONF_VARS['EXTCONF']['realurl'] = array(
'_DEFAULT' => array(
'init' => array(
'enableCHashCache' => 1,
'appendMissingSlash' => 'ifNotFile',
'enableUrlDecodeCache' => 1,
'enableUrlEncodeCache' => 1,
'postVarSet_failureMode' => 'redirect_goodUpperDir',
),
'redirects' => array(),
'preVars' => array(
array(
'GETvar' => 'no_cache',
'valueMap' => array(
'nc' => 1,
),
'noMatch' => 'bypass',
),
array(
'GETvar' => 'L',
'valueMap' => array(
'de' => '0',
'en' => '1',
),
'valueDefault' => 'de',
'noMatch' => 'bypass',
),
),
'pagePath' => array(
'type' => 'user',
'userFunc' => 'EXT:realurl/class.tx_realurl_advanced.php:&tx_realurl_advanced->main',
'spaceCharacter' => '-',
'languageGetVar' => 'L',
'expireDays' => 7,
'rootpage_id' => 3,
'firstHitPathCache' => 1,
),
'fixedPostVars' => array(),
'postVarSets' => array(
'_DEFAULT' => array(
// news archive parameters
'archive' => array(
array(
'GETvar' => 'tx_ttnews[year]' ,
),
array(
'GETvar' => 'tx_ttnews[month]' ,
'valueMap' => array(
'january' => '01',
'february' => '02',
'march' => '03',
'april' => '04',
'may' => '05',
'june' => '06',
'july' => '07',
'august' => '08',
'september' => '09',
'october' => '10',
'november' => '11',
'december' => '12',
)
),
),
// news pagebrowser
'browse' => array(
array(
'GETvar' => 'tx_ttnews[pointer]',
),
),
// news categories
'select_category' => array (
array(
'GETvar' => 'tx_ttnews[cat]',
),
),
// news articles anMd searchwords
'article' => array(
array(
'GETvar' => 'tx_ttnews[tt_news]',
'lookUpTable' => array(
'table' => 'tt_news',
'id_field' => 'uid',
'alias_field' => 'title',
'addWhereClause' => ' AND NOT deleted',
'useUniqueCache' => 1,
'useUniqueCache_conf' => array(
'strtolower' => 1,
'spaceCharacter' => '-',
),
),
),
array(
'GETvar' => 'tx_ttnews[backPid]',
),
array(
'GETvar' => 'tx_ttnews[swords]',
),
),
),
),
// configure filenames for different pagetypes
'fileName' => array(
'defaultToHTMLsuffixOnPrev' => 1,
'index' => array(
'print.html' => array(
'keyValues' => array(
'type' => 98,
),
),
'rss.xml' => array(
'keyValues' => array(
'type' => 100,
),
),
'rss091.xml' => array(
'keyValues' => array(
'type' => 101,
),
),
'rdf.xml' => array(
'keyValues' => array(
'type' => 102,
),
),
'atom.xml' => array(
'keyValues' => array(
'type' => 103,
),
),
),
),
),
);