Herzlich willkommen im Archiv vom ABAKUS Online Marketing Forum
Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.
Was sperrt Ihr über die robots.txt? Seiten mit PHPSESSID im QueryString? Dann wäre es besser diese gleich über das Meta-Element (Meta-Tag) robots auszuschließen.scheune09 hat geschrieben:Die Crawling-Fehler geben an, dass ca. 100.000 URLs durch die Robots.txt gesperrt sind. Hierbei handelt es sich meist um URLs mit Session IDs etc., das sollte also in Ordnung sein.
Code: Alles auswählen
<?php
if (isset($_GET["PHPSESSID"]) and !empty($_GET["PHPSESSID"])){$robots = "noindex,nofollow";}
else {$robots = "index,follow";}
?>
......
<meta name="robots" content="<?php echo $robots; ?>">
Code: Alles auswählen
<?php
ini_set("session.use_trans_sid", "0");
session_start();
Sind die denn noch irgendwo und irgendwie verlinkt? Wenn die Seiten einfach nur nicht mehr existent sind und auch keine Links mehr zu diesen Seiten existieren, dann sollten die in ferner Zukunft eigentlich von allein verschwinden. Dauert halt nur eine unbestimmte Zeit.scheune09 hat geschrieben:Das sind einerseits alte Pfade aus dem alten Shop die so nicht mehr existieren und auch nicht umgeleitet werden konnten aus folgendem Grund:
Nun gut, die müssten dann halt immer gleich umgeleitet werden.scheune09 hat geschrieben:Andere Fehler entstehen durch korrigierte Produktnamen.
Code: Alles auswählen
User-agent: *
User-agent: *
Disallow: /index.php/
Disallow: /*?
Disallow: /*.js$
Disallow: /*.css$
Disallow: /404/
Disallow: /admin/
Disallow: /api/
Disallow: /app/
Disallow: /catalog/category/view/
Disallow: /catalog/product/view/
Disallow: /catalog/product_compare/
Disallow: /catalogsearch/
Disallow: /cgi-bin/
Disallow: /checkout/
Disallow: /contacts/
Disallow: /customer/
Disallow: /downloader/
Disallow: /install/
Disallow: /js/
Disallow: /lib/
Disallow: /magento/
Disallow: /media/
Disallow: /newsletter/
Disallow: /pkginfo/
Disallow: /private/
Disallow: /poll/
Disallow: /report/
Disallow: /review/
Disallow: /sendfriend/
Disallow: /skin/
Disallow: /tag/
Disallow: /var/
Disallow: /wishlist/
Sitemap: http://www.kaelteklimashop.de/sitemap.xml
Und:Zwar wird der Content von Seiten, die durch die Datei "robots.txt" blockiert sind, von Google weder gecrawlt noch indexiert, möglicherweise erfolgt jedoch dennoch eine Indexierung der URLs, falls diese auf anderen Webseiten gefunden werden.
https://support.google.com/webmasters/b ... wer=156449Sollen die Inhalte einer Seite nie dem Google-Webindex hinzugefügt werden, obwohl von anderen Websites auf sie verwiesen wird, muss ein "noindex"-Meta-Tag verwendet werden.
Code: Alles auswählen
<?php
if (isset($_GET["SID"]) and !empty($_GET["SID"])){$robots = "noindex,nofollow";}
else {$robots = "index,follow";}
?>
......
<meta name="robots" content="<?php echo $robots; ?>">
Code: Alles auswählen
RewriteCond %{REQUEST_URI} !^/shop/([a-zA-Z0-9-]+)/(.{2,})$
RewriteRule ^(.*)$ /? [L,R=301]
Code: Alles auswählen
RewriteCond %{REQUEST_URI} ^/shop/([a-zA-Z0-9-]+)/(.{,0})$
RewriteRule ^(.*)$ /? [L,R=301]
Code: Alles auswählen
RewriteEngine on
RewriteCond %{REQUEST_URI} ^/demoshop/([a-zA-Z0-9-]+)/(.{0,0})$
RewriteRule ^(.*)$ /? [L,R=301]
Code: Alles auswählen
RewriteEngine on
RewriteCond %{REQUEST_URI} ^/demoshop/([a-zA-Z0-9-]+)/$
RewriteRule ^(.*)$ /? [L,R=301]