Правильный robots.txt для Danneo CMS

Я с этой CMS встретился впервые, начитавшись форумов по этой CMS пришел к выводу, что пересмотрев все вариации robots.txt которые выкладывали юзеры — далеки от идеала и я решил на основе их состряпать свой и вот собственно что у меня вышло:

User-agent: *
Allow: /index.php
Allow: /up/news/*
Allow: /news/*.html
Disallow: /*?*
Disallow: /*/date-*.html$
Disallow: /*/*-*.html$
Disallow: /*/p-1.html$
Disallow: /*/view/*-1.html$
Disallow: /*/tags/*.html$
Disallow: /*/print-*.html$
Disallow: /*/letter/*.html$
Disallow: /*.rss$
Disallow: /*/read/*-*.html
Disallow: /*/open/*-*.html
Disallow: /*re=*
Disallow: /*index.php$
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

Добавить комментарий

Ваш e-mail не будет опубликован.

Этот сайт использует Akismet для борьбы со спамом.Узнайте как обрабатываются ваши данные комментариев.