Зашел в вебмастер яндекса - и понял: пора что-то делать с индексацией магазина. 12500+ страниц загруженно роботом. о_О
Скачал программу - A1 Sitemap Generator - ловить дубли и паразитные страницы. Поработав с ним получил вот такой вот файл robots.txt - подходит для версии osc 3 (с включенным ЧПУ)
User-agent: *
Disallow: /admin/
Disallow: /ext/
Disallow: /includes/
Disallow: /templates/
<------ стоковый робот osc
Disallow: /index.php/*/*/action,cart_add/
Disallow: /products.php/*/action,cart_add/
Disallow: /products.php/*/*/action,cart_add/
Disallow: /products.php/*/reviews/
Disallow: /products.php/reviews/
Disallow: /products.php/reviews,new/
<-------Отзывы(в которые могут встроить ссылки, и добавление товара в корзину)
Disallow: /account.php/
Disallow: /checkout.php/
Disallow: /cms.php/
Disallow: /search.php
Disallow: /info.php/
<-------Сведения о аккаунтах и доставке + поиск+ информ страницы + убрал cms - так как на магазине нету новостей ( у каво есть - уберите Disallow: /cms.php/)
Disallow: /products.php/*/cP*
Disallow: /products.php/*/manu*
Disallow: /products.php/*/os*
Disallow: /products.php/new/
Disallow: /products.php/specials/
<--------Новые товары + специальные предложения + лишние ссылки и дубли страниц
Disallow: /index.php/*/so*
<--------Страницы сортировок по цене, производителю и прочему
Disallow: /index.php/manu*
Disallow: /index.php/A*
Disallow: /index.php/S*
Disallow: /index.php/B*
<--------Дубли товаров (Внимание полный список букв формируйте для свого сайта сами ибо товары у всех по разному называются, для этого отловите все ненужны категории в index.php и закройте их по принципу - Буква и знак * = Disallow: /index.php/B*)
Disallow: /index.php/*/os*
Disallow: /index.php/os*
<-------- Дубли категорий
Disallow: /sert*
<-------- Хрен знает что - но мне оно не понравилось.
sitemap: http://vash-site.ru/sitemap.xml - ссылка на сайтмапу которую получите после всех манипулиций с бубном.... генератором сайтмапов.
Незабудте удалить мои комментарии перед тем как вставлять.
Если гдето можно сделать проще, говорите - с удовольсвием приму замечания.
ВНИМАНИЕ! - данный роботс.тхт еще не опробован целиком. За последствия не ручаюсь!!!
