Robots.txt для osc3 ( нубская версия)

Зашел в вебмастер яндекса - и понял: пора что-то делать с индексацией магазина. 12500+ страниц загруженно роботом. о_О

Скачал программу - A1 Sitemap Generator - ловить дубли и паразитные страницы. Поработав с ним получил вот такой вот файл robots.txt - подходит для версии osc 3 (с включенным ЧПУ)

User-agent: *
Disallow: /admin/
Disallow: /ext/
Disallow: /includes/
Disallow: /templates/

<------ стоковый робот osc


Disallow: /index.php/*/*/action,cart_add/
Disallow: /products.php/*/action,cart_add/
Disallow: /products.php/*/*/action,cart_add/
Disallow: /products.php/*/reviews/
Disallow: /products.php/reviews/
Disallow: /products.php/reviews,new/

<-------Отзывы(в которые могут встроить ссылки, и добавление товара в корзину)

Disallow: /account.php/
Disallow: /checkout.php/
Disallow: /cms.php/
Disallow: /search.php
Disallow: /info.php/

<-------Сведения о аккаунтах и доставке + поиск+ информ страницы + убрал cms  - так как на магазине нету новостей ( у каво есть - уберите Disallow: /cms.php/)

Disallow: /products.php/*/cP*
Disallow: /products.php/*/manu*
Disallow: /products.php/*/os*
Disallow: /products.php/new/
Disallow: /products.php/specials/

<--------Новые товары + специальные предложения + лишние ссылки и дубли страниц

Disallow: /index.php/*/so*

<--------Страницы сортировок по цене, производителю и прочему

Disallow: /index.php/manu*
Disallow: /index.php/A*
Disallow: /index.php/S*
Disallow: /index.php/B*

<--------Дубли товаров (Внимание полный список букв формируйте для свого сайта сами ибо товары у всех по разному называются, для этого отловите все ненужны категории в index.php и закройте их по принципу - Буква и знак * = Disallow: /index.php/B*)

Disallow: /index.php/*/os*
Disallow: /index.php/os*

<-------- Дубли категорий

Disallow: /sert*

<-------- Хрен знает что - но мне оно не понравилось.

sitemap: (здесь есть ссылка, которая гостям не доступна зарегистрируйтесь или залогиньтесь) - ссылка на сайтмапу которую получите после всех манипулиций с бубном.... генератором сайтмапов.

Незабудте удалить мои комментарии перед тем как вставлять.

Если гдето можно сделать проще, говорите - с удовольсвием приму замечания.

ВНИМАНИЕ! - данный роботс.тхт еще не опробован целиком. За последствия не ручаюсь!!!











« Последнее редактирование: 27 Авг. 2011 22:47:46 pm от viper13 »
*

Love

  • *
  • 1943

1. Нужно включить "Использовать форсирование Cookie" и osCsid не будет мешать, ни роботам, ни юзерам...
Правда на некоторых хостингах не работает с ним капча.

User-agent: *
Disallow: /admin/
Disallow: /ext/
Disallow: /images/
Disallow: /includes/
Disallow: /templates/
Disallow: /*checkout*
Disallow: /*search*
Disallow: /*action*
Disallow: /*sort*
Disallow: /*manufa*
Disallow: /*reviews*
Disallow: /*account*
Disallow: /*specials*
Disallow: /*osCsid*

Может мой вариант и не верен. Нужно проверять.

Много страниц, больше заходов.
И зачем ссылка на порно домен?

(здесь есть ссылка, которая гостям не доступна зарегистрируйтесь или залогиньтесь)
1. Нужно включить "Использовать форсирование Cookie" и osCsid не будет мешать, ни роботам, ни юзерам...
Правда на некоторых хостингах не работает с ним капча.

User-agent: *
Disallow: /admin/
Disallow: /ext/
Disallow: /images/
Disallow: /includes/
Disallow: /templates/
Disallow: /*checkout*
Disallow: /*search*
Disallow: /*action*
Disallow: /*sort*
Disallow: /*manufa*
Disallow: /*reviews*
Disallow: /*account*
Disallow: /*specials*
Disallow: /*osCsid*

Может мой вариант и не верен. Нужно проверять.

Много страниц, больше заходов.
И зачем ссылка на порно домен?

Ваш вариант более прост - ссылку попутал, щас исправил.

После абдейта яндекса скажу - работает или нет. И думаю тему можно будет закрепить.