Правильный файл robots.txt - это один из благоприятных факторов раскрутки вашего сайта, как и карта сайта, без него Ваш сайт запросто попадёт под фильтр поисковых систем.
Что такое robots.txt? Это файл указывающий ботам/роботам поисковых систем: что индексировать, что не индексировать, где находится sitemap-файл (карта сайта) и т.п.
Как составить robots.txt для uCoz?
1) Указываем, что все роботы могут индексировать сайт:
2) Закрываем страницы которые роботу не нужно индексировать директивой "Disallow". Какие страницы необходимо закрыть от индексации определяем сами - нужно чтобы дублированного контента было как можно меньше. Именно поэтому мы закрываем от индексации такие директивы как "informer", "tags" и т.д. Начинаем с новой строчки
Code
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat/
Disallow: /search/
3) С новой строчки указываем поисковым системам путь до файла sitemap (на юкозе их три: для форума, для интернет-магазина и для всего другого контента)
Code
http://ваш-сайт.ucoz.ru/sitemap.xml
http://ваш-сайт.ucoz.ru/sitemap-forum.xml
http://ваш-сайт.ucoz.ru/sitemap-shop.xml
4) Прописываем дополнительную информацию для поисковой системы, такую как основное зеркало сайта (такая директива понимается только Яндексом), как обычно - с новой строчки
Code
Host: ваш-сайт.ucoz.ru
