Поиск + robots.txt

Модуль, позволяющий индексировать сайт (а также генерировать Sitemap) согласно правилам как в robots.txt (правила дублируются в настройках модуля Поиск). Подробнее в блоге: http://dev.1c-bitrix.ru/community/webdev/user/11948/blog/7509/

Рекомендую к использованию также модуль актуальной карты сайта: http://marketplace.1c-bitrix.ru/solutions/asd.sitemap/