Ильдаро:
Символ $ в регулярных выражениях обозначает конец строки. Его нужно указывать тогда, когда важно показать сегмент, выделить что-то из общего потока данных.

Когда вы указываете сегмент данных в URL, то не имеет значения, где он стоит. Он будет заблокирован в любом случае.

Да, для Google сделайте отдельное правило запрета, т. к. Clean-param - реализован компанией "Яндекс".

"page,shop.product_details" может стоять и в середине URL. Или я чего не понимаю?
+ Clean-param: pid /* будет работать только для Яндекса, имеет ли смысл добавить "Disallow: /*?pid" для Гугла?

Ильдаро:
Мы уже разбирали пример с joomla чуть выше в комментариях. Там есть много полезной информации.
Disallow: /index.php - запретит индексацию ВСЕХ страниц, которые начинаются с index.php. Поэтому целесообразно запретить к индексации отдельные переменные в адресе, используя регулярные выражения.
Например так:
Disallow: /index.php?com - запрет на индексацию адресов, которые начинаются через эту переменную.

Запрет реферральских ссылок и идентификаторов сессии делается так (для ссылки site.ru/?pid=2):
Clean-param: pid /

Запрет на индексацию отдельных переменных деляется через регулярные выражения

Disallow: /*component/page,shop.product_details$
Disallow: /*flypage,shop.flypage$
Disallow: /*vmcchk,1$

В Sitemap должны быть прописаны адреса, которые необходимо индексировать. Но если даже и имеются данные о старых адресах на сайте, то поисковая система не будет им следовать, поскольку приоритет отдаётся рекомендациям в файле robots.txt

Необходимо убрать путаницу и выбрать что-то одно: либо Disallow: /components/, либо
Allow: /components/com_virtuemart/shop_image/category
Allow: /components/com_virtuemart/shop_image/product

Конструкция Allow разрешает выполнить что-то, Disallow запрещает.

Allow: /components/com_virtuemart/shop_image/category
Allow: /components/com_virtuemart/shop_image/product
Disallow: /components/

Яндекс/Гугл "доберутся" до картинок?

И еще.
В этом же случае (при встроенном чпу). передается партнерский ID. Вида site.ru/?pid=2. Правильно ли (и нужно ли?) Ставить:
Clean-param: bns /*
?

И еще!
Disallow: /*component/page,shop.product_details/
Disallow: /*flypage,shop.flypage/
Disallow: /*vmcchk,1/
Это я хочу поставить, т.к. flypage я удалил из кода и теперь все внутренние ссылки БЕЗ него. И "component/page,shop.product_details/option,com_virtuemart" теперь тоже нет. Везде теперь "component/option,com_virtuemart/page,shop.browse/"
т.е. привел в порядок последовательность в урл. В джумле не имеет значения порядок, а для поисковиков, как известно, имеет.

Джумла и VM у меня старые... каюсь. Но обновлятся пока не планирую (слишком много кода исправлено). Жду полноценного релиза VM.

И вообще нужны ли какие-то подобные манипуляции, если гуглу и яндексу "скормлен" SiteMap?

Заранее огрооомное спасибо!

Ирина:
В любом вопросе важно знать меру, особенно для первоначальной регистрации. Нельзя злоупотреблять ссылками. Всем же понятно, что недавно созданный сайт не может резко получить много входящих ссылок с закладок и каталогов, т. к. за такое короткое время просто люди не могут узнать о его существовании. Закладки нужны и важны, но во всём нужно знать меру, в том числе и ссылках с популярных ресурсов. Ссылки должны расти постепенно, без резких скачков.