Количество комментариев: 102

1. vitaweb:
   20 августа, 2007 г. в 9:16 pm

   Написание этой статьи меня подтолкнуло к подключению информации о моей карте сайта в этом файле.

2. anetta:
   17 октября, 2007 г. в 8:37 am

   Хороший материал, спасибо!
   Только кажется в этом разделе ошибка:

   "2) Совершаются синтаксические ошибки:
   Нет пустой строки:
   ...
   Правильно:

   User-agent: Googlebot
   Disallow: / User-agent: *
   Disallow:"

   а где пустая строка?

   И еще тут:

   "Правильно:

   Host: www.site.ru/"

   зачем слэш в конце?

3. Олег:
   2 марта, 2008 г. в 4:25 am

   Не полностью раскрыта тема. Не показан запрет на индексацию ссылок.

4. Anna:
   17 мая, 2008 г. в 9:40 am

   Как запретить индексацию только определённому роботу.
   Например Яндексу?

5. Serg:
   31 мая, 2008 г. в 1:18 pm

   А можно например разрешить индексацию сайта только Яндексом, Рамблером и Гуглей, а всем остальным типа МСН и Яху запретить? Как это правильно оформить?

6. Serg:
   15 июня, 2008 г. в 12:02 am

   На последний вопрос ответа не будет?

7. Anti Вepressant:
   27 июня, 2008 г. в 11:37 am

   А как удалить уже попавшие в индекс Google страницы с помощью robots.txt?

8. Автор блога Виталий:
   30 июня, 2008 г. в 7:38 pm

   Anti Вepressant, вот так:

   User-agent: Googlebot
   Disallow: /

   В статье об этом написано. Читайте внимательно.

9. ELF0007:
   13 июля, 2008 г. в 9:02 am

   А можно просто в пхп код страницы вставить код который будет редирект ставить на другую страницу)
   главное никто кроме яндекса небудет знать что его обманывают. вот такой своего рода клоакин)

10. Дмитрий:
    23 ноября, 2008 г. в 7:14 am

    Есть идея закрыть от поисковиков каталог, в котором лежит php файл с обратными линками на каталоги. Вычисляется ли данное действие ботами каталогов?

11. Автор блога Виталий:
    28 ноября, 2008 г. в 1:16 am

    Дмитрий, в основном, да

12. Vladimir:
    20 декабря, 2008 г. в 3:07 pm

    Anti Вepressant:
    27 июня 27, 2008 г. в 11:37 am
    А как удалить уже попавшие в индекс Google страницы с помощью robots.txt?

    Автор блога Виталий:
    30 июня 30, 2008 г. в 7:38 pm
    Anti Вepressant, вот так:

    User-agent: Googlebot
    Disallow: /

    Ответ: НУ-НУ, это шутка? Закрыли весь сайт от индексаии гугла!

13. Сергей:
    9 января, 2009 г. в 3:25 pm

    И здесь ни слова о фреймовых сайтах.

14. Автор блога Виталий:
    13 января, 2009 г. в 2:28 am

    Vladimir, это один из способов удалить страницы из индекса Google. Вопрос был про это.

    Vladimir, фреймовый сайт - это всего лишь набор нескольких страниц, которые открываются в одном окне. Если вам нужно запретить индивидуальную индексацию страниц, то блокируйте нужные страницы от индексации, которые открываются во фрейме.

15. Otzyvy:
    16 января, 2009 г. в 11:22 pm

    А для яндекса общего кода достаточно?

16. Автор блога Виталий:
    17 января, 2009 г. в 3:27 am

    Otzyvy, что подразумевается под "общим кодом"?

17. РоботЯга:
    7 февраля, 2009 г. в 9:59 am

    А помоему лучше вообще фреймовые сайты (по возможности, конечно) не использовать - это только запутывает роботы и усложняет индексацию

18. Анатолий:
    14 февраля, 2009 г. в 8:40 pm

    mysoftmaster.ucoz.ru а почему этот(мой) сайт не хочет индексироватся?

19. Admin:
    23 февраля, 2009 г. в 5:46 pm

    еще бы дописать о запрете индексирования ссылок,а так статья в целом не плохая.+1

20. admingarant:
    14 марта, 2009 г. в 5:54 am

    а как попасть в эту самую корневую директорию?

21. Павел:
    8 июня, 2009 г. в 10:11 am

    Что будет если разместить Satemap не в корне сайта

22. alex:
    25 августа, 2009 г. в 1:27 pm

    Спасибо за статью! у меня вопрос:
    почему страницы закрытые с помощью robots.txt попадают в дополнительные результаты? значит гугл эти страницы все таки индексирует?

23. Автор блога Виталий:
    30 августа, 2009 г. в 11:26 am

    alex, информация, которая содержится в файле robots.txt, носит рекомендативный характер, поэтому всё зависит от политики самой поисковой системы.

24. IncognitoSS [HepB]:
    11 октября, 2009 г. в 6:17 pm

    Подскажите пожалуйста, как через robots.txt запретить поисковикам и ндексацию вот этой категории(интернет магазин) bez-predela.net/shop.php/ яндекс пишет в вебмастере, что слишком много ссылок и мне хотелось бы запретить индексацию этой категории, дабы не влететь в бан.

25. Автор блога Виталий:
    16 октября, 2009 г. в 3:30 pm

    IncognitoSS, попробуйте так:

    User-agent: Yandex
    Disallow: /shop.php/

    В данном случае, мы запрещаем индексировать файлы, содержащиеся в категории shop.php.

26. Евгений:
    13 ноября, 2009 г. в 6:19 pm

    Я в растерянности:Яндекс не хочет индексировать домены текелау,хоть убей
    nstudio.tk
    snflowers.tk
    Они на бесплатных хостингах, но открыты к индексации, в нихесть файл роботс,но толку мало.
    Что делать?

27. Автор блога Виталий:
    13 ноября, 2009 г. в 8:44 pm

    Евгений:
    Как давно подавали заявку на индексацию?

28. IncognitoSS [HepB]:
    14 ноября, 2009 г. в 11:35 pm

    Автор блога Виталий: Спасибо!

29. Alex:
    26 ноября, 2009 г. в 10:48 am

    Как проинтексировать в яндексе домен .tk (проблема как у Евгения)

30. Автор блога Виталий:
    28 ноября, 2009 г. в 3:47 pm

    Alex
    Домены .tk индексируются "Яндексом" на общих основаниях и никаких ограничений на их индексацию нет. Опишите, пожалуйста, как давно эксплуатируется сайт, который обслуживается этим доменом? Какие методы первоначальной раскрутки использовались? Обязательное условие: сайт должен быть на русском языке!

    Насколько мне известно, в "Яндексе" в приоритете индексирования стоят домены .RU и .SU, а также стран СНГ. Остальные на общих оснвованиях, и их первичная индексация может происходить несколько месяцев.

    Если домен не индексируется дольше 3 месяцев, то есть смысл написать в службу поддержки "Яндекса".

31. Superman:
    6 января, 2010 г. в 6:31 pm

    Не так давно зарегил 3 сайта .tk, яндекс отлично все проиндексировал. Примерное неделю ждал.Помочь в индексации может следующее: делаем sitemap и на него 2-3 ссылки с сапы покупаем.

32. Эльвира:
    1 февраля, 2010 г. в 2:11 pm

    Огромное спасибо!
    А как закрыть от индексации в файле robots.txt счетчики, например, liveinternet или mail?

33. Автор блога Виталий:
    6 февраля, 2010 г. в 5:22 pm

    Эльвира:

    Счётчики не являются поисковыми системами, поэтому из закрыть нельзя. Возможно, вы имеете в виду роботы, обслуживающие поиск на этих порталах? Для портала Mail.ru можно попробовать закрыть информацию для робота от Gogo.ru, т. к. поисковая база именно этой системы используется в данный момент на портале Mail.ru.

34. Евгений:
    8 февраля, 2010 г. в 5:32 pm

    Скажите, а как запретить индексирование отдельных статей в каталоге?

35. Алексей:
    9 февраля, 2010 г. в 1:07 pm

    Подскажите пожалуйста с первым сайтом никаких проблем не было , а со вторым такая история, при анализе сайта определяется стандартный robots.txt закрывающий доступ на индексацию написал свой как на первом сайте, открывающий доступ для индексации всего сайта, но при просмотре все равно выскакивает стандартный, сайт на ucoz. В общем никак не могу изменить стандартный robots.txt на свой

36. Евгений:
    11 февраля, 2010 г. в 8:49 pm

    Ответ Алексею.На Ucoze, если сайт только создан, сайт находится на карантине в течении 30 дней. Поэтому Robots.txt изменить нельзя.

37. Mariya:
    15 февраля, 2010 г. в 5:30 pm

    Сегодня яндекс выкинул почти все страницы, что-то с файлом robots.txt, какая-то ошибка, что делать не знаю.

38. Автор блога Виталий:
    16 февраля, 2010 г. в 8:41 pm

    Евгений:
    Спасибо вам большое за помощь в ответе на комментарии.

    Mariya:
    Добавьте ваш сайт в панель "Яндекс.Вебмастер". В этой панели есть встроенный анализатор файлов robots.txt. Если что-то не так, сама поисковая система даст вам об этом знать. Если ваш сайт уже добавлен в эту панель, то внимательно изучите ошибки индексации, которые могли иметь место быть.
    Не исключён также вариант, что выброс страниц из индекса временный в связи обновлением поисковой выдачи или же произошла ошибка, которая сама собой разрешится в результате следующего обновления индекса поисковой системы.
    Если ничего не помогает, обратитесь в службу поддержки Яндекса через специальную форму.

39. Kano:
    1 марта, 2010 г. в 8:43 am

    Хорошо, но если я хочу запретить индексацию внутренних поддиректорий - то какой будет синтаксис?

40. advardss:
    3 марта, 2010 г. в 1:58 pm

    Всех женщин с наступающим женским днем.
    Подскажите пожалуйста, как грамотно прописать robots.txt , чтобы исключить для индексации некоторые страницы только для Яндекса, а всем остальным сайтам дать добро на полную индексацию.
    за ранее спасибо.

41. Автор блога Виталий:
    6 марта, 2010 г. в 4:29 pm

    advardss:

    Синтаксис вашего файла будет выглядеть примерно так (чтобы что-то запретить делать Яндексу, достаточно указать его User-agent в этой строке, затем прописать файлы, которые вы планируете запретить для индексации, для остальных поисковых систем используем символ *, между 2-мя правилами обязательно должна быть пустая строка):

    User-agent: Yandex
    Disallow: /name.php

    User-agent: *
    Disallow:

    Kano:
    В вашем случае для запрета индексаций внутренних директорий, вы должны в файле перечислить все те директории, которые индексировать роботу поисковой системы не стоит. Синтаксис в таком случае будет примерно таким (где name, name2 и name 3 - имена поддиректорий сайта):

    User-agent: *
    Disallow: /name/
    Disallow: /name2/
    Disallow: /name3/

42. Somblya:
    6 марта, 2010 г. в 8:28 pm

    Помогите пожалуйста разобраться что мне на сайте запретить к индексации? И как правильно это сделать?
    Мне многие говорят, что у меня много ненужно открыто к индексированию. И этим я порчу продвижение сайта.
    Я вроде и так позакрывал что додумался.

43. Автор блога Виталий:
    11 марта, 2010 г. в 1:54 am

    Somblya:
    Запрещайте к индексации всё, что непосредственно не относится к контенту сайта.

44. Владимир:
    12 марта, 2010 г. в 8:50 am

    И все-таки, какой максимальный размер SITEMAP на сегодня (в килобайтах, количестве URL, etc)? У меня есть новый сайт на 14000 страниц - на сколько файлов бить карту?

45. Lektor:
    13 марта, 2010 г. в 11:35 am

    Если не трудно, товарищи разясните. Сайт существует уже пол года ни разу не было поискового робота, посещяемость есть, сайт наполнен. В корневой дерриктории нет документа robots.txt
    В адресную строку после своего сайта ввожу robots.txt
    выдаёт
    User-agent: *
    Disallow: /a/
    Disallow: /stat/
    Disallow: /index/1
    Disallow: /index/2
    Disallow: /index/3
    Disallow: /index/5
    Disallow: /index/7
    Disallow: /index/8
    Disallow: /index/9
    Disallow: /panel/
    Disallow: /admin/
    Disallow: /secure/
    Disallow: /informer/
    Disallow: /mchat
    Disallow: /search

    исправить не могу

    Составлю и помещю robots.txt документ,

    User-agent: *
    Disallow:

    будет правильно? Будут роботы индексировать? Или что сделать подскажите?

46. Автор блога Виталий:
    14 марта, 2010 г. в 2:53 am

    Владимир:
    Один Sitemap-файл может содержать в себе не больше 50 000 адресов и быть объёмом не больше 10 мегабайт (можно сжать gzip). Тут важно, чтобы размер файла был не больше 10 мегабайт.

    Lektor:
    Да, вы правильно составили файл, в таком случае ваш сайт будут индексировать поисковые системы.

47. Рома:
    14 марта, 2010 г. в 2:11 pm

    Иногда приходится очень долго ждать пока страница проиндексируется, а иногда это происходит очень быстро.
    С чем это связано и какие самые надёжные способы чтобы ускорить индексацию?

48. Автор блога Виталий:
    16 марта, 2010 г. в 8:42 pm

    Рома:
    Скорость индекскации вашего сайта зависит от множества факторов, среди которых могут быть и доступность вашего сервера, качество и количество ссылок, которые ссылаются на сайт, частота обновления самого сайта. Многие оптимизитары считают универсальным показателями, которые могут привести к увеличению скорости индексации сайта, именно увеличение скорости публикации контента на сайте, а также постоянный прирост качественных внешних ссылок на уже созданные страницы сайта.

49. Димон:
    17 марта, 2010 г. в 12:19 pm

    Здравствуйте!
    У меня такой вопрос. Вот я хочу запретить все страницы, в URL которых есть знак вопроса. Нужно добавить директиву
    Disallow: /?

    Правильно?
    ***
    Ну и вообще мне интересно выполнение правила вида "Запретить к индексации все страницы, содержащие XXX".
    Как это реализовать? Спасибо

50. Дмитрий:
    18 марта, 2010 г. в 10:53 am

    Помогите пожалуйста как запретить индексацию динамической страници, например вот такой /product.php?view_product=10401 Заранее спасибо

51. Максим:
    18 марта, 2010 г. в 9:27 pm

    Уважаемые пользователи 2 недели назад мой сайт перестал индексироваться написав в яндекс ответа уже 10 дней нет, делаю в яндекс-вебмастер запрос робот.тхт он выдает:

    User-agent: *
    Disallow: /a/
    Disallow: /stat/
    Disallow: /index/1
    Disallow: /index/2
    Disallow: /index/3
    Disallow: /index/5
    Disallow: /index/7
    Disallow: /index/8
    Disallow: /index/9
    Disallow: /panel/
    Disallow: /admin/
    Disallow: /secure/
    Disallow: /informer/
    Disallow: /mchat
    Disallow: /search

    где он это берет ведь фаила нет и я его несоздавал???

    я создал фаил и прописал внем вот это:

    User-agent: *
    Disallow:

    и все правильно ли это для индексации всего сайта во всех поисковых системах или надо так:

    User-agent: Yandex
    Allow: /

    и как создать сайт мап??? или он сам создается??? заранее спасибо буду очень признателен быстрому ответу и особенно в аську 115-00-14 заранее спасибо

52. Автор блога Виталий:
    20 марта, 2010 г. в 1:48 am

    Димон:
    Знак вопроса (?) - это часть URL-адреса, через которую передаются параметры запроса. В адресах страницы этот символ не встречается, поскольку это служебный оператор.
    Но вы можете запретить переменную после знака ?.
    В статье такой пример уже был разобран:

    User-agent: *
    Disallow: /name.php?action=print

    В данном случае мы запрещаем переменную action со значением print
    Запретить к индексации все страницы, содержащие XXX, можно через регулярные выражения. В статье тоже об этом была информация, воспользуйтесь символами *необходимое символы, идущие подряд в файле, для запрета$

    Дмитрий:
    Прописываем целиком эту страницу со всеми параметрами.

    Максим:
    У вас, вероятно, хостинг от Ucoz. Насколько я знаю, этот хостинг ставит ограничение для всех новых сайтов и невозможность редактировать файл robots.txt первое время. Для решения этой проблемы обратитесь в службу поддержки.

    Разрешение индексировать все документы сайта:
    User-agent: *
    Disallow:

    Информацию о том, как создавать файл Sitemap, вы можете найти в моей статье: http://dataword.info/sitemaps-google.php

53. Димон:
    22 марта, 2010 г. в 1:02 pm

    Спасибо, Виталий!
    Меня просто смущает *name.php
    User-agent: *
    Disallow: /name.php?action=print
    ***
    Я бы запретил так:
    User-agent: *
    Disallow: /?action=print
    или так нельзя?
    **********************
    Оператор * я понимаю так
    1) Например, мне нужно запретить всё, что заканчивается на index.php, тогда я пропишу так
    Disallow: /*index.php
    2) Для запрета того, что начинается на букву z, я бы прописал так:
    Disallow: /z*
    ***
    Много напутал?

54. Автор блога Виталий:
    23 марта, 2010 г. в 11:12 pm

    Димон:
    Всё зависит от того, какие страницы сайта уже есть в индексе поисковой системы. Если в поиске присутствуют URL site.ru/?action=print, то тогда и в robots.txt так же пишем, если site.ru/index.php?action=print, то запрещаем после слеша именно комбинацию index.php?action=print. Важно избежать дублей страниц в поиске и избегать параметров ссылок, которые влияют на URL. Нужно избегать факт загрузки по разным URL одной и той же страницы.

    1) чтобы запретить все файлы index.php, нужно прописать все директории, которые содержат этот файл.
    User-agent: *
    Disallow: /index.php
    Disallow: /content/index.php

    Конструкция:
    Disallow: /name
    Запретит индексацию и файлов и папок, которые имеют комбинацию name.

    Disallow: /z
    запрет всего, что начинается на z

    * символ чаще всего используется в User-Agent, поэтому лучше избегать избыточного его использования в файле robots.txt. А если есть необходимость использовать * как регулярное выражение, то тогда в связке с $.

55. Димон:
    24 марта, 2010 г. в 3:19 pm

    Понял! Огромное спасибо.
    Просто подбираю сейчас оптимальный роботс для Джумлы.

56. Света:
    25 марта, 2010 г. в 4:57 pm

    Вот это я понимаю, понятное объяснение.
    Подскажи звездочка
    User-agent: *
    обозначает, что запрет относится к вышеназванному поисковику?

57. Автор блога Виталий:
    25 марта, 2010 г. в 8:45 pm

    Света:
    User-agent: *
    Эти правила со знаком * относятся ко всем поисковикам.

    Если нужно задать для какого-то отдельного поисковика свои правила индексации, то указываем его в User-Agent вместо звёздочки.
    Например:
    User-agent: Yandex
    В данном случае мы регулируем порядок индексации сайта для "Яндекса".

58. Наталия:
    26 марта, 2010 г. в 3:59 am

    хорошая статья, спасибо!

59. Света:
    7 апреля, 2010 г. в 9:29 pm

    Здорово объясняешь,
    мы проделали с корпоративным сайтом перезеркаливание и редирект 301 на основной домен, но что-то долго ничего не происходит. Хотя я знаю, надо ждать...

60. ille:
    23 апреля, 2010 г. в 11:37 am

    Kак запретить к индексации дубли джумлы? Урлы страниц-дублей оканчиваются "=999999".

61. Автор блога Виталий:
    23 апреля, 2010 г. в 12:35 pm

    ille:
    В файле robots.txt можно прописать не только названия директорий, запрещённых к индексации, но и файлов. Если таких дублей немного, то, думаю, будет смысл прописать эти страницы.
    Если же нет, то пропишите запрет на индексацию файлов по определённой схеме.

62. Дмитрий:
    25 апреля, 2010 г. в 3:25 pm

    Можно ли делать запреты такого вида "Disallow: /index.php?" ?

63. Автор блога Виталий:
    25 апреля, 2010 г. в 7:16 pm

    Дмитрий:
    Да, можно, но нужно делать уточнение, какую именно переменную и с каким значением не индексировать.

64. Алик:
    27 апреля, 2010 г. в 11:28 am

    Долго искал статью о роботсе, где бы было доходчиво написано для таких чайников как я. Спасибо за доступное объяснение.

65. Владимир:
    30 апреля, 2010 г. в 8:19 am

    А какие права нужно поставить на файл robots.txt чтобы робот мог его прочитать, а остальные по запросу site.ru/robots.txt - нет?

66. Автор блога Виталий:
    1 мая, 2010 г. в 1:33 pm

    Владимир:
    Скорее, вам нужно редактировать не права, а настроить веб-сервер таким образом, чтобы он обрабатывал User-Agent и от его значения принимал решение, блокировать доступ к файлу или нет. Если вы используете веб-сервер Apache, то реализовать это можно в файле .htaccess

67. AIvPetrov:
    11 мая, 2010 г. в 4:23 pm

    Хорошая инструкция, спасибо! А то никак не могу из индекса ненужную страницу удалить..

68. Anton:
    11 мая, 2010 г. в 6:08 pm

    Здравствуйте, очень интересная статья, но самое приятное что автор отвечает на вопросы без коронных фраз многих специалистов "Ищи и найдёшь", у меня такой вопрос на который я нигде не могу найти ответ, буду надеяться на Вашу подсказку. У меня есть интернет магазин на джумле 1.5, сложилась такая ситуация каждая страница товара имеет два урл адреса,
    /component/virtuemart/?page=shop.product_details&flypage=flypage.tpl&product_id=1&category_id=1
    и
    /component/virtuemart/?page=shop.product_details&product_id=1&flypage=flypage.tpl&pop=0

    оба индексируются,я хочу второй закрыть для индексации, подскажите пожалуйста как мне это сделать? всё обыскал, но ответа не нашёл(((

69. Автор блога Виталий:
    11 мая, 2010 г. в 9:05 pm

    Anton:
    Знаете, я бы поработал с движком Joomla. Дело в том, что URL, которые она геренирует в обычном режиме, совершенно неудобны для понимания. Часто вызывают нарекания как людей, которые пользуются сайтом, из-за невозможности запомнить такую ссылку, так и сложности индексации сайта поисковым системам. Многие веб-мастеры настраивают движок на ЧПУ-адреса (человекопонятные урлы).
    Если ваш сайт был недавно проиндексирован, и пока что посещаемость не так велика, то имеет смысл переделать URL на более короткие и запоминающиеся.
    Ознакомьтесь со следующими статьями:
    http://joomlaportal.ru/content/view/100/53/
    http://www.seo-joomla.net/ru/seo-optimizatsiya-joomla-1.5.html

    Во второй статье даются очень хорошие примеры, которые помогут настроить движок с точки зрения SEO, чтобы избежать возможных проблем в индексации контента на сайте.

70. Anton:
    12 мая, 2010 г. в 1:58 am

    понимаете,дело в том что это уже ссылки ЧПУ, у меня стоит sh404SEF (если я не ошибаюсь он так называется), и все ссылки у меня выглядят благородно вот так: "http://site.ru/press.html", а вот со страницами на которых находится товар, т.е. грубо говоря на страницах где есть кнопочка "Купить" существует такая проблема которую я описал в предыдущем сообщении.
    Хочу заметить, что эти ссылки, которые я представил в прошлом сообщении гораздо понятнее и короче чем были до того как я установил ЧПУ, а были они такими: "http://site.ru/index.php?page=shop.product_details&flypage=flypage.tpl&product_id=1&category_id=1&vmcchk=1&option=com_virtuemart&Itemid=1"

    Хочу заметить что таких страниц у меня всего девять.
    Я как понимаю должен сейчас закрыть к индексации:
    "http://site.ru/component/virtuemart/?page=shop.product_details&product_id=1&flypage=flypage.tpl&pop=0"

    Будет ли корректным и не будет ли закрывать к индексации ссылки "http://site.ru/component/virtuemart/?page=shop.product_details&flypage=flypage.tpl&product_id=1&category_id=1"
    Если я сделаю как было указанно у вас на примере, в роботс напишу такую строчку:
    Disallow: /pop*
    или как правильно сделать?
    Я уже запутался, помогите пожалуйста разобраться

71. Автор блога Виталий:
    12 мая, 2010 г. в 12:19 pm

    Anton:
    Если страниц у вас всего 9, то, я думаю, можно каждую со всеми параметрами (если ссылка каждый раз постоянная и не генерируется каждый раз заново с новыми параметрами) перечислить в файле robots.txt для того, чтобы исключить их из индекса поисковой системы.

    Disallow: /component/virtuemart/?page=shop.product_details&product_id=1&flypage=flypage.tpl&pop=0

    А после того, как их пропишете, воспользуйтесь формой http://webmaster.yandex.ru/delurl.xml "Яндекса", в которой можно исключить запрещённые к индексированию страницы из поиска. Желательно также вообще как-нибудь убрать из шаблона эту ссылку или подменять её другой.

72. Anton:
    12 мая, 2010 г. в 2:34 pm

    Спасибо Вам большое!
    А скажите пожалуйста /component/virtuemart/ будет индексироваться тогда в других урлах?
    в этом в том числе: "http://site.ru/component/virtuemart/?page=shop.product_details&flypage=flypage.tpl&product_id=1&category_id=1".
    А как у Гугла можно убрать из страницы из поиска?

73. Автор блога Виталий:
    12 мая, 2010 г. в 10:10 pm

    Anton:
    Инструкция по удалению страницы из Google:
    1) Создайте (если у вас ещё нет аккаунта на "Инструментах веб-мастера Google") аккаунт (https://www.google.com/webmasters/tools/).
    2) Добавьте и подтвердите права на владение сайтом
    3) После того, как вы пройдёте эти шаги успешно, зайдите в "Инструменты " https://www.google.com/webmasters/tools/
    />
    В подразделе "Конфигурация сайта - Доступ для сканера" выбираете пункт "Удалить URL" и создаёте заявку (предварительно запретите эти файлы в robots.txt).

    Как правило, поисковая система учитывает все символы в URL, включая и переменные с параметрами в адресной строке, поэтому если вы укажете конкретную переменную с конкретным значением, то удалится из индекса страница именно с этими переменными и параметрами.
    /component/virtuemart/ - в других URL должна индексироваться, т. к. в robots.txt будет указан точный адрес той или иной страницы.

74. Anton:
    16 мая, 2010 г. в 3:55 pm

    Всё что Вы сказали сработало)
    Но вот я хотел выяснить один интересующий меня момент!

    Если я в Роботс пропишу вместо
    Disallow: /component/virtuemart/?page=shop.product_details&product_id=1&flypage=flypage.tpl&pop=0

    Disallow: /*pop*
    или
    Disallow: /pop

    это будет правильным решение? или тогда тоже блокироваться будут ссылки в которых есть часть: /component/virtuemart/?page=shop.product_details&product_id=1

75. Автор блога Виталий:
    17 мая, 2010 г. в 10:34 pm

    Anton:
    Disallow: /*pop* - такое оформление вам не поможет, т. к. * используется для обозначения User-Agent. Если вы хотите пользоваться регулярными выражениями для того, чтобы настроить индексацию, то нужно использовать символ * в совокупности с ? и специальный синтаксис, по которому задаются регулярные выражения.

    Disallow: /pop - такая конструкция будет запрещать индексировать все файлы и папки сайта, названия которых НАЧИНАЮТСЯ с pop.

76. Андрей:
    20 мая, 2010 г. в 8:33 pm

    А если на сайте не 9, а ~700 страниц подобного вида /component/virtuemart/?page=shop.product_details&product_id=1&flypage=flypage.tpl&pop=0

    И переделака/доработка cms это последний вариант решения проблемы, то как можно всё таки их закрыть одним правилом через robots.txt, или же это невозможно?

    Спасибо!

77. Автор блога Виталий:
    22 мая, 2010 г. в 11:55 pm

    Андрей:

    Как вариант, выделить общую часть URL у всех этих 700 страниц и прописать её в robots.txt в виде одной строки.

    В файл robots.txt можно помещать не больше 256 000 символов.

78. Anton:
    24 мая, 2010 г. в 3:07 am

    Спасибо большое, мне Ваши советы очень помогли!

    Подскажите пожалуйста для общего развития, если есть ссылки подобного типа http://site.ru/vmchk/igri.html и http://site.ru/igri.html а хочу что бы первый вариант не индексировался можно в Робот прописать:

    Disallow: /vmchk

    при этом будут ли индексироваться ссылки http://site.ru/igri.html ?

79. Автор блога Виталий:
    24 мая, 2010 г. в 10:26 pm

    Anton:
    Disallow: /vmchk - такая директива будет запрещать индексацию ВСЕХ объектов от корня сайта, которые НАЧИНАЮТСЯ с этих симоволов. Т.е. будет запрещена индексация файлов и директорий, содержащих в себе такую начальную комбинацию от корня сайта.

    Пример:
    vmchk1111 - если, допустим, на сайте будет такая папка, то её индексация будет невозможна
    vmchk-file.php - если на сайте будет (в корне сайта) такой файл, то его индексация тоже будет невозможна.

    В вашем случае это поможет запретить к индексации файл по URL http://site.ru/vmchk/igri.html

    Поскольку во втором URL не содержится комбинации vmchk, то страница будет индексироваться.

80. Наталья:
    28 мая, 2010 г. в 8:06 am

    Скажите а такой файл правильный,
    User-agent: *
    Disallow:

81. Автор блога Виталий:
    29 мая, 2010 г. в 8:37 pm

    Наталья:
    Да, правильный. Будет разрешено индексировать всё содержимое сайта.

82. Larisa:
    14 июня, 2010 г. в 12:48 pm

    Пожалуйста, помогите исправить ошибку - как раз по теме!
    Яндекс-метрика пишет:
    Информация: страницы намеренно запрещены к индексированию или не должны индексироваться.
    Страницы с ошибкой
    Документ запрещен в файле robots.txt
    Файл robots.txt содержит директиву, запрещающую роботу Яндекса индексирование этого документа. Чтобы робот мог проиндексировать документ, удалите запрещающую директиву. Ничего не запрещала:(
    Три страницы выпали из индекса.
    Что делать?

83. Автор блога Виталий:
    16 июня, 2010 г. в 12:18 pm

    Larisa:
    Дайте ссылку на ваш файл robots.txt. Без анализа самого файла трудно что-либо сказать.

84. Gelik:
    25 июня, 2010 г. в 2:50 am

    Здравствуйте, так и не понял из вашей статьи - можно ли запретить индексацию url адресов, содержащих определенный символ?
    Например, у меня имеется очень много url адресов содержащих символ " = ", все эти адреса я хотел бы запретить к инднксации. Вот примеры таких url -
    www.site.ru/index.php?option=com_virtuemart&Itemid=1&
    www.site.ru/index.php?page=shop.product_details&
    www.site.ru/index.php?category_id=32&
    www.site.ru/index.php?flypage=flypage_images_1.tpl
    www.site.ru/index.php?/Detskaya_kolyaska_lyulka_Inglesina_Classica_s_shassi_Balestrino_Italiya.html?fontstyle=f-smaller&pop=0

    Это не все возможные варианты, вариантов очень много, всех их объединяет одно, в каждом url есть символ " = ".

    Скажите пожалуйста, можно ли одной строчкой запретить индексацию всех url адресов, содержащих этот символ?

85. Автор блога Виталий:
    30 июня, 2010 г. в 12:39 pm

    Gelik:
    Запретить индексировать всё можно при помощи регулярных отношений, но стоит ли идти на такой крайний шаг. Ведь символ "=" служит символом присваивания переменной определённого значения. В некоторых случаях даже при помощи этого символа отдаются страницы сайта. Стоит ли идти на такие крайние меры?

    Я бы вам посоветовал запретить к индексации ненужные переменные. Например, так:
    Disallow: /index.php?option
    Disallow: /index.php?page
    Disallow: /index.php?category_id
    Disallow: /index.php?flypage

    Блокировать по символу "=" нецелесообразно, т. к. это служебный символ, и него одна функция в строке URL.

86. Gelik:
    30 июня, 2010 г. в 9:03 pm

    Спасибо за ответ, скажите, а как же быть с адресами такого вида? :
    www.site.ru/index.php?/Detskaya_kolyaska_lyulka_Inglesina_Classica_s_shassi_Balestrino_Italiya.html?fontstyle=f-smaller&pop=0

    Здесь после html идут ненужные символы, такие страници нужно тоже запретить к индексу, наверное это делается так?
    Disallow: /.html?

    По поводу целесообразности - на моем сайте установлен ЧПУ и все страници имеют такой вид:
    http://site.ru/index.php?/Detskie_kolyaski.html
    http://site.ru/index.php?/Detskie_kolyaski/Detskie_kolyaski_2_v_1.html
    http://site.ru/index.php?/Detskaya_kolyaska_2_v_1_ABC_Design_Turbo_3_S_Germaniya.html

    Другие, левые страницы я (и уверен что и Яндекс ) видить не хотим. Сайтом управляет joomla, это такая СМС, которая может генерить такие страници десятками в течении месяца. Если делать, так как вы советуете, а именно -
    Disallow: /index.php?option
    Disallow: /index.php?page
    Disallow: /index.php?category_id
    Disallow: /index.php?flypage

    То я боюсь, что просто не смогу быть уверен, что указал все возможные варианты в робот.тхт, поэтому целесообразней будет как раз запретить все url содержашие символ " = ", этот вариант удалит все текущие, не нужные страници и не даст попасть в индекс новосгенеренным. Скажите пожалуйста, как это можно реализовать?

87. Автор блога Виталий:
    1 июля, 2010 г. в 1:37 am

    Gelik:
    Заблокировать все страницы с расширением .html можно при помощи регулярных выражений:

    Disallow: /*.html$

    Такой синтаксис исключит абсолютно ВСЕ страницы с расширением .html. Если ваша CMS генерирует именно страницы с таким форматом, то вы ЗАПРЕТИТЕ ИНДЕКСАЦИЮ ВСЕХ ФАЙЛОВ САЙТА (т. к. все контентные страницы имеют это расширение).

    Заблокировать все страницы, содержащие "=", я вам не рекомендую, поскольку в некоторых случаях этот символ используется для создания команд, поисковики эту строку могут некорректно интерпретировать.

    Советую вам блокировать имена переменных, которые создаёт эта CMS:

    Disallow: /*fontstyle$

    В этом случае будут заблокированы все файлы с переменной fontstyle, а также файлы, которые в своих именах будут содержать эту комбинацию символов.

88. Gelik:
    1 июля, 2010 г. в 2:17 am

    Виталий, прошу уточнить послдний момент, вы написали -

    "Disallow: /*fontstyle$

    В этом случае будут заблокированы все файлы с переменной fontstyle, а также файлы, которые в своих именах будут содержать эту комбинацию символов."

    Вы пишете, что будут заблокированы ФАЙЛЫ, а мне бы хотелось заблокировать URL адреса, или вы это и имели ввиду?
    То есть, при выражении "Disallow: /*fontstyle$", будут заблокированы страници с адресами, например -

    www.site.ru/index.php?/Detskaya_kolyaska_lyulka_Inglesina_Classica_s_shassi_Balestrino_Italiya.html?fontstyle=f-smaller&pop=0
    и
    www.site.ru/index.php?fontstyle=f-smaller&pop=0
    />
    и
    www .fontstyle.ru/бла-бла-бла
    и
    www.site.ru/index.php?fontstyleblablabla.html

    Все ли я правильно понял? спасибо за ваши ответы!

89. Автор блога Виталий:
    1 июля, 2010 г. в 9:41 pm

    Gelik:
    При использовании Disallow: /*fontstyle$ будут заблокированы любые символы в URL после первого символа /. Извините, в прошлом комментарии неправильно выразился, запрет касается URL. Под запрет попадает и индексация файлов с такой комбинацией, и переменных.

    Т. е.
    www .site.ru/index.php?/Detskaya_kolyaska_lyulka_Inglesina_Classica_s_shassi_Balestrino_Italiya.html?fontstyle=f-smaller&pop=0 - будет заблокировано

    www .site.ru/index.php?fontstyle=f-smaller&pop=0 - будет заблокировано

    www .fontstyle.ru/ - к доменам это не относится, блокировка касается только содержания конкретного сайта с корневой директории (т. е. с символа "/").

    www .site.ru/index.php?fontstyleblablabla.html - будет заблокировано

90. Дмитрий:
    2 июля, 2010 г. в 12:38 am

    Здравствуйте!!Пожалуйста помогите!!!Я новичок в это деле!Создал сайт на плаформе "ucoz" ,зарегистрировался в гугл , сайт досих пор не появился в поисковике,даже когда вбиваешь сам сайт / не могу снять запрет индексации для гугл.Заранее спасибо)

91. Автор блога Виталий:
    3 июля, 2010 г. в 8:23 pm

    Дмитрий:
    В системе UCOZ стоит ограничение на новые сайты. Сделано это с целью избежания создания сайтов для спама. Через месяц после регистрации сайта на UCOZ можно будет этот файл и открыть сайт для индексации для всех поисковых машин Интернета.

92. Толя:
    5 июля, 2010 г. в 3:40 pm

    Здравствуйте. Подскажите, пожалуйста.
    Есть ссылки типа:
    www.site.ru/magazin.html?page=shop.ask&flypage=flypage.tpl&product_id=29&category_id=4
    www.site.ru/magazin.html?page=shop.ask&flypage=flypage.tpl&product_id=27&category_id=4
    magazin.html?page=shop.ask&flypage=flypage.tpl&product_id=21&category_id=4
    Такие ссылки нужно запретить к индексации. Подойдет ли такая запись?
    Disallow: /*shop.ask$
    Заранее, спасибо за ответ.

93. Автор блога Виталий:
    5 июля, 2010 г. в 9:08 pm

    Толя:
    Можно вашим способом, можно и таким:

    Disallow: /magazin.html?page=shop.ask

94. Толя:
    5 июля, 2010 г. в 10:48 pm

    Благодарю! Спасибо за помощь)

95. Толя:
    5 июля, 2010 г. в 10:50 pm

    Автор блога Виталий:
    Можно вашим способом, можно и таким:

    Disallow: /magazin.html?page=shop.ask
    А случайно не надо после всей строчки знака $ или * ?

96. Толя:
    6 июля, 2010 г. в 12:50 am

    Проверил через вебмастер.яндекс, вроде все работает правильно, еще раз спасибо!

97. Автор блога Виталий:
    7 июля, 2010 г. в 1:23 am

    Толя:
    Нет, не надо. Регулярные выражения используются только тогда, когда нужно изолированный сегмент в URL заблокировать.

98. Ильдаро:
    12 июля, 2010 г. в 2:39 pm

    Отличная статья. Но у меня вопрос!
    Если я включил в джумле свой (встроенный) ЧПУ, как можно удалить запретить стары урлы типа /index.php?com=comp&bla=bla... Достаточно ли
    Disallow: index.php
    или нужно Disallow: index.php*
    ?

    И еще.
    В этом же случае (при встроенном чпу). передается партнерский ID. Вида site.ru/?pid=2. Правильно ли (и нужно ли?) Ставить:
    Clean-param: bns /*
    ?

    И еще!
    Disallow: /*component/page,shop.product_details/
    Disallow: /*flypage,shop.flypage/
    Disallow: /*vmcchk,1/
    Это я хочу поставить, т.к. flypage я удалил из кода и теперь все внутренние ссылки БЕЗ него. И "component/page,shop.product_details/option,com_virtuemart" теперь тоже нет. Везде теперь "component/option,com_virtuemart/page,shop.browse/"
    т.е. привел в порядок последовательность в урл. В джумле не имеет значения порядок, а для поисковиков, как известно, имеет.

    Джумла и VM у меня старые... каюсь. Но обновлятся пока не планирую (слишком много кода исправлено). Жду полноценного релиза VM.

    И вообще нужны ли какие-то подобные манипуляции, если гуглу и яндексу "скормлен" SiteMap?

    Заранее огрооомное спасибо!

99. Ильдаро:
    12 июля, 2010 г. в 3:09 pm

    Ну и в догонку:

    Allow: /components/com_virtuemart/shop_image/category
    Allow: /components/com_virtuemart/shop_image/product
    Disallow: /components/

    Яндекс/Гугл "доберутся" до картинок?

100. Автор блога Виталий:
     16 июля, 2010 г. в 1:50 pm

     Ильдаро:
     Мы уже разбирали пример с joomla чуть выше в комментариях. Там есть много полезной информации.
     Disallow: /index.php - запретит индексацию ВСЕХ страниц, которые начинаются с index.php. Поэтому целесообразно запретить к индексации отдельные переменные в адресе, используя регулярные выражения.
     Например так:
     Disallow: /index.php?com - запрет на индексацию адресов, которые начинаются через эту переменную.

     Запрет реферральских ссылок и идентификаторов сессии делается так (для ссылки site.ru/?pid=2):
     Clean-param: pid /

     Запрет на индексацию отдельных переменных деляется через регулярные выражения

     Disallow: /*component/page,shop.product_details$
     Disallow: /*flypage,shop.flypage$
     Disallow: /*vmcchk,1$

     В Sitemap должны быть прописаны адреса, которые необходимо индексировать. Но если даже и имеются данные о старых адресах на сайте, то поисковая система не будет им следовать, поскольку приоритет отдаётся рекомендациям в файле robots.txt

     Необходимо убрать путаницу и выбрать что-то одно: либо Disallow: /components/, либо
     Allow: /components/com_virtuemart/shop_image/category
     Allow: /components/com_virtuemart/shop_image/product

     Конструкция Allow разрешает выполнить что-то, Disallow запрещает.

101. Ильдаро:
     16 июля, 2010 г. в 4:00 pm

     Да ничего страшного, если index.php не будет индексироваться. ЧПУшные ссылки-то "съедятся". А для чего $ в конце Disallow: /*component/page,shop.product_details$ ?

     "page,shop.product_details" может стоять и в середине URL. Или я чего не понимаю?
     + Clean-param: pid /* будет работать только для Яндекса, имеет ли смысл добавить "Disallow: /*?pid" для Гугла?

102. Автор блога Виталий:
     18 июля, 2010 г. в 11:08 pm

     Ильдаро:
     Символ $ в регулярных выражениях обозначает конец строки. Его нужно указывать тогда, когда важно показать сегмент, выделить что-то из общего потока данных.

     Когда вы указываете сегмент данных в URL, то не имеет значения, где он стоит. Он будет заблокирован в любом случае.

     Да, для Google сделайте отдельное правило запрета, т. к. Clean-param - реализован компанией "Яндекс".

Хотите высказать своё мнение по теме? Пишите!