Как происходила индексация моего сайта поисковыми системами?
Раздел блога: Страницы сайта | 7 сентября 2007, 22:13
С момента создания моего сайта прошло определённое количество времени перед тем, как мой сайт заметили поисковые системы, начав его активно индексировать.
Сегодня мне бы хотелось вам рассказать о поведении различных поисковых систем на моём сайте. Изучать их повадки, признаюсь, довольно интересно, особенно когда много о поисковых системах читаешь.
Получается своего рода практика, которая постоянно сопоставляется теории, что позволяет делать новые интересные выводы о том, как же проходит сам процесс индексирования и ранжирования собственных документов в разных поисковых системах.
Я думаю, логично рассказывать появление поисковых систем в хронологическом порядке.
Первым мой сайт посетил Google, проиндексировав все страницы сайта. Это меня, собственно, не очень-то и удивило, т. к. я к тому времени уже знал о быстрой индексации новых сайтов этой поисковой системой.
Помимо подачи заявки на добавление сайта в интерфейсе веб-мастеров Google, одновременно на одном из моих сайтов была поставлена прямая ссылка с главной страницы для надёжности процесса индексации. Примерно через неделю-две сайт появился в индексе этой поисковой системы.
Вот что можно сказать об особенностях индексации моего сайта этой поисковой системой:
Робот посещает мой сайт реже, чем это делают наши "отечественные" поисковые роботы. Я замечал, что Googlebot приходит ко мне не чаще, чем раз в 3 дня (на проверку файла robots.txt приходит чаще), что, собственно, и отображается в Интерфейсе веб-мастеров Google.
Причём, каждый визит робота сопровождается кэшированием информации в хронологическом порядке. Этот хронологический порядок сохраняется при апдейтах поисковой выдачи системы.
Я провёл своего рода эксперимент: через определённые промежутки времени менял заголовок Title. Удивительным мне показалось то, что Google запомнил хронологию их изменения и выдавал с каждым апдейтом порядковые title (а также содержание самой страницы), присвоенные странице в разные промежутки времени.
Также была замечена ещё одна особенность Google: один раз я забыл по какой-то причине упомянуть запрет индексации одной из директорий сайта, что привело к её индексации. Сколько бы я не менял текст в robots.txt данная директория не исчезала из результатов поиска. Единственный действенный метод удаления ненужных проиндексированных страниц находится в центре веб-мастеров Google, чем я и воспользовался.
С индексацией в поисковой системе "Яндекс" было гораздо сложнее. Форма добавления ресурса на сайте "Яндекса" была заполнена в тот же день, что и форма Google, однако сайт в индексе не появлялся (даже несмотря на наличие внешних ссылок на сайт).
Возможно, медленной индексации сайта способствовало и то, что домен находится в зоне .info. В Интернете ходят слухи, что эта зона индексируется реже поисковой системой.
Проблему решила простая и в то же время эффективная вещь: поскольку мой сайт собой представляет нечто похожее на блог, я решил добавить RSS-ленту в сервисе blogs.yandex.ru с надежой на то, что мой сайт, наконец, проиндексирует хотя бы один из роботов "Яндекса".
И это сработало: сначала ко мне пришёл робот-индексатор rss, а за ним, как по цепочке, пришёл и основной индексирующий робот Yandex/1.01.001 (compatible; Win16; I).
В следующий апдейт поисковой выдачи мой сайт уже был в индексе этой поисковой системы. Прошло примерно 3 недели с момента запуска проекта. Не знаю, сколько бы индексация длилась, если бы я им не воспользовался.
Как ведёт себя "Яндекс" на моём сайте?
Вполне неплохо, робот заходит ко мне каждый день в поисках новой информации, индексирует её, в последствии она отображается в списке проиндексированных страниц. Обновления раннее проиндексированных страниц сайта проходят реже, чем включения новых страниц на сайте. Возможно, "Яндексу" помогает информация из RSS, этот факт, конечно, я проверить не смог.
"Рамблер", третья по популярности в Рунете поисковая система, меня заметил совсем недавно. Хотя форма добавления для индексации сайта в поисковой системе была мной заполнена давно.
Мне была не понятна задержка этой поисковой системы, поэтому я решил действовать дальше, вдумчиво вчитываясь в информацию, которая была предоставлена владельцам сайтов на сайте "Рамблера".
В первую очередь, по рекомендации самих разработчиков на сайте, мой проект был добавлен в Рамблер-Top 100. А также было написано письмо в службу поддержки Рамблера о том, что мой домен .info является русскоязычным.
Не знаю, что повлияло именно на индексацию сайта в этой поисковой системе: рейтинг, письмо или же внешние ссылки – в любом случае, сайт мой появился в индексе "Рамблера" после этих мер довольно быстро. Я даже не ожидал.
После включения моего сайта в индекс, робот "Рамблера" стал появляться на проекте каждый день по несколько раз. Каждое обновление страницы или добавление новой незамедлительно отражались в индексе на следующий день после добавления информации на сайт (Проиндексированные страницы находились очень хорошо по тегу title).
Я конечно и раньше слышал о возросшей "реактивности" "Рамблера", но представить это себе не мог. У меня есть мысли, что поисковая система вычленяет ссылки из RSS, направляя робота на индексацию новых страниц. Как-то раз разработчики упоминали такую возможность поисковой системы. Такую скорость индексирования пока не имеет ни один поисковик на моём сайте. Сейчас же, в январе, это не происходит. Не знаю, что там происходит у "Рамблера", но его визиты я стал замечать всё реже и реже.
Теперь хочется вкратце рассказать о других поисковых системах, которые индексировали мой сайт.
Yahoo довольно быстро меня нашёл. Форму добавления ресурса на их сайте я не заполнял. Вполне возможно, что поисковая система нашла меня по ссылкам. После публикации ресурса в Интернете мой сайт был проиндексирован ею через 3 недели.
Однако индексация сайта прошла неверно: то ли мой сайт ей показался странным, то ли она перешла с какой-то ссылки. В индексе поисковой системы показывались 3 довольно странные ссылки на мой ресурс. В таком состоянии это существовало довольно долго.
Пришлось принимать меры: в файле robots.txt было прописано поле Sitemap, которое указывало на мой файл Sitemap, откуда поисковые системы могут узнать о структуре индексируемых сайтов. Как оказалось, это сработало. Все страницы были корректно проиндексированы.
Поисковая система на моём сайте появляется довольно редко. Раз в 2 недели. Новые страницы исправно добавляются в индекс, но с неё идёт пока что очень мало трафика.
MSN меня тоже нашёл сам. По внешним ссылкам. Индексирует мой сайт редко, но в отличие от Yahoo, корректно это сделал с первого раза. Трафика с него пока что не наблюдается.
С поисковыми системами WebAlta и Gogo.ru пока что туго. Их поисковые роботы пока не появились на моём сайте. Возможно, ситуацию улучшит регистрация в каталоге Open.WebAlta и Каталог.Mail.ru. Но пока что будем за ними наблюдать. На дворе январь, роботы так и не появились на моём сайте.
А как у вас происходят дела с индексацией вашего сайта?
Перейти в начало страницы
Нравится этот блог?
Подпишитесь на наш RSS-канал.
Подпишитесь на комментарии.
9 сентября, 2007 г. в 9:40 pm
Каталог Вебальты - путь к успеху в этой ПС
9 сентября, 2007 г. в 10:59 pm
Наверное, нужно стать редактором их ODP
10 сентября, 2007 г. в 2:16 am
Насчет веб альты даже можно не париться - трафа на ней как в сахаре воды.
13 сентября, 2007 г. в 3:35 am
ну так развиваются ведь с каждым днем...
13 сентября, 2007 г. в 3:25 pm
24 сентября, 2007 г. в 10:18 am
А я уже замучился регистрироваться на Яндексе , а он меня всё не может проиндексировать. А вот Рамблер и вправду меня зарегистрировал быстрее всех. Полученный материал действительно полезен, думаю что теперь у меня получится с Яндексом.
24 сентября, 2007 г. в 11:57 am
30 декабря, 2007 г. в 4:50 pm
с какой поисковой системы к Вам приходит основная масса пользователей?
у меня с гугля. Яндекс даже рядом ле лежит =)
16 февраля, 2008 г. в 12:11 am
У меня тоже гугл намного чаще обращается, чем яндекс. В чем может быть проблема? В обоих поискавиках сайт проиндексирован.
16 февраля, 2008 г. в 12:27 am
26 февраля, 2008 г. в 4:13 am
Откуда приходит трафик зависит от темы сайта!
Например на сайт по теме демона для чата (тоесть узкопрофильный для програмистов) приходят восновном с гугла. Яша очень тупит (он нетолько разделяет фразы но и слова!!)
А вот на сайтик с гиф анимашками большинство с яндекса т.к. ищут ламеры и им кажется что счастье именно в яше, а гугль им непонятен..
З.Ы. спасибо за статью!
27 февраля, 2008 г. в 12:35 am
24 марта, 2008 г. в 7:38 pm
Они им "пользуются", а ищут гуглом
19 апреля, 2008 г. в 7:05 pm
wakh - это точно
лучше гугля пока ничего нету да и с индексом он успешней, забили б все дружно на яшку и проблем бы не было, а то пользуются ламерством наших пользователей и выделываются, а seoшникам сплошные проблемы - мелочи но неприятные.
4 мая, 2008 г. в 11:09 am
Народ, я непойму, а где смотреть, какие роботы когда заходили?
4 мая, 2008 г. в 1:25 pm
30 мая, 2008 г. в 1:40 pm
Не могли бы вы для новичков конкретизировать некоторые моменты? Как вы узнаете даты посещения роботами ваших сайтов? (Где нужно регистрироваться? Какие службы точно поисковиков дают такую информацию?) У меня к примеру висит сайт 3 месяца, так в яндексе ( служба "мои сайты") выдается информация, что мой сайт робот посещал последний раз 16 мая, а сегодня 30 мая. Как у вас получается, что роботы призодят чуть ли не каждый день?
6 июня, 2008 г. в 3:54 pm
17 сентября, 2008 г. в 8:37 pm
Таже проблема, ни гугл ни яндекс не хотят индексировать сайт:(
23 октября, 2008 г. в 4:19 pm
Кстати, у себя на блоге я тоже писал об этом. Если интересно мое мнение, заходите, пообщаемся.
11 ноября, 2008 г. в 2:12 pm
уже месяц как никакой поисковик не индексирует, обидно.
23 ноября, 2008 г. в 9:27 pm
Я пришел к выводу, что разные поисковики любят разные
домены (имею в виду бесплатные). Например "народные"
сайты - Яндекс и Рамблер. Мой сайт на Narod по неизвестной причине выпал сначала из MSN, потом из
Гугла и Yahoo по очереди. В Гугл пока "засунуть" его обратно не удалось. А вот на хостинге Yard.ru наоборот проблема с Яндексом.
А Юкозу - везде "зеленый" свет.:)
26 ноября, 2008 г. в 2:45 am
Пока видно только в Google ситуация с Яндексом под вопросом.. нехочет индексировать почти месяц прошёл..
27 ноября, 2008 г. в 1:23 pm
я что то понять не могу, почему, мой блог не находится никак, и причем он находится на самом гугле, и он же его и не находит, потом сайт на гугле, тож не находится, почему, подскажите как сделать так шоб они наконец меня нашли, подскажите пож..
28 ноября, 2008 г. в 1:13 am
28 ноября, 2008 г. в 1:15 am
22 декабря, 2008 г. в 9:38 am
У меня на нескольких сайтах посещения с Гугла в
1,5 раза болше чем с других поисковиков.MSN - пусто.
Гугл каждый день меняет количество проиндексированных стр., то увеличивает, то уменьшает. У кого так было.
2 января, 2009 г. в 6:01 pm
Засунул сайт golden-aces.com(интернет-казино) в поисковики одновременно 22 декабря 2008 в рамблер гугл(рус) апорт и яндекс.Самый первый проиндексировал мой сайт гугл.это случилось числа 27. Сначала не понял откуда приток посетилелей из запада.но потом решил проверить некоторые поисковики. yahoo меня сам нашел в том чесле и англоязычный.а вот яндекс и рамблер меня не как индексировать не хотят.хотя прошло уже ровно 10 дней...(((((.хотя на мой ресурс ссылок с каталогов не мало.ссылок 20 точно есть.пора бы яндексу и рамблеру. У меня опосения(может роботам что то не понравилось в контенте и метатегах?)Хотя у меня реливатность названия и контента (отличная 100%)(на каком то сервисе проверял)все слова ключивые из названия присутсвуют в контексте. и еще.у меня сайтик очень простой есть.делал года 2 назад по информатике на экзамене"клубная музыка".на народе.ру.Может мне там еще ссылку поставить.человек 9 в день имеется(несмотря на то что он проиндексирован только на яндексе)как думайте?
2 января, 2009 г. в 9:35 pm
3 января, 2009 г. в 10:02 pm
Спасибо,Виталий за ваш ответ!
5 января, 2009 г. в 1:06 pm
А сколько стоит оптимизация??
15 января, 2009 г. в 6:57 pm
А яндекс гавно
15 января, 2009 г. в 7:39 pm
Виталий здравствуйте.После моего письма мне написала поддержка вот такое письмо.И сказали что его не проиндексируют.Вот письмо
___________________________________
Здравствуйте, Игорь.
Вы писали 13 января 2009 г., 20:19:44:
Добрый вечер, уважаемая поддержка рамблер'а! Скажите пожалуйста,
почему сайт golden-aces.com до сих пор не прошел индексацию? Прошло
уже более 20 дней с момента занесения сайта в базу данных рамблер'а.Спасибо за ответ!
Ваш сайт не зарегистрирован в поисковой системе и поэтому не
индексируется ею.
Согласно правилам регистрации в поисковой системе, самостоятельно,
через форму на сайте Рамблера Вы можете зарегистрировать только
ресурсы домена .ru, а также некоторых стран СНГ.
(см. http://help.rambler.ru/faq.html?s=1837#q1840 )
Во всех остальных случаях следует отправить заявку на регистрацию
сайта по адресу mailto:search.support@rambler-co.ru .
Мы регистрируем только те сайты, которые могут представлять интерес
для наших пользователей. К сожалению, подобный сайт у нас уже
зарегистрирован, практически никакой новой интересной информации Ваш
сайт не содержит, поэтому мы не видим смысла в его регистрации.
--
С уважением,
Служба поддержки поиска
mailto:search.support@rambler-co.ru
Сохраняйте, пожалуйста, текст этого сообщения при переписке.
_____________________________________________________________
А как это понимать? Не бывает ведь сайта одного единственного на не индеитичную тему.Почему так????
17 января, 2009 г. в 3:25 am
13 февраля, 2009 г. в 12:34 am
Ну что я могу сказать... мой сайт проиндексировался на третий день и в яндексе и в гугле и в рамблере дня через 4. Секрет был понят раньше при раскрутке первого сайта... Так вот RSS это хорошо, но совсем не обязательно. Я добился быстрой индексацией добавлением сайта в закладки социальных сервисов, таких как БобрДобр. Так же использую эти сервисы для быстрой индексации новых страниц, добавляя закладки с ссылками на нужный раздел. Обязательное условие при добавлении закладок - указание популярных тегов. Почему быстро индексируется сайт в этом случае? потому как роботы с этих сайтов вообще не уходят (не то что заходят раз в три дня на ваш сайт) Они сидят на этих сайтах круглосуточно и переходят по опубликованным вами ссылкам на ваш сайт и успешно его индексируют. Плюс к этому закладки добавляют ИЦ не много, но десяточку дадут точно. Моему сайту две недели, но он уже весь проиндексирован, жду обновления ИЦ.
И так в догоночку не ради рекламы, а ради совета добавлять закладки удобно, используя bposter.net Кстати готов обменться ссылками, кому интересно пишите.
И про яндекс-люблю и ненавижу одновременно! Люблю за приток трафика, ненавижу за большую инертность и долготу индексирования не только самого сайта, а и размещенных на других ресурсах, где посещаемость за 1500 хостов в день...
Всем удачи!
27 марта, 2009 г. в 12:07 am
Народ помогите! Мой сайт salvia-magazin.narod.ru не хочет индексировать не один поисковик((( я в этом деле новичек, но попробуйте обьяснить как можно более простыми словами че нужно делать?! Индексировал вручную, не помогло, зарегистрировался на топ100 liveinternet и mail тоже не помогает((( может это все из за того что сайт на народе?
30 марта, 2009 г. в 4:04 pm
скоро будет целая наука о продвижении сайтов в поисковых системах)))действительно, Google проиндексировал сайт самым первым и буквально за два дня после подачи заявки...по поводу Яшки, то он был вторым(долго не приходил его робот ко мне в гости).Пришел случайно(была ссылка из форума...по ней он и проиндексировался)...в рейтинге Рамблера он был уже давно,однако посетил несколько дней назад)))
20 апреля, 2009 г. в 11:19 am
я в шоке от индексации Яндекса. У меня 4 сайта - не ахти какие - я еще пока новичок в этом деле, но как-то он один проиндексировал - 6 стр, второй пропустил, третий и четвертый - только главные страницы в индексе... а дальше? ссылки не нашел, чтоли?
в общем, спасибо блогоам, подобным этому, щас попробую "подвигать" сайты - может чего и получится
24 апреля, 2009 г. в 2:02 pm
25 апреля, 2009 г. в 7:03 pm
Я добавил свой сайт в сервис регистрации Яндекса. Робот загрузил 1 страницу и нашел 1 ошибку - "Документ запрещен в файле robots.txt", хотя я этот файл не редактировал.Как могло так получиться?
25 апреля, 2009 г. в 9:27 pm
3 мая, 2009 г. в 4:17 pm
Продолжение будет?
Были бы признательны
5 мая, 2009 г. в 6:38 pm
Здравсвуйте, Виталий.Мои посты под номером 29 и 34....рамблер проиндексировал сайт все же.А вот яндекс никак не хочет.Следовал советам Платона(что я только не делал)Дизайн сменил, уникальный контент 100% на главной, делал все удобно для пользователей и тд....но толку не помогло.Однообразные сообщения в течении 2-ух месяцев: "развивайте сайт......." и "наши алгоритмы приняли........" уже просто надоели.....Но через месяц увидел что Тиц у моего сайта стал 10.А в индексе так и нет.что мне делать? но раз тиц появился это лучше или нет? из этого следует что рото яндекс все-таки проиндексировал ссылки?! такое ощущение что суппорт яднекса на сайт даже не смотрит, а рандомам определяет включить в индекс или нет.Порой такие говносайты есть в рунете, что даже текс не разберешь из-за нудной рекламы......
6 мая, 2009 г. в 4:05 pm
10 мая, 2009 г. в 10:50 pm
Ну и у меня тоже.
10 мая, 2009 г. в 11:35 pm
Блин вот читаешь кажется тоже так напишешь, а сядешь писать ничего в голову не лезет..
14 сентября, 2009 г. в 3:11 pm
Мой сайт detiekb.ru Google и Yandex проиндексировали на 5ый день, чаще заходит google. Для того чтоб меня заметили поисковики ни че не делал.
15 сентября, 2009 г. в 5:10 pm
8 октября, 2009 г. в 9:41 pm
Кстати каталог Open.WebAlta уже умер, так что засунуть туда ничего не удастся....
16 октября, 2009 г. в 3:31 pm
3 ноября, 2009 г. в 3:16 pm
А у меня с рамблером борода какая то, блогу больше месяца, топ 100 поставил сразу же. Зона "ру" Яндекс и Google индексирует прекрасно, контент уникальный. А Рамблер всё никак.
5 ноября, 2009 г. в 9:02 pm
26 ноября, 2009 г. в 12:37 am
Здесь можно проверить индексацию сайтов - raskruty.ru/tools/index/
Проверка в Яндекс, Google, Rambler и Yahoo.
10 декабря, 2009 г. в 4:50 pm
У меня пока в индексе Яндекса 13 страниц. Очень медленно...
5 января, 2010 г. в 3:19 pm
У меня почему то сайт можно найти только по домену seoklub.ru а по поисковым фразам найти не могу. Сайт проиндексирован давно уже менят и описание и title и текст на страницах. Подскажите что можно сделать. Спасибо заранее.
6 января, 2010 г. в 4:28 pm
Такая же проблема как у Владимира.Сайт vo-bank.com который можно в Гугле найти только по домену.А в яндексе его еще нет.
9 января, 2010 г. в 1:51 am
А добавление и индексация, это всё бесплатно или платно??
9 января, 2010 г. в 4:49 am
Все приблизительно так и есть. Внес сравнил со своими наблюдениями, внес коррективы. Для Yahoo. Спасибо
11 января, 2010 г. в 3:27 pm
А мой сайт Яндекс не хочет индексировать. Спросила у Платона почему - ответил, что "Страницы Вашего сайта осуществляют перенаправление на страницы других доменов, не предоставляя пользователям какого-либо ценного собственного контента." - вот и думаю....чтобы это значило )
15 января, 2010 г. в 3:35 pm
31 января, 2010 г. в 2:52 am
Виталий, скажите пожалуйста, почему у меня в яндексе проиндексированна только главная страница
, хотя во всех остальных поисковиках, намного больше!? (сайт pavlyxa.ru)
Может такое быть, что мой блог находится в бане!?
Зарание спасибо!!!
31 января, 2010 г. в 3:16 am
14 февраля, 2010 г. в 9:11 pm
Обычно индексация сайта всеми поисковиками совпадает с завершением основной работы над сайтом.Когда сайт в наших глазах уже является сайтом с большой буквы.
А куда нам торопиться,если мы работаем для людей,а не для роботов?
20 февраля, 2010 г. в 8:39 pm
А по приколу сегодня вогнал в Гошу за 16 минут
22 февраля, 2010 г. в 4:46 am
У меня сразу как-то в Яндексе много страниц появилось, а вот шел он очень долго до меня.
Гугл пришел быстро, но страниц пока мало в индексе 