Альтернативная карта сайта или технология Sitemaps | О раскрутке сайта простым языком

DATAWORD - наблюдения оптимизатора
Раскрутка сайта и поисковая оптимизация

 
  

Альтернативная карта сайта или технология Sitemaps

Раздел блога: SEO-приёмы | 19 сентября 2007, 01:48

Версия для печати Версия для печати

SitemapsВо многих статьях, описывающих эффективные методы индексации сайта, не раз говорилось, что путь к сердцу любой поисковой системы – это карты сайта.

И это действительно верно, т. к. основной принцип нахождения новых страниц поисковыми системами – это переход по ссылкам, опубликованным на странице.
Так происходило раньше, да и что скрывать, сейчас этот метод не утратил своей значимости даже в виду внедрения новых более эффективных методов сбора новых ссылок.

Сколько себя помнит Интернет, веб-мастеры всегда пытались угодить поисковым паукам - помочь им собрать детальную информацию о структуре развиваемого ими сайта.

Первым, самым древним и вполне естественным способом, было создание специальной страницы, на которой помещались все ссылки сайта. Назывались и называются такие страницы картой сайта. Принцип работы прост: поисковый робот при визите на эту страницу автоматически пройдёт по опубликованным там ссылкам и занесёт их в индекс.

Подобная схема была удобна раньше, но сейчас, когда сайты перестали собой представлять исключительно статические страницы, возникла новая проблема, связанная с неэффективностью метода публикации классического варианта карты сайта, т. к. мест для ссылок не хватает, страницы получаются большими по размеру, неудобными в эксплуатации, как человеку, так и машине.

На некоторых сайтах число страниц перевалило за 1 000, поэтому абсолютно все ссылки разместить на карте сайта стало невозможно. Коэффициент проиндексированности таких сайтов стал снижаться.

И проблема была решена. В июне 2005 года компанией Google был создан новый удобный формат описания страниц сайта для улучшения качества их индексации поисковыми системами.

Стандарт получил название Sitemaps 0.84. За основу был принят принцип текстовой базы данных XML, позволяющий компактно в текстовом файле описать структуру сайта, включая новые и опубликованные ранее страницы с возможностью указания дополнительной мета-информации. Эффективное решение Sitemaps, предложенное Google, стало пользоваться бешеной популярностью.

Популярность сказалась и на мнении других поисковых систем к новому подходу создания карт сайта. Так в ноябре 2006 года к поддержке стандарта присоединились такие поисковые гиганты, как MSN и Yahoo, а в апреле - и Ask.com. На радостях формат Sitemaps получил новую версию Sitemap 0.90, расширяющую функциональные возможности.

В мае 2007 года было официально объявлено о возможности подключения файла в стандарте Sitemap в файле robots.txt поисковиками Ask, Google и Yahoo, т. е. найти карту сайта Sitemap стало проще: достаточно указать его местоположение в этом файле, а за источник информации для Sitemap использовать RSS-ленты или обычные текстовые файлы.

С июня 2008 года поисковая система "Яндекс" также стала поддерживать технологию Sitemaps.

Особенности карты сайта по технологии Sitemap:

Технология Sitemap, как и было сказано выше, реализуется при помощи текстовых баз данных XML, позволяющих компактно хранить данные в удобном для человека и программы виде. Сам файл XML именуется sitemap.xml, корректно также и создание сжатого gzip файла (sitemap.xml.gz).

Стандартом Sitemap предусмотрены следующие возможности и ограничения:

- один xml-файл может содержать в себе не больше 50 000 адресов и быть объёмом не больше 10 мегабайт;
- в случае, если ваш сайт содержит более 50 000 страниц, а объём самого файла превышает 10 мегабайт, можно воспользоваться возможностью подключениея нескольких файлов sitemap.xml. В этом случае один файл делается индексным, описывающим все адреса к остальным файлам sitemap.
- Стандартом предусмотрена вложенность: в каждой директории может быть свой sitemap.xml, описывающий файлы в директории и в поддиректориях. Ссылок на директории, выше существующей, а также на посторонние домены (в этом списке и поддомены основного домена) быть не должно.
- Сам xml-файл должен быть в международной кодировке UTF-8.
- Все специальные XML-символы, если они не используются по назначению (т. е. не части тегов и параметров), должны быть закодированы (выполните маскирование). Это относится к амперсанду (&), одинарной кавычке ('), двойной кавычке ("), знак "меньше" (<) и знак "больше" (>).
- Все адреса и пути должны быть полными, включая префикс http://

Синтаксис карты сайта технологии Sitemap:

Пример файла Sitemap:

 <?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://www.site.ru/index.html</loc>
<lastmod>2005-01-01</lastmod>
<changefreq>monthly</changefreq>
<priority>0.8</priority>
</url>
</urlset>

Sitemap работает на основе технологии XML, поэтому в начале каждого сайта по традиции составляется xml-пролог:

<?xml version="1.0" encoding="UTF-8"?>
Указывающий версию xml и кодировку документа

Затем идёт ряд обязательных тегов:
<urlset> используется для указания начала и конца информации с данными о страницах, описанных в файле Sitemap (используя вложенные в него теги <url>), а также несёт дополнительную информацию обработчику (поисковой системе) через параметр xmlns, с каким стандартом он имеет дело и в случае чего URL, который описывает особенности определённого стандарта (схемы стандарта).
<url> - контейнер, содержащий информацию об определённой странице сайта.
<loc> - тег адреса описываемого документа, здесь мы пишем URL страницы.

В контейнер <url> также входит ряд необязательных тегов:
<lastmod> - дата последней модификации документа, используется формат год-месяц-число. Все данные в числовой форме. (Используйте этот тег с умом: не пишите здесь ложные значения, т. к. это приведёт лишь к излишней нагрузке на сервер)
<changefreq> - частота обновления страницы со следующими значениями: always,
Hourly, daily, weekly, monthly, yearly, never
.
<priority> - приоритет страницы над другими страницами сайта, т. е. ваше мнение об её важности относительно других страниц вашего сайта. Используется числовой формат из диапазона 0,0 – 1,0.

Важно помнить, что необязательные теги никак не влияют на ранжирование информации в Интернете. Эти данные всего лишь помогают определить субъективное авторское мнение о проекте.

Пример индексного файла Sitemap:

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>http://www.example.com/sitemap1.xml.gz</loc>
<lastmod>2005-01-02</lastmod>
</sitemap>
<sitemap>
<loc>http://www.example.com/sitemap2.xml.gz</loc>
<lastmod>2005-01-01</lastmod>
</sitemap>
</sitemapindex>

Здесь всё по аналогии: <sitemapindex> выполняет схожие функции, что и < urlset >. Основное отличие этого тега в том, что он описывает ссылки на sitemap-документы, а не на ссылки, как в случае с < urlset >.
<sitemap> описывает ссылку на другой файл sitemap.
<lastmod> указывает на время последнего обновления файла sitemap.

Как сказать поисковой системе о моей карте сайта Sitemap?

1) В поисковой системе Google в центре веб-мастеров указать URL вашего файла Sitemap,  в поисковой системе "Яндекс" - в разделе "Мои сайты"
2) Поместить сам файл в корневую директорию, дав ему имя sitemap.xml или sitemap.gz
3) Опубликовать в файле robots.txt информацию о вашей карте сайта. (Как это сделать, читайте здесь: https://dataword.info/robots.php)

Как создать карту сайта Sitemap?

1) Вручную написать синтаксис: очень неудобно, зато надёжно. Вы всегда будете в курсе дела.
2) Использовать специальные онлайн-сервисы генерации файлов Sitemap:
Например, можно это сделать здесь: http://www.sitemapspal.com/
3) Использовать CMS, которая это будет делать автоматически. Например, на CMS Wordpress можно подключить плагин, который будет автоматически генерировать карту сайта, сжимать её, сохранять на диске и отправлять в Google.

Дополнительная информация по стандарту Sitemaps:

1) http://www.sitemaps.org/ru/ - официальный сайт стандарта Sitemaps
2) http://ru.wikipedia.org/wiki/Sitemaps - информация о стандарте Sitemaps на Wikipedia



Перейти в начало страницы

Подписаться на rssНравится этот блог?
Подпишитесь на обновления блога (RSS)
.
Подпишитесь на комментарии (RSS).



Количество комментариев: 31

  1. Akel:

    Интересно, не знал что он как стандарт принят и его несколько поисковиков поддержали, спасибо за инфу :)

  2. Bohdana:

    Спасибо за статью, кто предупрежден,тот вооружен. Оказывается, у нас есть еще одно оружие!

  3. VLAD:

    Теперь я наверно понял в чём заключается моя проблема , у меня сайт не хочет индексировать поисковики, ето возможно из-за етого ! карты сайта нету !
    Спасибо за очень интересный и полезный материмал !

  4. Willie:

    Написано понятно, спасибо! Пойду делать карту сайта.

  5. Сергей:

    Предложенный сервис http://www.sitemapspal.com/ составил карту только для титульной страницы??? Непонял!

  6. Пользователь СГДС:

    Ну вот, Яндекс научился понимать сайтмапы, ждем того же и от рамблера.

  7. ne:

    От Google все копируют новые вещи, сами трудно придумать мозгов нет.

  8. Виталий:

    Google рулит, а яндекс в нете как Киркоров на эстраде. Ума у самого нет что-то придумать, ремейки клипает (чужое переделывает), так и яндекс!!!!

  9. killerlive:

    Радует то что развитие идёт и работа кипит! :mrgreen:

  10. Дмитрий:

    sitemap.xml для каждого из вышеперечисленых поисковиков один и тот же, или для каждого отдельный делать нужно?

  11. oleg:

    2Дмитрий:
    один и тотже

  12. invest:

    побольше бы таких статей, глядишь и мой сайт первый рейтинге :)

  13. Дмитрий:

    А мне вот интересно, когда на сайте делаешь новые страницы, sitemap каждый раз занова создавать придется?

  14. Евгений Дедюх:

    Просто добавить в старый sitemap новые страницы

  15. Marat:

    я так и не понял, ситемап сам обновляется?

  16. Автор блога Виталий:

    Marat, сайтмап - это всего лишь текстовый файл. Он сам обновляться не может. Нужен скрипт, который бы в него дописывал данные. В некоторых CMS этот скрипт уже реализован.

  17. mozgun:

    Обезательно ли сайтмап делать в кодировке utf8 ?

  18. Автор блога Виталий:

    mozgun, так гласит стандарт. А вы делаете сайтмапы в какой-то другой кодировке?

  19. Сайт:

    пасиба) очень интересная статья, только я не понял в priority надо уровень вложенности писать или что?

  20. Автор блога Виталий:

    Сайт:
    Необязательно, под данным показателем понимается то, насколько важна страница на сайте, но зачастую веб-мастеры ставят данные именно по вложенности. Т.е. главная страница имеет наибольший авторитет, а остальные меньший. Но это субъективный покатазель, это просто ваш совет поисковой системе, имейте это в виду.

  21. Евген:

    написал подробный мануал как создать карту сайта для WP и в целом улучшить показатели в поисковиках за счет плагинов, пользуйтесь  http://pridengax.ru/kak-sozdat-kartu-saita/

  22. Игорь:

    У меня вопрос, при составлении карты сайта пишется . Сам сайт написан на Windows-1251, что делать исправлять или я чего-то не недопонимаю?

  23. Автор блога Виталий:

    Игорь:
    Просто создайте файл sitemap.xml в кодировке UTF-8 и всё. Сам контент сайта можете оставить в кодировке Windows-1251.

  24. SERGEI:

    Tak a gde ee sozdat on-line ?

  25. Автор блога Виталий:

    SERGEI:
    Это можно сделать здесь:
    http://www.sitemapspal.com/

  26. Dmitriy:

    У меня сайт написан на html 4.01. Нужно ли корректировать страницы сайта под xhtml, или просто создать sitemap.xml

  27. Автор блога Виталий:

    Dmitriy:
    Не нужно. Создайте Sitemap.xml, как этого требуют правила. Остальные страницы не трогайте в этом плане.

  28. Игорь:

    У меня карта сайта не в html формате и сайт плохо посещается поисковиками. Попробую Вашу подсказку и посмотрим что получится.. :!:

  29. Suv:

    Всеравно не могу сделать эту карту

  30. Виктор:

    Меня интересует вот такой вопрос -как можно воспользоваться возможностью подключениея нескольких файлов sitemap.xml.Ничего не понял как и что сделать,если можно поподробнее не могли бы написать.

  31. Автор блога Виталий:

    Виктор:
    В нужных вам подкаталогах размещаете свои файлы sitemap.xml в корень ложете общий для них корневой sitemap.xml в котором описываете местоположение других файлов sitemap через тег sitemapindex. Пример есть у меня в статье.

www.liex.ru - автоматическое размещение статей с прямыми ссылками

Хотите высказать своё мнение по теме? Пишите!

ВНИМАНИЕ!
Комментарии, которые не несут смысловую нагрузку, могут быть удалены! В URL можно использовать только ссылку на ваш блог или Twitter, ссылки на другие ресурсы могут быть удалены.

Поля, помеченные *, обязательны для заполнения.


Наши партнёры: