Карта сайта. Нужна ли?

03 октября 2016, 18:00

Карта сайта. Нужна ли?

Карта сайта. Нужна ли?


Иероглиф смешной
Я в ладонях держу.
Не обронить бы...

Местный автор, многократно сталкиваясь с одним и тем же вопросом, раз этак на десятый вдруг понимает, что проще написать опус для дальнейшего отсылания к нему. Так что сегодня мы будем постигать, кто такая карта сайта, и зачем она нам даром не нужна.

Нет, оно, конечно, понятно, что если в каком-нибудь Яндекс-Вебмастере или Гугл-Аналитике есть раздел про теги дискрипшенов, или карту сайта, и там написано красными тревожными буквами, что оные на сайте пользователя не обнаружены, пользователь думает, что это непременно плохо. Надо дискрипшены написать, карту изготовить, и тогда искалка станет счастлива.

Но давайте не будем проповедовать «культ карго», который, естественно, не от большого ума. А строго в рамках логики и чтения первоисточников выясним все аспекты, связанные с пресловутой картой сайта.

Причём, как бы не любил отечественный пользователь отечественный же Яндекс, плясать надо не от него. С некоторого момента у этого поисковика нет собственных глобальных идей, а все его «инновации» просто содраны с Гугла. Так что к Гуглу в гости и пойдём.

Всё, что нам дозволено знать о карте сайта.

Это всего лишь одна страничка текста. Причём ничего технического в нём нет, текст прямо для бегиннера. Пробежимся по нему, задерживаясь в особо патетических местах, и растолковывая очевидное русским языком.

В самом первом же абзаце оговорено то, что 99% вебмастеров и принимают за суть и смысл. Но русскоязычный пользователь всё-таки не поймёт сразу ту суть верно. Ибо дословная цитата на великом и могучем звучит так: «Файл Sitemap позволяет сообщить Google и другим поисковым системам о том, как организованы данные на вашем сайте».

Вот тут не надо толковать сказанное дословно. В понимании 99% вебмастеров, карта сайта представляет собой перечень документов, который просто надо скормить боту, дабы тот проиндексировал сайт. Якобы достаточно какого-нибудь стороннего сервиса построения карты сайта, чтобы потом просто бросить на хост многомегабайтный файл, да и забыть о нём.

Но ещё на самом начальном этапе осознания сущности «карта сайта» включайте голову, дабы понять, что собственно перечень документов вообще ничего никому не даёт. Из него непонятна взаимосвязь документов, что там из чего следует, и как структурировано на сайте. Всё равно боту поисковой системы придётся обходить весь сайт, причём не один раз, чтобы правильно ранжировать его документы. Именно на основе фактической их иерархии и контента. А этого всего в карте сайта просто нет.

Другое дело, если самая лучшая в мире карта сайта (его навигация) устроена бездарно, и не продумана напрочь. В результате чего отдельные фрагменты сайта вообще никак не прилинкованы друг к другу, и не могут быть достигнуты путём серфинга.

Это практически идиотическая ситуация, и вряд ли встречается на практике часто. Но если вдруг встретится, то западная концепция всеобщей политкорректности даёт возможность даже полному идиоту не чувствовать себя настолько уж полным идиотом. Простой перечень документов даст понять поисковой системе, что в его сайте есть несколько кусков, почему-то не доступных через навигацию. Никакого иного смысла в простой перечень документов не вложено.

То есть пока, по прочтении первого абзаца мануала от Гугла, мы понимаем, что сайту с продуманной навигацией и грамотно выстроенной иерархией разделов и документов, карта сайта как таковая ещё ничего не даёт. Но обязывает регулярно её обновлять, дабы список документов был актуальным. Иначе смысла в карте нет вообще.

Из второго абзаца мануала становится понятно, что Гугл делает упор в карте сайта не на собственно перечне документов - тот извлекается ботом при очередном обходе сайта, и его не нужно формировать специально. Ценность этого перечня совсем в другом - в так называемых метаданных документов. К которым относятся:

  1. Элемент lastmod, дата последнего обновления документа.
  2. Элемент changefreq, периодичность обновления документа.
  3. Элемент priority, относительная значимость страницы.

Поэтому сразу понимайте, что всевозможные формирователи или генераторы карты сайта, коих в онлайне просто не счесть, вообще никак не удовлетворяют требованиям Гугла. Генератору просто неоткуда взять информацию о важных метаданных, перечисленных выше. Особенно если документы сайта их не возвращают в заголовках (хедерах) или МЕТА-тегах.

Стоит прямо сказать, что эти метаданные в виде карты сайта достаточно вторичны. Все правильные движки уже давно создают для каждого документа хедер Last-Modified (и даже If-Modified-Since для полного счастья искалки), а для периодичности обновления документа раньше даже был иносказательный мета-тег «revisit-after» (который, кстати, полностью игнорировался Яндексом). Посему при организации карты сайта придётся перегенерировать её чаще, чем ежесуточно - метаданные, отдаваемые документами сайта, должны соответствовать метаданным карты сайта.

Правда, возникает вопрос, зачем вообще тогда нужна карта сайта, если оригинальная информация отдаётся самими документами. Вроде бы пока незачем, но мы и прочли всего лишь два абзаца мануала, так что заявлять категорически что-либо ещё не вправе.

Третий абзац Гуглового мануала наконец-то ставит все точки над i. По мнению местного автора, возможность включения в карту сайта метаданных о видеофайлах и изображениях, имеющихся на сайте, и обуславливает всю полезность для Гугла карты сайта как таковой. Поисковик тут оперирует такими сущностями, как категория медиаданных, их легалайз (пригодность для семейного просмотра), тематика, тип лицензии (а они всякие бывают).

Фактически неполноценность HTML тегов (у них нет описательной компоненты напрочь) должна компенсироваться некоей внешней нахлобучкой в виде карты сайта. Этакая реинкарнация МЕТА-тегов, или схемы разметки сайтов, которые так и не выстрелили.

Если Ваш сайт содержит много видеоматериалов, полюбопытствуйте о структуре описания видео в карте сайта. Правда, при этом сперва помедитируйте на фразу «Google doesn't guarantee that all videos included in a Sitemap will appear in our search results, or that we will use all the video information included in your Sitemap» - работы-то много, но есть ли в ней смысл? Но об этом чуть позже.

С изображениями чуть проще - документ на русском.

Нужен ли мне файл Sitemap?

Этот параграф Гугловского мануала давайте чуть переиначим, и озвучим так: «когда мне совершенно точно НЕ НУЖНА карта сайта»

  1. Размер сайта невелик.
    Невеликий сайт для Гугла - менее 5-10 тыс. страниц.

  2. Навигация сайта непрерывная, до любого документа можно добраться.

  3. На сайте нет медиаданных, уходящих в Новости Гугла (это сервис такой для СМИ).

Пассаж про «Ваш сайт создан недавно, и на него указывает мало ссылок. Робот Googlebot и другие поисковые роботы сканируют Интернет, переходя по ссылкам с одной страницы на другую. Если на ваш сайт указывает мало ссылок, его будет сложного найти» местному автору конкретно тут не понятен, и смысла применительно к карте сайта лишён напрочь. Местный автор не знает, зачем этот кусок присутствует в Гугловском мануале про карту сайта.

В целом, потаращившись на всё это, местный автор чётко понимает, что грамотно сконструированный движок, все изменения отображающий на собственной морде (для чего пусть он имеет блоговую структуру), не испытывает никакой надобности в карте сайта. Если документы грамотно возвращают хедеры, понимаемые искалками, те тщательно и своевременно индексируют трастовые сайты. Не трастовым сайтам не помогут никакие карты сайта. Как и никакие МЕТА-теги, а так же любое другое шаманство.

Ну и имейте ввиду самую главную фразу из Гуглового Мануала, чуть ранее звучавшую на не родном языке: «Даже если вы создали файл Sitemap, это не гарантирует, что Google будет сканировать и индексировать все ваши страницы, так как эти процедуры выполняются при помощи сложных алгоритмов. В большинстве случаев эти файлы приносят пользу и не приводят к ошибкам».

Под «сложными алгоритмами» тут подразумевается индексирующий бот со всей его деятельностью. Под «В большинстве случаев файлы [карты сайта] приносят пользу и не приводят к ошибкам» следует понимать справочный характер самой карты сайта, которая либо принимается к сведению, либо отвергается, если её данные с очевидностью не актуальны, либо откровенно лживы.

Местный автор выразился бы конкретней. Вряд ли карта сайта Вам в чём поможет (никаких обещаний со стороны Гугла вообще нет), но зато и никакого вреда совершенно точно не последует. Хотя время и ресурсы на эту рудиментарную технологию Вы потратите.

Ну и поскольку местного автора спрашивают про конкретно его скрипты, и вопрошают, почему в них нету карты сайта, он столь же конкретно и отвечает: не нужна она тут, от слова совсем. Если Вы этого ещё сами интуитивно не поняли, значит, невнимательно читали сей опус.

Другие статьи категории «SEO - три весёлых буквы»

Бессылочное продвижение сайта самурайскими методами.

Бессылочное продвижение сайта самурайскими методами. Долгой зимой, когда всякая уважающая себя собака сытно лежит дома вповалку и, закатывая глаза, нюхает коврик, самураям тоже как бы не особо есть чем заняться. Никто же не пойдёт чуть свет по колено в снегу к вершине холма ловить там первый отблеск зари на острие клинка, ибо кимоно-то херовато.

Расстановка вебмастеров в кружочек раком.

Расстановка вебмастеров в кружочек раком. Наука и жизнь дружно переполняют нас уверенностью в том, что дважды в год шиза косит наши ряды особенно усердно. Сезонное обострение всевозможных шизоидных расстройств как раз приходится на весну и осень. Так уж сложилось. Аккурат примерно в это же время случаются и другие неприятные вещи…

Всё про хедер If-Modified-Since как на духу.

Всё про хедер If-Modified-Since как на духу. Всем писателям, практикующим складывание буковок в слова публичным способом, с последующей публикацией этих буковок на собственном сайте, посвящается. С выходом на практический аспект, если движок вменяемый, и позволяет легко и просто что-то в себе менять. А страдать мы сегодня будем, как и обычно, по SEO.
09 октября 2016, 12:43

№ 1Варнинги Гугла Консоли и Яндекс Вебмастера

Если карта сайта настолько не нужна, то почему в Google Search Console и Яндекс Вебмастер звучат такие формулировки в разделе "Возможные проблемы": "Робот не использует ни одного файла Sitemap. Это может негативно сказаться на скорости индексирования новых страниц сайта. Если корректные файлы Sitemap уже добавлены в очередь на обработку, сообщение автоматически исчезнет с началом их использования."

А в Google Search Console создан специальная консоль для сайтмепов сайта: google.com

Если сайтмеп настолько неважен, то почему для него выделяют отдельные (sic!) разделы для сервисе для вебмастеров в поисковиках?
Если читать статью местного автора внимательно (а невнимательно местного автора читать вообще не стоит), то в части про западную концепцию всеобщей политкорректности всё сказано предельно доступными русскими словами. Настолько доступными, что прямо по С. Лаврову. Превзойти которого просто невозможно.

Если кого-то тот кусок текста покоробит, то уж извините, но такова се ля ви - современный мир заточен под потребителя, который вообще не в чём не разбирается, но тешит себя иллюзией, что это не так. И ему можно втюхать что угодно - карту сайта, "оригинальные тексты" Яндекса, которые вообще не работают, и т.д

С другой стороны, тот, кто хочет заниматься ерундой, пусть занимается. Мы же имеем закон о защите чувств верующих, некое подобие закона о защите чувств патриотов. Ну пускай ещё будет социальная группа патриотов карты сайта, верующих в её действенность.

А то, что эта социальная группа не смогла постичь мысль про политкорректность, это её личные проблемы. Ну, не дано этого понять.

Максим
09 октября 2016, 17:02

№ 2Протокол SSL

Насколько возможно для Вас написать статью о необходимости SSL протокола (https) для повышения траста к нему и улучшения индексации со стороны поисковиков?
Вряд ли стоит, так как рядовому вебмастеру SSL мало доступно, и оная технология единственно по этой причине не может быть решающим фактором ранжирования. Или хоть сколько-то значимым фактором.

Исключительно умозрительно, сайт с сертификатом должен пользоваться большим доверием, чем без всякого сертификата. Если, конечно, доверяющий или не доверяющий признаёт этот самый сертификат. В последнее время на этой почве маленький фейл случился, если кто не в курсе. Не всё так просто.

Но, опять-таки, это справедливо не для любого сайта, а только для коммерческого, либо работающего с большой клиентской базой. Когда отследить авторизацию пользователя не так просто, это всяко лучше, чем когда авторизация вообще беззащитная, и легко ловится на уровне провайдера или Wi-Fi шлюза.

Вот только нет никакой гарантии, что поисковой системе это вообще важно, и хоть на что-то влияет. Насколько местный автор понимает, пока что SSL не влияет ни на что, и траста никакого не даёт.

Также имейте ввиду, что весьма скоро вебмастеров будут принуждать снимать тем или иным способом шифрацию с трафика в пределах Страны. Каким образом, пока не ясно (есть варианты), но, если Вы не банк и не Госуслуги или платёжная система какая-нибудь, SSL Вам выйдет боком.
Максим
Все заметки категории «SEO - три весёлых буквы»