Всё про хедер If-Modified-Since как на духу.

Всё про хедер If-Modified-Since как на духу.

Всем писателям, практикующим складывание буковок в слова публичным способом, с последующей публикацией этих буковок на собственном сайте, посвящается.

С выходом на практический аспект, если движок вменяемый, и позволяет легко и просто что-то в себе менять.

А страдать мы сегодня будем, как и обычно, по SEO. В этом оптимизейшене постоянно случаются какие-то пертурбации, которые в скриптах класса «любимый поисковиками» следует учитывать сразу же, как только те пертурбации начинают на что-то реально влиять.

О высокомерии поисковых систем.

Есть, есть такой эффект.
Вы про него должны хотя бы знать.

В частности, он проявляется в том, что поисковая система с некоторых пор больше не рассматривает любой ресурс Сети как самоценный, а исходит из достаточно формальных требований к этому ресурсу. Которые ни разу не очевидны даже для бывалого вебмастера, уже повидавшего в этой жизни практически всё.

В результате вебмастер вынужден делать крайне странные вещи: тянуть таксу за уши и хвост в разные стороны, организовывать поиск по сайту высоконаучным и особо извращённым способом, дабы повысить поисковый трафик хотя бы на треть, и т.п..

Само по себе всё это по отдельности и в совокупности никому особо не надо, но искалки этого зачем-то страстно хотят. Более того, они не перестают хотеть всё новых и новых вещей, не менее странных.

К примеру, поисковые системы современности, ссылаясь на обилие сайтов, своим поведением постулируют, что им невмоготу уже отслеживать отдельные документы, отлавливать их изменения, и своевременно переиндексировать контент. Нет, они в принципе не против всем этим заниматься, но и особым желанием не горят. А будут делать это постольку-поскольку. Может быть, вообще пару раз в год по великим праздникам.

В результате, если Ваш сайт не научен некоей особой магии (которой, конечно же, никто специально не обучает), индексироваться он будет хреново и медленно.

Свежая икона нашего иконостаса: If-Modified-Since.

Если мы откроем Библию вебмастера, то в «Технических требованиях» к сайту раздела про индексирование, третьим же пунктом (даже раньше, чем пойдёт речь про сакральный и кармический файл роботса) будет сказано о важности и облигатуарности поддержки Вашим сайтом этого HTTP-заголовка.

Про него в курсе не только лишь все, а мало лишь кто, так что чуть подробнее.

Если поисковая система знает о наличии на сайте какого-либо документа, она периодически его переиндексирует. Вдруг там понаписано чего нового, либо что-то старое зачёркнуто и переиначено на новый лад.

Но так как сайтов развелось немерено, тестирование на наличие изменений может протекать в облегчённом режиме. Когда поисковая система не смотрит сам документ, а проверяет сперва только его заголовки. По вебмастерски - хедеры.

Например, если в заголовке страницы через Last-Modified объявлено, что неделю назад в её контенте случились великие изменения, а поисковик видел этот документ в последний раз год назад, то, наверное, надо поставить данный документ в очередь на переиндексирование.

Всё это вполне логично, и все основные движки сайтов формировали заголовки Last-Modified для своих документов ещё с незапамятных времён.

Но постепенно подход сменился, и поисковая система перешла к новой итерации, к несколько иной логике. Или даже к другой парадигме - тут пока не понятно.

Теперь она не смотрит время последнего изменения файла, а спрашивает у сайта более конкретно: изменился ли этот файл с такой-то даты. Ну а уж сайт должен вернуть в заголовке Last-Modified дату последнего изменения документа, а также сам документ. А если документ с запрошенной даты не менялся, то контент документа возвращать вообще не нужно, а следует ответить лишь заголовком «304 Not Modified».

Для тех, кто в танке - такой заголовок без всякого контента в придачу не может быть воспринят браузером и просмотрен серфером, поэтому сайты обычно рисовать такое и вовсе не умеют. Теперь же этому надо учиться.

То есть Ваш ресурс должен организовать у себя ресепшен, учредить новую должность, нанять симпатичных девочек двойного назначения, работающих в три смены, и обязательно завести амбарную книгу с датами рождения всех документов, какие только есть на сайте. Ну и если какая буковка в документе изменилась, дата правки в амбарную книгу также должна вноситься. Чтоб по запросу Великого Гугла быть готовым мгновенно выставить 304 хедер.

Кстати, не думайте, что это чисто гугловская фишка.

Яндекс в своих рулёзах про индексирование шестым пунктом тоже постулирует важность заголовка Last-Modified, и по имеющейся там ссылке расскажет, чего будет, если его хотелки не удовлетворить.

До амбарной книги у Яндекса пока дело не дошло, но скоро всё будет точно так же, как и у Гугла. С лагом в несколько лет Яндекс внедряет всё, что Гугл навыдумывал.

Если вдумчивый читатель спросит у местного автора, зачем поисковику нужна эта морока с запросом заголовка If-Modified-Since и последующим ответом сайта, причём двояким, то местный автор склонен полагать, что поисковику стало сложно выдирать контент с просматриваемого документа, попутно выясняя, что тут является собственно контентом, а что относится к шаблону и рекламе. Корректный парсинг современного сайта - вещь не простая, и весьма ресурсоёмкая. Так что пусть сам сайт и делает всю эту работу - ему амбарную книгу с девочкой на ресепшене завести проще.

Поэтому тот, кто не хочет заводить на сайте ресепшен с девочками и амбарной книгой, со временем понижается в выдаче, так как индексирование его сайта будет соизмеряться с трастом ресурса. Траст невысок - индексируем раз в год. Со всеми вытекающими последствиями.

Тот, кто по жизни самый умный, и тут же смекнул, что переиндексироваться быстро и без очереди можно, подделав заголовки (возвращая 304 Not Modified на любой запрос с заголовком If-Modified-Since, даже если в реальности документ не менялся), наверное, будет с особым цинизмом выкрашен и выброшен, ибо не может быть, чтобы поисковик этого не предусмотрел.

Ну а пока местный автор видит, что документы движка, сделанного по уму, получают с Гугла больше трафика, чем такие же документы и в том же домене, но на движке без амбарной книги. Хотя документы примерно равноценны, и сидят в индексе искалки.

Скорее всего, то, что Вы прочитали в Справочном центре Гугла по соответствующей ссылке выше, есть святая правда, а так же один из параметров ранжирования. Это логично - искалка взаимно уважает тех, кто уважает её.

Как провериться?

Предельно просто - есть соответствующий сайт.

Лупите в форму проверки URL морды своего блога (или любого другого его документа, например, поста), и читайте приговор.

Как модернизировать свой софт?

Местный автор доработал все свои движки.
Обновляйтесь.

Пингвин Гугла в реинкарнации Минусинска Яндекса.

Как всякий вебмастер уже должен твёрдо знать, простые методы построения поисковой выдачи давно не актуальны. Ибо с ними весь ТОП быстро забивается чем попало. Потому как процедура манипулирования поисковой выдачей не сильно сложна, и доступна даже школьникам. Что плохо, в первую очередь для самой же поисковой выдачи.

Неестественные ссылки и грядущая реакция Яндекса на них.

По всему видать, на середину мая выпадет много разных событий, бьющих обитателей местных палестин обухом по темечку. Видимо, опять начнётся суета с валютой, появятся поводы для нескончаемых гуманитарных конвоев на сопредельную, и прочая, и прочая. Благости не предвидится. Со стороны SEO тоже подкрадывается один нежданчик, про который стоит быть в курсе всем сайтовладельцам.

Файл роботса и поисковый трафик.

Каждый вебмастер страждет познать Тайную Книгу Ктулху поисковых систем. Чтоб знать наперёд, чего такого страшного и радостного произойдёт, если сделать так-то и так-то. Ибо все боятся страшного, и жаждут радостного. Нет никакого способа узнать это, кроме как сотворив эксперимент. Ну так за дело.

№ 3У google.com Last-Modified не найден

Интересно, что у google.com Last-Modified не найден! У яндекса с этим получше - у него только 304 Not Modified не найден!

Гуглу не надо индексировать самого себя.
Да и никто другой Гугла тоже индексировать не собирается, верно?
Так что тут никакой интриги.
И двойные стандарты :)

Андрей