Продолжаем тему, поднятую в предыдущем посте «О пользе любви к большим сайтам». Ибо прав оказался один из авторов одного из комментариев- вокруг этого хулиганского поста плясать с бубном можно довольно долго, сводя тему к разным затейливым частностям, из которых суждено проистекать неочевидным конкретностям.

Тем с азартом и займёмся. Но сперва уместный абстракт.

Несколько лет назад, когда из домена http://lasto.com/ убрались обитавшие там кастрюли и сковородки, а также всякие непонятные тексты на немецком языке, даже в письменной форме звучащие для русского слуха крайне пренеприятно, и сей домен был перекуплен тем, кому он и должен принадлежать по праву, Мастер Ласто испытал некоторое затруднение.

Было отчего. Юзаемый тогда хостинг имел очень небольшую квоту по трафику, каскадные таблицы стилей (CSS) Мастеру ещё не покорились, РНР он тоже только-только начинал знать на уровне «моя хотеть сделать это», а сайт нужно было творить немедля. Такой, чтобы шибко много трафика не жрал- это и была основная проблематика.

Логичным выходом из ситуации послужила связка HTML + JavaScript, собираемые вместе РНР скриптом. Смысл понятен- если весь дизайн убрать в JavaScript, им же творить всякие менюшки, то код страницы будет максимально компактен. При условии кэшируемости JavaScript браузером серфера. Сейчас это всё решается дивовым дизайном, но, повторюсь, тогда его ещё не родилось.

Собственно говоря, в совершенно неизменном виде это живёт в http://lasto.com и поныне- там ничего не менялось года три-четыре. И имеет один существенный недостаток- вся эта навигация на JavaScript совершенно никак не индексируется.

Естественно, это непорядок, и во исправление оного тут же был порождён простейший скрипт, раз в неделю смотрящий внутрь каждой директории, и формирующий в коде индексной странички этой директории скрытые линки на все документы и все папки, там обнаруженные. Своего рода фрагмент карты сайта, как сказали бы сегодня. Но концепции этой полезности, лоббируемой сейчас Гуглом со товарищи, тогда тоже не было.

Да, времена деревянных игрушек :) Когда не существовало ни хрена буквально.

Это всё зашибись и здраво, увлекательно и познавательно, но пришёл черед перейти от абстракта к сути.

Суть же в следующем:

Наплодив кучку доменов, некоторые из них я сделал присоединёнными (коих на моём хостере разрешено иметь сотню штук совершенно бесплатно), совершенно забыв, как там у меня на сайте работает навигация, и кто творит фрагменты карты сайта. А творит их тупой скрипт, который совершенно не отличает папку текущего домена от папки с файлами другого домена.

Вы уже догадываетесь, что произошло?

Да, так и получилось- тупоголовый скрипт залинковался на папки внешних доменов с индекса lasto.com, незаметно для серфера, конечно, но видимо для ботов. Учитывая, что в тех доменах живут главным образом портаторы, которые при открытии папками в чужом домене будут ругаться на неверную лицензию, не показывая нифига более, ничего страшного не стряслось. Ругань на неверную лицензию- это за огрех не считается.

Однако бдительные юзеры, во всём ищущие подвох, и внимательно просматривающие код морды сайта Мастера Ласто, шибко озадачились, нафига же Мастеру потребовалось такое линкование. Не иначе как с ПиАром втихушку мутит, гад. Они ж не знали всего, что написано выше...

И когда их любопытство перевесило чувство такта, Мастер был спрошен прямо- ну зачем же линковаться на домен как на папку? Передавать ПиАр домену как внутреннему документу? Или ещё зачем?

Тут пришёл черед Мастера поскрести в затылке, и задать себе тот же вопрос. Ну а поскольку пить боржоми уже поздно, и Гугл держит в своём серпе все эти ссылки со всем накопившимся на них ПиАром, было решено склеить спонтанно возникшие локальные ссылки с мордами доменов.

Чтоб было понятно, представьте, что есть домен site-emulator.info, фигурирующий в корне сайта lasto.com как папка site-emulator. И чтобы линк lasto.com/site-emulator/ вёл на морду нужного сайта, в .htaccess файле этого сайта, естественно, нужно рассказать Апачу, что при таком переходе нужно делать:

RewriteCond %{HTTP_HOST} lasto\.com$

RewriteRule ^(.*)$ http://site-emulator.info/ [R=301,L]

Можете отдать адресной строке браузера УРЛ lasto.com/site-emulator/ и посмотреть, как это работает.

Теперь о том, ради чего весь пост. Тут есть интересный момент.

Вообще-то домену site-emulator.info полгода, и он планировался для применения в качестве домашней странички одноимённого скрипта нового поколения, который даже был порождён, но вовремя задвинут за холодильник. Не то чтобы чёрное SEO совсем умерло, просто заниматься им не шибко перспективно. Есть вещи, дающие больший результат при меньших затратах, и незачем соблазнять людей окольной дорогой в рай через зад. В рай-то попадёшь, но в каком виде...

Как бы то ни было, в указанном домене жили разные тестовые вещи, которые почему-то хреново индексировались. Вы знаете, как оно бывает- вроде бы и страниц в сайте много, и живут они долго, а в индексе любимого Гугла их нет. Что-то виднеется, но так, крохи...

Но мы за то и говорим, что вписывание вышеуказанных рулезов для Апача свершило чудо. Через несколько часов после втыкания правила редиректа с локального УРЛа на морду сайта, а если по сути, дублирования морды сайта site-emulator.info в адресе lasto.com/site-emulator/index.php (только морды только в этом УРЛе) на сайте образовался экстратрафик ботовой природы, а все существующие страницы сайта как-то резко попали в индекс. Возникли они там примерно через сутки.

Конечно, я не утверждаю, что фактически дублирование морды сайта со всеми абсолютными ссылками с неё в документе первого уровня вложенности пиаристого сайта всенепременно приведёт к такому вот эффекту экспресс-индексации. Ибо непонятно, с какого, собственно, рожна?

Но сдаётся мне, в технологии склейки страниц сокрыто много недоговорённостей, позволяющих немногим посвященным творить чудные вещи одним кликом мышки. Секретов у всяких хитрых редиректов до хрена и больше, и тут ещё таскать- не перетаскать на три поколения вперёд...

Ну а уж подумать-то всяко теперь есть о чём :)