Эта информация будет полезна тем, кто подключил, подключает сейчас, или планирует подключать в будущем свой сайт к Дзен-каналу через RSS. Я вот связал свой сайт и канал на Дзене через RSS — ленту более года назад. Всё шло хорошо до определённого дня…
Предыстория
Работаю я, пишу статьи на сайте, которые автоматически досылаются и в Дзен-студию более года. На сайте ничего не менялось: плагин, ответственный за RSS-трансляцию тот же, настройки все те же, как вдруг на следующий день после ухода тов. Низамова с Дзена, т.е. с 01.11.2023г. транслирование материалов с сайта в Дзен-студию накрылось.
Вот условно: вчера работало, а с сегодняшнего дня — «Вася». Никакие новые настройки мной ни на хостинге, ни в Дзене, ни в материалах (публикациях) не применялись. Как так?
Никто и ничто не заставит меня поверить в такое совпадение. Хотя я знаю, что теоретически это возможно. Мне нужны были ответы. И началась 17-дневная переписка с тех. поддержкой Дзен.ру, а затем и ещё и с поддержкой хостинга Бегет.
Сначала тех. поддержка Дзен «лажу гнала»
▪️Мне предложили убрать теги <span> и даже <H3> из публикаций, на что я ответил, что полтора года они никому не мешали, и всё работало, с чего я их должен убирать? Тем не менее, я сделал как они просили, но это, разумеется, не помогло;
▪️Затем мне объявили, что у меня в RSS — ленте слишком много публикаций, и предложили удалить старые, не актуальные, короче, приказали оставить в RSS только публикации за последние 30 дней, и это, разумеется, не помогло;
▪️Они взяли большую паузу, и наконец ответили, что надо бы проверить не блокируются ли запросы ботов Дзена на хостинге. А вот это уже интересно! И я обратился с этим вопросом уже на хостинг.
Проблема была из-за бота oBot
Которым, судя по всему, представляется краулер Дзен.ру сайту. Давайте посмотрим комментарий тех. поддержки Бегет:
Так что помогла мне решить проблему Ольга Витальевна с Бегета) И поскольку файл .htaccess я не менял много-много месяцев, значит, с уходом Команды Низамова, они сменили даже ботов. О чём обычные авторы, использующие обмен RSS — Дзен, конечно же не знают)
Ну, вот докладываю: как только мне зарэмили в .htaccess 56 строку, которая блокировала доступ oBot к сайту, то трансляции RSS сразу же «взлетели», и стало всё как было:
Дзен-краулер оказался в списке «плохих ботов» в файле .htaccess, вот потому то и не было досылки публикаций с сайта в Дзен-студию.
Почему нужно ограничивать доступ ботов к сайту
Список «плохих» ботов давно уже известен сайтовладельцам, и если для работы сайты они не нужны, как вот в этом примере получилось, то таким ботам лучше заблокировать доступ на сайт.
Почему веб-мастера так делают? Куча ненужных пауков, ботов обращается к сайту, и нагружает его своими бесконечными запросами и посещениями. Так же благодаря им растёт так называемая роботность сайта.
Если мусорным краулерам (паукам), коих тысячи, не закрыть доступ на сайт, то может настать такой день, что их обращения к сайту так нагрузят ваш хостинг, что хостер попросту заблокирует ваш тариф из-за превышения максимальной нагрузки на сервер хостинга.
А повышенная роботность в Яндекс.метрике вашего сайта может являться причиной его отклонения в партнёрских программах, и вы не сможете такой сайт монетизировать.
Потому, советую начинающим сайтовладельцам изучить вопрос управления доступом роботов к сайту с помощью директив файла .htaccess. А если какие-то роботы нужны для взаимодействия с внешними системами, как у меня вышло с Дзеном, то с помощью знака # (решётка) нужному боту можно разрешить доступ к сайту. См. строку 56 на скрине.
А моя RSS — Дзен — эпопея подошла к концу, к счастливому финалу!