01.08.2025
Клиент и проект:
Наш клиент — компания, занимающаяся решениями для водоснабжения и водоотведения в Москве и Московской области. Сайт заказчика работает на системе управления 1С-Битрикс.
Задача:
Модернизировать блокировку ботов сайта на новый сервис от Яндекса.
Боты:
За последние несколько месяцев мы и ряд наших клиентов обратили внимание на большой поток ботов, посещающих сайты. Увидеть это можно в Метрике как не реально большое количество прямых переходов на сайт. Это уже не хорошие поисковые роботы Яндекса, Гугла и ряда других сервисов. А мощный трафик всего - парсеры, заходы нейронок, поиск уязвимостей и т.п.
Боты ходят на все сайты, но на некоторых трафик ботов просто огромный. Блокировать или нет - однозначного ответа нет. Сервисы по блокировке есть, но качественных не очень много.
Эти посещения ботов портят статистику посещаемости сайта и создают сложности оценки реального трафика, включая анализ поведенческих факторов: показателя отказов, времени на сайте и количества просмотренных страниц.
Что было сделано?
Мы пробовали использовать Cloudflare и иной сервис, созданный фрилансером, для блокировки ботов. Cloudflare — это зарубежный сервис, работа которого по определенным причинам не всегда стабильна за последнее время. Что касается сервиса от фрилансера — в целом он свою задачу выполнял, но постоянно появляющаяся капча мешала работе с сайтом и Заказчик не особо доверял этому сервису.
Было принято решение подключить сервис Yandex Smart Web Security. Это новая разработка Яндекса. Сервис платный, но первые 2 месяца даются бесплатно для изучения и тестирования. Принцип его работы схож с Cloudflare. Сервис защищает Защита приложений от DDoS-атак, защищает API от ботов и поведенческих атак, защищает сайт от взломов и утечек данных.
Варианта подключения защиты два:
- Сайт переносится на виртуальную площадку в облако Яндекса, стоимость размещения входит в стоимость выбранного тарифа.
- Сайт остается на текущем хостинге и на него размещается скрипт сервиса. При заходе на сайт скрипт незаметно отрабатывает и в случае обнаружении бота блокирует соединение.
Клиентом выбрал второй вариант, зарегистрировался в сервисе и дал нам доступ. Мы выполнили настройки, получили скрипт и разместили его в "шапку" сайта.
Анализ:
Следующий шаг, спустя некоторое время, посмотреть Яндекс Метрику и убедиться, что, так называемая, Роботность находится на низком уровне.
Задача выполнена!
Время всех работ — 1 час: изучение вариантов подключения, настройка уровня защиты, отключение старого блокировщика ботов, размещение скрипта от Яндекс.
