Опции Anti-Flood и Anti-Crawler от CleanTalk
CleanTalk SpamFireWall
SpamFireWall — дополнительная опция плагина CleanTalk Anti-Spam, которая блокирует доступ к веб-сайту с наиболее спам активными адресами(блокирует Get-запросы). Спам-боты блокируются брандмауэром веб-сайта до того, как они получат доступ к веб-сайту, это предотвращает загрузку страниц веб-сайта спам-ботами, поэтому вашему веб-серверу не нужно запускать все скрипты на этих страницах. Это может снизить нагрузку на базу данных и веб-сервер.
Если на вашем сервере используется Varnish, то SFW может влиять на скорость загрузки сайта, в этом случае вам необходимо отключить SFW в настройках плагина.
Anti-Flood и Anti-Crawler предназначены для блокирования нежелательных ботов, парсинга контента, цен на товары или агрессивного сканирования сайта.
При агрессивном сканировании сайта боты могут вызвать серьёзную нагрузку на сервер, при этом скорость работы сайта снижается, он начинает работать медленнее и поисковые системы могут снизить позиции сайта в поиске.
Поисковые боты, такие как Google, Bing, MSN, Yandex — не будут блокироваться, так как находятся в исключениях. Тем не менее, вы можете использовать свои собственные белые списки для разрешений. Подробнее о белых списках здесь: https://cleantalk.org/help/sfw-blacklist-usage
Ботов можно блокировать по параметру User-Agent, инструкция здесь: https://cleantalk.org/help/filter-ua
Как работают опции
CleanTalk Anti-Crawler — предназначен для блокирования всех типов ботов посещающих страницы сайта. Во время первого посещения страницы, происходит выполнение спам проверки, если проверка не выполнена, то при последующем посещении страниц, будет выдаваться страница блокировки. Страница блокировки так же имеет механизм спам проверки и если она будет выполнена, то IP перейдет на страницу сайта. Подробнее о возможности работать с User-Agent посетителей можно прочитать здесь. Эта опция отключена по умолчанию, включить можно в настройках плагина, Панель управления WordPress -> Настройки -> Anti-Spam by Cleantalk -> Продвинутые настройки ->Anti-Crawler.
Если есть ложные блокировки, тогда следует отключить опцию Anti-Crawler. Подобные проблемы могут возникать из-за куки-файлов на сайте или из-за кэширующих плагинов. Пожалуйста, выставите опцию "Устанавливать куки-файлы" на значение "Использовать альтернативный механизм для куки-файлов" или "Выкл" и переключите опцию "Добавлять пиксель от CleanTalk для улучшения определения IP-адресов" на "Через JavaScript".
Если не помогло и вы всё равно хотите использовать Anti-Crawler дальше, то свяжитесь с нами здесь: https://cleantalk.org/my/support.
CleanTalk Anti-Flood — предназначен для блокирования агрессивного поведения ботов. В настройках опции, вы задаете максимально возможное количество посещаемых страниц сайта за период времени. Если IP адрес посетил большее количество страниц за отведенный период времени, то ему плагин выдаст страницу блокировки. Страница блокировки показывается в течении 3 секунд и в течении этого времени, IP адрес не сможет открыть ни одну страницу сайта. По окончанию времени блокировки, он сможет продолжить посещение страниц и счетчик будет отсчитывать посещения заново. Эта опция отключена по умолчанию, включить можно в настройках плагина, Панель управления WordPress -> Настройки -> Anti-Spam by Cleantalk -> Продвинутые настройки ->Anti-Flood.
Как пример, по умолчанию выставлено значение 10 посещений в минуту, в этом случае любой IP-адрес, который откроет 10 страниц сайта в течение 1 минуты, будет заблокирован на 30 секунд без возможности посетить сайт в течение этого времени.
Вы можете установить свои собственные значения, сколько страниц сайта в минуту может посетить IP адрес, до блокировки. Настроить количество просмотров страниц вы можете в настройках плагина: Продвинутые настройки —> Anti-Flood Page Views Limit.
Статистику блокировок для опций CleanTalk Anti-Flood и Anti-Crawler вы можете посмотреть в журнале SpamFireWall: https://cleantalk.org/my/show_sfw
Если Вы не нашли ответ на интересующий вас вопрос, то предлагаем вам связаться с нашими специалистами. [ https://cleantalk.org/my/support/open ].