Как использовать фильтрацию по User-Agent с помощью Anti-Crawler (Антипоисковик)

Мы расширили функции по работе с User-Agents для плагина Анти-Спам.  Возможности доступны только в плагине для WordPress. Чтобы включить фильтрацию по User-Agent, откройте настройки вашего плагина Анти-Спам:

Панель управленияWordPress -> Настройки -> Anti-Spam by CleanTalk 

И включите опцию SpamFireWall:

Затем расширенные настройки (Панель управления WordPress —> Настройки —> Anti-Spam by CleanTalk —> Расширенные настройки) и включите опцию Anti-Crawler (Антипоисковик):

Вы можете увидеть User-Agent в ваших Журналах SpamFireWall после того как Антипоисковик заблокирует запрос. С помощью кнопки "В персональные списки" вы можете добавить User-Agent в ваши персональные списки.

Обратите внимание, что добавит можно только User-Agent, который прописан в нашем списке. Google bot и Bing bot всегда разрешены, вы не можете добавить их в свои списки.

Управлять списками User-Agent'ов можно здесь. Нажмите "Добавить новый фильтр" и выберите тип User-Agent:

Затем выберите агента из выпадающего списка и добавьте его в белый или чёрный список:

Список всех доступных User-Agent:

• admantx.com
• AhrefsBot
• Akamai crawler
• Alexabot
• Applebot
• archive.org_bot
• AspiegelBot - HuaweiWebCatBot
• Babbar.tech (Barkrowler)
• Baidu
• Better Uptime Bot
• Bing
• BrightLocalBot
• CleanTalk Uptime bot
• CloudFlare crawler
• DuckDuckGo
• FacebookBot
• FeedBurner
• Feedly Fetcher
• FreshpingBot
• Google
• Grapeshot
• GTmetrix
• GumGum-Bot
• HuaweiWebCatBot
• Hypefactors
• Lighthouse
• Mail.ru
• MailChimp
• Majestic MJ12bot
• Meetedgar.com
• MirrorWeb
• Petalbot
• Pingdom.com bot
• Pinterest bot
• Printful WooCommerce Integration
• proximic
• Qwant Web crawler
• Rambler bot
• RankMathApi
• RapidLoad (rapidload.io)
• Reddit
• Rogerbot - MOZ.com
• Screaming Frog SEO Spider
• Semrush
• SEOkicks-Robot
• serpstatbot
• Seznam
• ShipStation
• ShortPixel Image Optimizer
• Site24x7
• Sitechecker
• sogou spider
• StatusCake
• Sucuri Uptime Monitor
• UptimeRobot.com
• Wikipedia crawler
• WooCommerce API
• wordoftravel: Find Travel Blogs and Explore Destinations
• WP Engine Smart Plugin Manager
• WP Rocket
• WPCompress
• Yandex

Эти User-Agent задаются системой и не могут быть добавлены в персональные списки:

• Baidu
• Bing
• CleanTalk
• Google
• Yandex

Если у вас есть вопросы о CleanTalk, то, пожалуйста, создайте приватное обращение здесь:

https://cleantalk.org/my/support/open