Как использовать фильтрацию по User-Agent с помощью Anti-Crawler (Антипоисковик)

 

Мы расширили функции по работе с User-Agents для плагина Анти-Спам.  Возможности доступны только в плагине для WordPress. Чтобы включить фильтрацию по User-Agent, откройте настройки вашего плагина Анти-Спам:

Панель управленияWordPress -> Настройки -> Anti-Spam by CleanTalk 

И включите опцию SpamFireWall:

Опция SpamFireWall

Затем расширенные настройки (Панель управления WordPress —> Настройки —> Anti-Spam by CleanTalk —> Расширенные настройки) и включите опцию Anti-Crawler (Антипоисковик):

Filter UA option

Вы можете увидеть User-Agent в ваших Журналах SpamFireWall после того как Антипоисковик заблокирует запрос. С помощью кнопки "В персональные списки" вы можете добавить User-Agent в ваши персональные списки.

Обратите внимание, что добавит можно только User-Agent, который прописан в нашем списке. Google bot и Bing bot всегда разрешены, вы не можете добавить их в свои списки.

 

Журналы SpamFireWall

 

Управлять списками User-Agent'ов можно здесь. Нажмите "Добавить новый фильтр" и выберите тип User-Agent:

 

Фильтр User-agent

 

Затем выберите агента из выпадающего списка и добавьте его в белый или чёрный список:

 

Список User-agent

 

Список всех доступных User-Agent:

  • admantx.com
  • AhrefsBot
  • Akamai crawler
  • Alexabot
  • Applebot
  • archive.org_bot
  • AspiegelBot - HuaweiWebCatBot
  • Babbar.tech (Barkrowler)
  • Baidu
  • Better Uptime Bot
  • Bing
  • BrightLocalBot
  • CleanTalk Uptime bot
  • CloudFlare crawler
  • DuckDuckGo
  • FacebookBot
  • FeedBurner
  • Feedly Fetcher
  • FreshpingBot
  • Google
  • Grapeshot
  • GTmetrix
  • GumGum-Bot
  • HuaweiWebCatBot
  • Hypefactors
  • Lighthouse
  • Mail.ru
  • MailChimp
  • Majestic MJ12bot
  • Meetedgar.com
  • MirrorWeb
  • Petalbot
  • Pingdom.com bot
  • Pinterest bot
  • Printful WooCommerce Integration
  • proximic
  • Qwant Web crawler
  • Rambler bot
  • RankMathApi
  • RapidLoad (rapidload.io)
  • Reddit
  • Rogerbot - MOZ.com
  • Screaming Frog SEO Spider
  • Semrush
  • SEOkicks-Robot
  • serpstatbot
  • Seznam
  • ShipStation
  • ShortPixel Image Optimizer
  • Site24x7
  • Sitechecker
  • sogou spider
  • StatusCake
  • Sucuri Uptime Monitor
  • UptimeRobot.com
  • Wikipedia crawler
  • WooCommerce API
  • wordoftravel: Find Travel Blogs and Explore Destinations
  • WP Engine Smart Plugin Manager
  • WP Rocket
  • WPCompress
  • Yandex

Эти User-Agent задаются системой и не могут быть добавлены в персональные списки:

  • Baidu
  • Bing
  • CleanTalk
  • Google
  • Yandex

 

 

Если у вас есть вопросы о CleanTalk, то, пожалуйста, создайте приватное обращение здесь:

https://cleantalk.org/my/support/open

 

 

Была ли эта информация полезной?

Нет

Да




Возможно, будет так же интересно