Спам-боты, как правило, используют ботнеты – сети зараженных компьютеров, которые могут выполнять различные задачи от имени их хозяев. Размер ботнета прямо влияет на количество генерируемого трафика и степень его искажения. Чем больше количество машин в ботнете, тем больше запросов они могут отправлять на ваш сайт, что может привести к значительному увеличению нагрузки на сервер.
Это, в свою очередь, может вызвать проблемы с производительностью сайта, вплоть до его недоступности для обычных пользователей. Кроме того, это может усложнить анализ трафика, так как легитимные и бот-трафик смешиваются. Для защиты от таких угроз владельцы сайтов могут использовать различные методы, такие как системы защиты от DDoS-атак, фильтры для выявления подозрительной активности и нужные настройки в веб-серверах.
Общее понимание и анализ трафика также помогает в своевременной идентификации и блокировке нежелательной активности, что в конечном итоге усиливает безопасность сайта и улучшает качество обслуживания его пользователей.
Всплески трафика действительно могут казаться позитивным признаком, указывающим на растущий интерес к вашему контенту или услугам. Однако, если этот трафик в значительной степени генерируется спамерами или ботами, это может привести к ряду проблем.
Во-первых, необходимо учитывать, что такой искусственный рост посещаемости может исказить аналитические данные, что затрудняет получение реального представления о поведении пользователей на сайте. Например, если большинство сессий составляют спам-трафик, это может привести к неправильным выводам о конверсии, времени на сайте и других ключевых показателях, которые важны для принятия бизнес-решений.
Во-вторых, spam и бот-атаки могут значительно повысить нагрузку на сервер, что увеличивает время загрузки страниц и негативно сказывается на опыте настоящих пользователей. Если сервер перегружен, реальные посетители могут столкнуться с проблемами, такими как длительное время загрузки или даже недоступность сайта. Это не только ухудшает пользовательский опыт, но и может привести к потере клиентов.
Кроме того, если вы не будете активно бороться с ботами и спамом, ваши позиции в поисковых системах могут пострадать. Поисковые системы, такие как Яндекс и Google, могут считать такой трафик ненадежным или вредным, что повлияет на ваш рейтинг в результатах поиска.
Чтобы эффективно решать эту проблему, владельцам сайтов следует регулярно анализировать источники трафика, использовать средства фильтрации в Google Analytics и Яндекс Вебмастере для исключения нежелательного трафика, а также применять различные механизмы защиты – от CAPTCHA до более сложных антиспам-систем. Эти меры помогут не только защитить ваш сайт от спам-ботов, но и обеспечить лучшие условия для анализа и оптимизации реального пользовательского трафика.
Блокировка спам ботов по IP (Источник: artkey.su)
Блокируем визиты вредоносных ботов по IP.
Блокировка IP-адресов ботов, таких как Biterika, Hetzner и т.п. является эффективным решением для уменьшения нежелательного трафика на вашем сайте. Это можно сделать различными способами в зависимости от вашего веб-сервера. Здесь я опишу, как это выполнить с использованием файла .htaccess для Apache и конфигурационного файла для Nginx.
Блокировка IP-адресов в файле .htaccess (Apache)
Чтобы заблокировать IP-адреса с помощью файла .htaccess, выполните следующие шаги:
Откройте файл .htaccess: Найдите файл .htaccess в корневой директории вашего сайта. Если его нет, вы можете создать новый файл.
Добавьте IP-адреса в черный список: Вставьте следующие строки в файл:
Замените IP-адреса на те, которые необходимо заблокировать. Можно перечислить несколько адресов.
Сохраните изменения: После внесения изменений обязательно сохраните файл.
Блокировка IP-адресов в конфигурационном файле Nginx
Если ваш сервер работает на Nginx, процесс немного другой:
Откройте конфигурационный файл Nginx: Обычно он находится по пути /etc/nginx/nginx.conf или в /etc/nginx/sites-enabled/default.
Добавьте директиву deny: В секции server добавьте строки, блокирующие нужные IP-адреса:
Аналогично, замените указанные адреса на те, которые нужно заблокировать.
Перезапустите Nginx: После внесения изменений убедитесь, что вы перезапустили Nginx для применения новых настроек:
Блокировка IP-адресов в .htaccess или конфигурации Nginx — это простой и эффективный способ защиты вашего сайта от нежелательного трафика. Однако стоит учитывать, что IP-адреса могут меняться, поэтому периодически проверяйте отчеты о посещениях и обновляйте список заблокированных адресов по мере необходимости.
Если требуется готовый файл с блокировкой ботов с большинства серверов с которых идет спам трафик, Вы можете обратиться к нам через почтовую форму. Файл условно бесплатный, - просьба просто зарегистрироваться на нашем сайте, и получить хорошую защиту от ботов для Вашего сайта - бесплатно. Мы не занимаемся продажей данного файла, как многие предприимчивые барыги, так как добрая половина сетей IP собрана не нами, а такими же людьми как и мы, которые выложили свои труды в сеть. Мы лишь дополнили его свежими данными которые собирали сами в течении года.
Основные серверы с вредоносными ботами:
Biterika, Hetzner, Jsc Datacenter, Proline, West Call, Martynova Irina Nikolaevna, Moshonkin Ilia Sergeevich, Alexander M. Belov, Amazon, - как облачные провайдеры серверов, предоставляют своим клиентам возможность развертывания и управления виртуальными машинами и приложениям в облаке. Однако, как и в случае с другими облачными провайдерами, существует вероятность того, что некоторые пользователи могут злоупотреблять услугами, используя их для действий, наносящих вред другим сайтам. Это может приводить к ряду негативных последствий.
Облачные провайдеры, такие как Amazon, Biterika, Hetzner и другие, предоставляют своим клиентам возможность развертывания и управления виртуальными машинами и приложениями. К сожалению, некоторые пользователи реально злоупотребляют этими услугами, используя их для хостинга вредоносных ботов и других преступных действий.
Это может привести к различным последствиям:
Нарушение правовых норм: Злоупотребление услугами может привести к правовым последствиям как для злоумышленников, так и для самих провайдеров, если они не предпримут меры по предотвращению таких действий.
Ущерб репутации: Компании, которые становятся жертвами атак или злоупотреблений, могут пострадать от ущерба репутации, что может снизить доверие к их услугам.
Увеличение расходов и ресурсов: Поставщики облачных услуг могут столкнуться с увеличением расходов на обработку запросов и защиту своих инфраструктур от киберугроз.
Усложнение управления безопасностью: Введение в эксплуатацию вредоносных ботов может создать дополнительные требования к безопасности, усложняя управление и мониторинг.
Облачные провайдеры, как правило, используют различные методы для предотвращения злоупотреблений, включая мониторинг трафика, фильтрацию и блокировку подозрительных действий, а также сотрудничество с правоохранительными органами. Тем не менее, остаётся важным, чтобы пользователи сами проявляли бдительность и ответственность при использовании сервисов.
Готовый файл защиты от ботов:
#Блокировка ботов
RewriteCond %{REQUEST_URI} !^/404$
RewriteCond %{HTTP_USER_AGENT} ^.*(Abonti|Amazonbot|aggregator|AnyBot|aranhabot|Aream%20Crawler|Autoconfig%20Test%20from%20USTC|AteniumBot|AhrefsBot|AhrefsBot/7.0|Aport|asterias|AccompanyBot|AESOP_com_SpiderMan|Adsbot|Alexibot|alienfarm|Fuze_Bot|g2crawler|gaeskeun_bot|Golfe|Anonymouse.org|attach|BackDoorBot|BackWeb|Bandit|BatchFTP|Bigfoot|Claude-Web|Fake%20bot|fake_bot|FAST-WebCrawler|fedcrawl|megavtogal.com|Gensparkbot|lolbot|Black.Hole|BlackWidow|BlowFish|BotALot|BTWebClient|Buddy|ChinaClaw|centurybot9|Collector|CommentReader|Copier|Curl|Custo|DIIbot|bytedancebot|Bytespider|bytedance|bytedance_bot|Baiduspider|MauiBot|GuzzleHttp|chimebot|CXK_Bot|edansbot|Fellow%20Links%20Parser%20Robot|GoodBot|Elisabot|ds-robot|DownloaderChrome|Dmbot|Dormouse|DnBCrawler|dark_NeXus_Qbot|QBOT|DF%20Bot|DaveCrawler|DAutoBot|GlobalGoalsDirectoryBot|loli_spider|Custom-AsyncHttpClient|CrawlyProjectCrawler|crawler_eb_germany|ChimeUnfurlAgent|ZumBot|YunSecurityBot|IZaBEE|trendiction|vebidoobot|Seekport|ICC\-Crawler|WinHttp|opensiteexplorer|alphaseobot|Sogou\s*web|Vagabondo|Re\-re\s*Studio|femtosearch|HttpUrlConnection|Microsoft\s*URL\s*Control|Detectify|Nimbostratus|VelenPublicWebCrawler|Researchscan|YisouSpider|tracemyfile|Apache[\s\-]*HttpClient|wget|ip\-web\-crawler\.com|ZmEu|360\s*Spider|clark-crawler|CLcrawler|CrawlBot|GlobalWebSearch|Collapsar\s*TEXT|libwww\-perl|HuaweiSymantecSpider|SolomonoBot|Indy.*?Library|Feed.*?Parser|Yahoo.*?Pipes|WordPress|DLE_Spider|binance|google%20resource|lunabot|TprAdsTxtCrawler|TrendsmapResolver|CF-UC%20User%20Agent|BackupLand|Barkrowler|BDCbot|Birubot|BLEXBot|BUbiNG|BuiltBotTough|Bullseye|BunnySlippers|Butterfly|Byteplus|bytovuha52.ru|CamontSpider|CCBot|GoogleRot|gregcrawler|Grover|Applebot|gschaid%20bot|HappyWing|HawaiiBot|Headless%20Chrome|Headless%20Edge|Centro%20Ads.txt%20Crawler|Cegbfeieh|claudebot|CheeseBot|CherryPicker|coccoc|CopyRightCheck|cosmos|VirusTotalBot|crawler|Crescent|CyotekWebCopy|CyotekHTTP|DataForSeoBot|DataForSeoBot/1.0|DeuSu|discobot|DittoSpyder|DnyzBot|DomainCrawler|DotBot|DownloadNinja|dcrawl|DISCo|Dolphin|Download|Downloader|dragonfly|Drip|DuckDuckBot|EasyDL|ebingbong|eCatch|StatOnlineRuBot|NetpeakCheckerBot|meta-externalagent|EirGrab|ms-office|JobsSearchToolbar|HealthCheckBot|Hello%20World|ImageMind|howBot|JobsSearchToolbar%201.2|Extractor|extract|EyeNetIE|FileHound|FlashGet|badbot|flunky|FrontPage|GetRight|GetSmart|GetWeb!|Go!Zilla|IBM%20Crawler|Trokambot|Go-Ahead-Got-It|gold\crawler|EasouSpider|EmailCollector|WebEMailExtrac|BananaBot|Barkrowler|EmailSiphon|EmailWolf|EroCrawler|Exabot|ExtractorPro|Ezooms|facebookexternalhit|FairShare|LMQueueBot|LWP|Mac_Finder|MFC_Foundation_Class_Library|Fasterfox|Fuzz|FeedBooster|Feedspotbot|Foobot|Genieo|GetIntentCrawler|Gigabot|GrapeshotCrawler|Dataprovider.com|PerplexityBot|PerplexityBot/1.0|Barkrowler|MojeekBot/0.11|AwarioBot/1.0|jaddjabot|KauaiBot|Mail.RU_Bot/Target/2.0|ISSCyberRiskCrawler|bytedance.com|webmaster.petalsearch.com|ev-crawler|gotit|GrabNet|Grafula|HMView|httplib|ia_archiver|igdeSpyder|IlseBot|InfoTekies|Intelliseek|InterGET|InternetNinja|Iria|Jakarta|Java|JetCar|JOC|JustView|Jyxobot|Kenjin.Spider|Keyword.Density|lftp|Go-http-client|GPTBot|jurgendata|Mail.RU_Bot/Robots/2.0|Info%20bot|GPTBot/1.2|Harvest|hloader|HTTrack|humanlinks|HybridBot|ieautodiscovery|Incutio|InfoNaviRobot|InternetSeer|Implcit:AdsTxt-Scrapr|ips-agent|IstellaBot|JamesBOT|JennyBot|TalkTalk|Ahrefs|AliyunSecBot|AntBot|AdsrvrBot|AdsTxtCrawler|Adventurer|AlexionResearchBot|advanced_crawler|AdsTxtCrawlerTP|atSpider|AdsTxtBot|autoemailspider|AdBot|bwh3_user_agent|China_Local_Browse|Atomic_Email_Hunter|Keerthi%20Bot|FlorKz.|KauaiSlowBot|JS-Kit|Jooblebot|k2spider|Kenjin|kmSearchBot|larbin|LexiBot|Linguee|LinkExchanger|LinkextractorPro|linko|LinkWalker|LinkpadBot|lmspider|LNSpiderguy|ltx71|lwp-trivial|magpie|MataHari|MaxPointCrawler|ResearchBot|researchxoftheweb|memoryBot|MIIxpc|Mippin|MisterPiX|MJ12bot|Uptimebot|Cliqzbot|DigExt|majestic12|80legs|Semrush|MJ12|MLBot|moget|MSIECrawler|msnbot|Demo_Bot_DOT|DSurf15a|EBrowse|IUPUI_Research_Bot|Labrin_Experimental|LetsCrawl|Lincoln_State_Web_Browser|Missauga_Locate|Missigua_Locator|Missouri_College_Browse|Mizzu_Labs|Mo_College|MVAClient|Educate_Search_VxB|FlfBaldrBot|msnbot-media|sohu_agent|Under_the_Rainbow|VadixBot|WebVulnCrawl|Wells_Search_II|WEP_Search|NetAnts|NetcraftSurveyAgent|NICErsPRO|NjuiceBot|NPBot|Nutch|OfflineExplorer|OLEcrawler|Openfind|GeedoBot|SeopultContentAnalyzer|Seopult|SeekportBot|thesis-research-bot|fidget-spinner-bot|openstat.ru|panscient|PostRank|PetalBot|Friendly%20testing%20bot|robots.py|RssReaderBot|RW_Crawler|ScamadviserExternalHit|friendly-spider|Friendly_Crawler|FriendlyCrawler|FriendlyRssReader|loadtest|ThinkChaos|TinyBotTestUA|TinyTestBot|TinyTestBoty|TMM%20Crawler|Konturbot|Konturbot/1.2|ProWebWalker|ContactBot|ContentSmartz|DataCha0s|EmailSpider|ESurf15a|Franklin_Locator|Full_Web_Bot_0416B|Full_Web_Bot_0516B|Full_Web_Bot_2816B|DBrowse|Guestbook_Auto_Submitter|Guest|Industry_Program|ISC_Systems_iRc_Search|Microsoft_URL_Control|HanaleiBot|LanaiBot|linabot|UrlTest|ptd-crawler|Purebot|TSpider|omgili|Unknown%20bot|PycURL|Diffbot|QueryNMetasearch).*$ [NC]
RewriteCond %{HTTP_USER_AGENT} ^.*(RepoMonkey|Riddler|RMA|Scrapy|SemrushBot|ALittle%20Client|MSIE%207.0b|MSIE%2010.0|MSIE%209.0|MSIE%207.0|MSIE%208.0|MSIE%206.0|MSIE%205.01|Trident/6.0|ev-crawler/1.0|LetsearchBot/1.0|CensysInspect/1.1|InternetMeasurement|InternetMeasurement/1.0|MJ12bot/v2.0.0|YaK/1.0|ClaudeBot/1.0|Baiduspider/2.0|ImagesiftBot|DotBot/1.2|BitSightBot/1.0|Refer.Ru|Amazonbot/0.1|OAI-SearchBot/1.0|BacklinksExtendedBot|ChatGPT-User/1.0|Perplexity-User/1.0|fluid/0.0|SeznamBot/4.0|CyberOKInspect/1.0|Trident/4.0|SurdotlyBot/1.0|linus-torvalds-loves-you|More|SemrushBot/7~bl|serf|SeznamBot|SISTRIX|SiteBot|SiteSnagger|Serpstat|Slurp|SnapPreviewBot|Production_Bot_DOT_3016B|Program_Shareware|psycheclone|ShablastBot|Snapbot|sogou_develop_spider|Sogou_Orion_spider|sogou_spider|Sogou_web_spider|Sogou|sogou_music_spider|seocompany|Soup|LieBaoFast|SEOkicks|SpankBot|spanner|spbot|Spinn3r|SpyFu|pcBrowser|Pockey|Pump|QueryN.Metasearch|RealDownload|Reaper|Recorder|ReGet|Siphon|tAkeOut|MJBot|MoonBot|The.Intraformant|Twiceler|URLy.Warning|Vacuum|VoidEYE|Web.Image.Collector|GeedoProductSearch|Magellan|magicsearchdev|Monibot|SCAN|Webclipping.com|WebFetch|WebSite|WebLeacher|Webster|leacher|WebWhacker|Wget|Whacker|Widow|WISENutbot|WWW-Collector-E|WWWOFFLE|Xaldon|Xenu|clshttp|libWeb/clsHTTP|LinkScan/8.1a.Unix|Microsoft.URL|BDBot|Bender|browserClientA|brands-bot|brands-bot-logo|BSbot|BotPoke|BorneoBot|Bimbot|ProPowerBot/2.14|Szukacz/1.4|toCrawl/UrlDispatcher|TurnitinBot/1.5|TurnItIn|MetadataScraper|mj-wordpress-crawler|p40Bot|my-tiny-bot|sc_bot|ViberBot|sitecheck.internetseer.com|SlySearch|SmartDownload|Snake|Snoopy|SpaceBison|Sqworm|Stripper|Sucker|SuperBot|SuperHTTP|Surfbot|Tagoobot|My%20Nutch%20Spider|statdom.ru|SputnikBot|suggybot|SurveyBot|suzuran|Teleport|Telesoft|TheIntraformant|TheNomad|TightTwatBot|Titan|TrackBack|True_Robot|ttCrawler|turingos|TurnitinBot|TOBBOT|bbot|UbiCrawler|UnisterBot|URLyWarning|UptimeRobot|VCI|Vedma|Voyager|WBSearchBot|WebAuto|WebBandit|WebDataStats|WebCopier|WebEnhancer|WebmasterWorldForumBot|WebReaper|webprosbot|WebSauger|WebStripper|WebZip|Wotbox|YottosBot|Yeti|Zao|Zeus|SuperMegaHyperColossalMassiveGiganticAstronomicalM|openstat.ru|MyBot|MegaIndex|Applebot|sempi.tech%20bot|SeoCherryBot|tes-cocrawler|test-bot|TestBot|TheInternetSearch|SEBot-WA|Spider|SSSSBot|StactBot|TenMillionDomainsBot|Storm-crawler|SummalyBot|Test%20Certificate%20Info|TestCrawler|The%20Knowledge%20AI|grabber|webpictures|keys-so-bot|proximic|rogerbot|beekport|archiver|nbertaupete95|NetAPI|yahoo|bingpreview|psbot|serpstatbot|alphabot|aspiegelbot|xforce-security|semantic-visions|admantx|CriteoBot|libwww|1M7bot|AAABot|likse|Magnet|Mag-Net|MarkWatch|LWP::Simple|OgScrper|Orbbot|Mozilla.*NEWT|WebEMailExtrac.*|Mata.Hari|Memo|Mirror|NAMEPROTECT|Navroad|NearSite|Netcraft|NetMechanic|NetSpider|NetZIP|NextGenSearchBot|NimbleCrawler|Ninja|Octopus|OutfoxBot|PageGrabber|pavuk|newspaper|Nicecrawler|NinjaAIBot|PoeSearchBot|NiueBot|Nutch%20Spider|nvdorz|PhantomBot|PhxBot|PlamoExplorer|VsuSearchSpider|python-requests|seostar|zgrab|CensysInspect|search-engine-indexer|PoliteCrawl|PopScreen%20Bot|PrivateBot|Snap%20URL%20Preview%20Service|r00ts3c-owned-you|PS_Daily|Rely%20Bot|RainBot|Searcherweb|Searcherxweb|Web%20Crawler|SearchExpress|web-crawler|WebBot|WebCrawler|WebRankSpider|seoscanners.net%20bot|SeoulBot|SkyworkSpider|Theophrastus|websusebot|WorksOgCrawler|WF%20search|WhatStuffWhereBot|white-analyz-bug|WorldBot|wpbot|Wordup-1|Wordupindexinfo1|polite-crawler|paloaltonetworks|SiteAnalyzerbot|dataforseo|ZyBORG|Download%20Demon|Download%20Devil|Download%20Wonder|Express%20WebPictures|Image%20Stripper|Image%20Sucker|polaris%20botnet|Indy%20Library|Mass%20Downloader|Microsoft%20URL%20Control|MIDown%20tool|Missigua%20Locator|Mister%20PiX|Offline%20Explorer|Offline%20Navigator|Papa%20Foto|Net%20Vampire|Web%20Image%20Collector|Web%20Sucker|Website%20eXtractor|Website%20Quester|WebGo%20IS|python\-requests|python|Yuuperbot|zebra-v2-bot|cyberok.ru|Zephuli-Bot|YFF35|zzhbot|_1z_bot|_zbot|craftbot|your-search-bot|XTC%20BOTNET|WanScannerBot|ALittle\Client|ALittle\%20Client|Apache\-HttpClient).*$ [NC]
RewriteRule . - [F,L]