Авг 28

Допустим, есть некий сайт, который активно пытаются положить или спарсить боты. Нужно ограничить частоту запросов с отдельных IP-адресов и автоматически банить тех, кто попал под ограничение.

HttpLimitReqModule
Этот модуль позволяет ограничить частоту запросов по определенному ключу. Нам нужно по IP, исключая поисковые системы. Нам ведь совершенно не хочется забанить гугл, правда? :)

Добавим в /etc/nginx/nginx.conf (в секцию http) строчку:

limit_req_zone  $binary_remote_addr  zone=mysitelimit:10m   rate=4r/s;

Так мы ограничим число запросов до 4 в секунду с одного ип. Учтите, что вам, возможно, потребуется другое значение rate.

Теперь идем в конфигурационный файл виртуального хоста, например /etc/nginx/sites-enabled/example.com:

...
listen some_ip:80;
server_name example.com www.example.com;
root   /var/www/example.com/;
...
    location / {
        #ваша конфигурация

        limit_req  zone=mysitelimit burst=6;

        error_page 410 = @nolimit;

        if ($http_user_agent ~ Googlebot|YandexBot|bingbot|Baiduspider) {
            return 410;
        }

    location @nolimit {
        #ваша конфигурация
    }

    location ~* ^.+\.(jpg|jpeg|gif|png|svg|js|css|mp3|ogg|mpe?g|avi|zip|gz|bz2?|rar|swf|ico)$ {
        root /var/www/example.com/;
        access_log off;
        error_log off;
        ...
    }

Таким образом мы ограничили частоту запросов до 4 в секунду с всплесками до 6 и отключили лимит для поисковиков. Опять же, возможно, вам нужны другие параметры. Проверяйте на конкретном сайте. Заметьте, у вас обязательно должна быть отдельная локация под статику, иначе лимит будет распространяться и на нее, а это нам совсем не нужно.

Fail2ban
Установка типична: aptitude install fail2ban
Дальше создадим правило для nginx. В /etc/fail2ban/filter.d/nginx-conn-limit.conf

[Definition]

failregex = limiting requests, excess.*by zone.*client: <HOST>

И в конце /etc/fail2ban/jail.conf включим правило:

[nginx-conn-limit]

enabled = true
filter = nginx-conn-limit
action = iptables-multiport[name=ConnLimit, port="http,https", protocol=tcp]
logpath = /var/log/nginx/error.log
findtime = 300
bantime = 7200
maxretry = 10

Тут, возможно, вам нужно будет сменить путь на error лог своего хоста. Банить будем на 2 часа.
Теперь перезапустим fail2ban: /etc/init.d/fail2ban restart

Посмотреть список забаненых можно с помощью iptables -L fail2ban-ConnLimit

На этом все, можем пустить для теста ab на сайт, забанить себя и пойти попить пива :)

49 Responses to “Защищаем сайт от http flood с помощью nginx и fail2ban”

  1. Sergei Says:

    А если это не тупой расстрел из 10 машин, а относительно умный бот-нет, в котором 3,000 — 7,000 — 10,000 машин:
    — разбросанных по разным географическим регионам
    — отправляющих по 1 запросу в 1-15 сек (с рандомной задержкой, чтобы было похоже на реальный браузнинг)

    Как Вы их проанализируете ?

  2. jeka Says:

    Ну это уже более серьезная ситуация. На практике это решается несколько иначе. Весь трафик заворачивается на проксирующие сервера, которые отдают новым клиентам js заглушку, где нужно отправить например post запрос на определенный URL. После этого клиент попадает в вайтлист и все последующие запросы напрямую проксируются на целевой сайт. Основная идея тут в том, что в подавляющем большинстве случаев боты не исполняют js и трафик не доходит до реальных серверов. У меня есть более-менее работающий вариант, позже надо будет тоже в блог закинуть.

    Если интересно, вот пример такой заглушки от одного хостера:
    http://pastebin.com/hb5b2d0H

  3. AfroditaBuize Says:

    Мытищ – значит получить возможность пользоваться развитой городской и транспортной инфраструктурой жк афродита 2 афродита мытищи официальный. Продается 1-х комнатная квартира в Мытищах в новом монолитно-кирпичном доме в ЖК Спутник

  4. TwilaItake Says:

    Революционное обновление «XRumer 16.0 + XEvil 3.0″:
    решение captcha Google, Яндекса, Фэйсбука, ВКонтакте, Bing, Hotmail, Mail.Ru, SolveMedia,
    а также свыше 8400 (!) других видов captchas,
    с высокой скоростью (100 изображений в секунду) и точностью (80%-100%). В XEvil 3.0 реализовано подключение любых SEO/SMM программ — XRumer, GSA, ZennoPoster, VKBot, A-Parser,
    и многих других. Готовится абсолютно бесплатная демо-версия. Интересно — ищите в YouTube «XEvil: new OCR — captcha solver»

  5. ScottFoowl Says:

    Hello. http://jakshgy773733.us

  6. MashaROW Says:

    Дане повідомлення розміщено тут за допомогою XRumer + XEvil 4.0
    XEvil 4.0 — революційне додаток, здатне обходити практично будь-яку антибот-захист.
    Розпізнавання капчи Google (ReCaptcha-1, ReCaptcha-2), Facebook, Yandex, VKontakte, Captcha Com і понад 8400 тисяч інших типів!

    Ви читаєте це — значить, це працює! ;)
    Подробиці на офіційному сайті XEvil.Net, є безкоштовна демо-версія.

    See also:
    https captcha 956

  7. Juliezbaw Says:

    Is this website alive?
    Or….NOT?!

    Thanks.

    I Need XEvil.
    XEvil 4.0 can break Google ReCaptcha-2!

  8. FishingEurek4c0m Says:

    Shop for all your fishing gear needs at http://www.FishingEureka.com/ ;
    Featuring rods, reels, bait & tackle, tools and supplies for saltwater, freshwater, ice & fly-fishing.
    FREE Shipping Worldwide! (No Minimum Orders!)

  9. ephresGott Says:

    В этом что-то есть. Спасибо за информацию, может, я тоже могу Вам чем-то помочь?


    Я извиняюсь, но, по-моему, Вы допускаете ошибку. Давайте обсудим это. Пишите мне в PM, поговорим. fifa 15 cracks 3dm торрент, fifa 15 cracks v3 или fifd fifa 15 скачать pc

  10. healthybeauty Says:

    Running out of health and beauty essentials used to mean trekking all over town to track everything down. Now, ticking off that shopping list can be done from home. From makeup and perfume, to appliances such as hair dryers and GHD straighteners, HealthyandBeauty.co is the place to go to find it all. Looking to create a new look? While having a makeup routine certainly saves time, it can be fun to try out new looks now and again.

    Whether it’s dewy and fresh, or full matte coverage, foundation is the base for any new look. Time for some contouring? Use a beauty blender, bronzer and highlighter to add contour and beautiful highlights, accenting great features (and playing down those that are perhaps not so great). Splash of colour? From exquisite neutrals to bold fabulous colour, a new eye shadow palette and quality makeup brush set can create a gorgeous new look with minimal effort. Finish it off with a hint of eyeliner, a coat of mascara and a flash of lipstick or lip gloss, and a whole new look is ready to be unveiled.

    https://www.HealthyandBeauty.co/

  11. Latonyaempog Says:

    Дане повідомлення розміщено тут за допомогою XRumer + XEvil 4.0
    XEvil 4.0 — революційне додаток, здатне обходити практично будь-яку антибот-захист.
    Розпізнавання капчи Google (ReCaptcha-1, ReCaptcha-2), Facebook, Yandex, VKontakte, Captcha Com і понад 8400 тисяч інших типів!

    Ви читаєте це — значить, це працює! ;)
    Подробиці на офіційному сайті XEvil.Net, є безкоштовна демо-версія.

  12. MichaelBride Says:

    e https://cialispcn.com cialis dose

  13. garneuei Says:

    Поздравляю, какие нужные слова…, великолепная мысль


    Мне кажется это замечательная идея fifa 15 crack v2, скачать приложение origin для fifa 15 или fifa 15 комментаторы черданцев скачать fifa 15 скачать торрент pc c таблеткой

  14. Smithf289 Says:

    I have recently started a site, the info you provide on this website has helped me tremendously. Thanks for all of your time &amp work. The achievements of an organization are the results of the combined effort of each individual. by Vince Lombardi. ebaakdadckcdcceb

  15. Pharmd971 Says:

    Hello!

  16. generic_cialis Says:

    Hello!

  17. Fiphellele Says:

    Недавно выложили статью по юриспруденции
    http://ozpp.ru/kachestvo-vo-vsem/potrebitel-vybiraet/kak-vybrat-horoshego-advokata-po-it-voprosam-prakticheskie-sovety.html

  18. aids-truck Says:

    Testberichte über Anti-Falten-Creme Collamask meist begeistert und es ist nicht überraschend. Menschen eilen teilen positive Erlebnisse, welche Ergebnisse Sie erreicht durch das Medikament. Einige dieser Eindrücke können Sie unten Lesen. Creme Collamask gilt als multifunktional, da es wichtige Aufgaben erfolgreich löst: Schnell entfernt die Falten. http://www.gesichter-afrikas.de/unterrichtsmaterial-zu-afrika/unterrichtsmaterial-zur-gesundheit/unterrichtsmaterial-zu-hiv-aids.html 000 menschen haben sich ausgetauscht, Tinedol mit freunden und familie. Fotos von vor und nach der benutzung der creme Tinedol. Die zusammensetzung der creme Tinedol. Creme Tinedol ist die menge der natürlichen komponenten, die ausschließlich aus pflanzlichen rohstoffen. In ihrer zusammensetzung keine chemikalien, farbstoffe, aromen und andere nicht — natürliche zutaten. Speziell gesammelt, die beziehung aller komponenten der lösung für praktisch alle erscheinungsformen der infektion.

  19. Stevendah Says:

    cialis online cialis cialis online

  20. Stevendah Says:

    cialis online cialis on line no pres cialis generico online

  21. TylerVerse Says:

    cialis 5mg cialis prices cialis 20 mg

  22. Richardlurdy Says:

    cialis 20mg cialis 20 mg best price cialis prices

  23. AlfredCob Says:

    cialis 20 mg best price cialis 5 mg funziona cialis prices

  24. WilliamKaf Says:

    cheap cialis cialis cost cheap cialis

  25. AlfredCob Says:

    cialis 5 mg cialis 20 mg cialis 20mg

  26. Richardlurdy Says:

    tadalafil 20 mg cialis 5 mg cialis 20 mg

  27. WilliamKaf Says:

    cialis online cialis online cheap cialis

  28. Richardlurdy Says:

    cialis cialis 20mg cialis 20 mg

  29. WilliamKaf Says:

    cialis online cialis cialis cost

  30. JoshuaVob Says:

    cialis 20mg http://cialisrt.us/#8853 — cialis 20mg

  31. WilliamKaf Says:

    cialis online cialis cialis online

  32. fretthanSof Says:

    Извините за то, что вмешиваюсь… Я разбираюсь в этом вопросе. Давайте обсудим. Пишите здесь или в PM.


    Шутки в сторону! fifa 15 на ps2 скачать торрент, fifa 15 скачать на windows 7 а также crack fifa 15 v5 скачать fifa 15 украинская лига скачать торрент

  33. newlhermex Says:

    Я считаю, что Вы допускаете ошибку. Давайте обсудим это. Пишите мне в PM.


    мда…я ожыдал НАМНОГО БОЛЬШЕ фоток прочитав описани)))хотя и этого хватит) fifa 15 скачать торрент обновленные составы, fifa 15 комментаторы скачать торрент и сайт фифа fifa 15 скачать торрент pc

  34. newlhermex Says:

    Зашебись!


    И я с этим столкнулся. fifa 15 upl скачать торрент, fifa 15 ns скачать и фифа официальный сайт скачать фифа 15 с кряками через торрент

  35. William1095 Says:

    cialis.com generic generic

  36. GeraldNus Says:

    печь для бани и сауны Печи электро каменки

  37. Fiphellele Says:

    Что думаете по этому поводу?

    на этом сайте

  38. Kennethphype Says:

    uklad kart w pokerze uklady poker

  39. Bradleyter Says:

    биозавивка ресниц сколько стоит биозавивка ресниц сколько стоит

  40. Tomasbek Says:

    что пить от кашля что пить от кашля

  41. PatrickLok Says:

    интерьер веранды интерьер веранды

  42. Michaelphemy Says:

    СтраховоеКидалово.РФ СтраховоеКидалово.РФ

  43. ClintonniZ Says:

    Наш детский интернет-магазин предлагает широкий прибор товаров для Ваших малышей. Это коляски, манежи, детские кроватки, автокресла, самые популярные игрушки, платье ради новорождённых.

    Так же в нашем магазине Вы можете подкупать детский трехколесный велосипед с родительской ручкой и без нее, самокат, санки чтобы зимних развлечений, ходунки, стульчик чтобы кормления, прыгунки, матрасы для кроватки, постельное бельё, одежду чтобы новорожденного и многое другое.

    У нас позволительно приобрести не единственно крупные товары, но и необходимые повседневные мелочи, которые вовсю необходимы наравне крохе, беспричинно и родителям. Ванночки, детские горшки, аксессуары ради купания, конверты на выписку, крестильные наборы, развивающие коврики и др. полезные приспособления и игрушки.
    Перейти Детская кроватка манеж

  44. JeffreyUpses Says:

    Кофе давнешенько стал не простой напитком, а поводом чтобы неформального общения. В полной мере этим воспользовались организаторы разнообразных семинаров, конференций, тренингов, а также корпоративных совещаний и мозговых штурмов. Они предложили разделять мероприятия короткими перерывами, которые получили имя кофе-брейк. Помаленьку сформировались определённые правила, традиции и школа таких перерывов. Сколько такое кофе-брейк, какой должна лежать правильная строение кофе-брейка и каково традиционное список ради него?
    Перейти на сайт кофе-брейк цена

  45. Ljudmila655 Says:

    Socialite Paris Hilton and former boyfriend Rick Salomon are shown in a scene from her notorious «One particular Evening In Paris” property video.
    My blog post :: http://honeycutthermansen27.fitnell.com/14325956/adore-relationships-articles

  46. Jamesbem Says:

    С наступлением лета появилась проблема – комары. Этот вид насекомых как правило всем доставляют много хлопот. И приходит время для того чтобы как то защищаться от них.

    Рассмотрите интересный вариант на сайте smartkiller.ru. Здесь представлена лучшая ловушка, которая избавит вас от комаров и других неприятных насекомых. Компания позаботилась о том, чтобы каждый смог в считанные секунды получить возможность хорошо отдохнуть.
    Какие плюсы у этой компании? Зайдя на сайт, вы сможете убедиться, что здесь думают о вас. Все характеристики соответствуют пожеланиям клиентов и направлены на помощь в борьбе с насекомыми.
    К плюсам smartkiller относят:

    — все ловушки малогабаритны и не тяжелы, их можно поставить в любое удобное место;
    — производителем предусмотрена возможность заряжать комплект при помощи разных источников;
    — эффективность обеспечивается использованием одновременно разных методик, которые воздействуют на насекомых;
    — высокое качество и надежность;
    — дизайн продуманный и весьма привлекательный;
    — каждый человек без труда сможет разобраться в порядке использования и эксплуатации.

    Всю приобретенную продукцию компании обслуживают специализированные сервисы.
    На портале вы найдете много полезной информации о наших приборах, их эксплуатации а также отзывы довольных покупателей.

    На любой из ваших вопросов всегда ответят наши специалисты,вы можете как заказать звонок, так и связаться с нами по указанным телефонам.
    Если вы станете клиентом компании, то кроме сервисного обслуживания, вы также получите множество преимуществ. Есть предложения для дилеров. Стать им — означает получить надежного партнера и возможность проводить совместные акции.
    Для тех, кто сомневается, на сайте есть подборка видео роликов о том, как помогает такая система. Результат никого не оставит равнодушным!
    Весь сайт информативен и помогает сделать выбор. Здесь нет лишней информации, все довольно компактно. В нижней части портала есть список важных вопросов, которые помогут больше узнать о системе и ее преимуществах.

    Если вы все еще не верите в то, что система может спасти вас от насекомых, то следует разобраться с принципом его воздействия. Для начала нужно заметить что принцип ее работы расчитан на постепенное снижение популяции комаров вокруг вас. Они не исчезнут в один миг, а перестанут вас кусать и вообще приближаться к вам. Создается имитация тепла живого существа (выделяется теплый углекислый газ, как при дыхании, а температура равна 39-40 градусам), что позволяет привлечь насекомых и направить их в нужном направлении, где они постепенно погибают. Прибор может бороться с комарами на расстоянии более чем пятьдесят соток.
    Система работает в двух режимах. В первом происходит привлечение насекомых. Чтобы уничтожить более разумных насекомых, кроме тепла и газа используется Октенол – это органический аттрактант, который соответствует запахам животного. В результате такого воздействия начинают слетаться к прибору различные насекомые. И после этого начинается второй этап. Это уже непосредственно процесс уничтожения. Насекомые всасываются вентилятором в резервуар где погибают. На них также воздействует напряжение и как результат – погибшие насекомые попадают в мониторинговую сетку. Вы сможете самостоятельно оценить качество работы прибора и подсчитать, сколько насекомых обитало вокруг вас.
    Эти два режима чередуются между собой примерно раз в минуту, по мимо этого ультрафиолетовая лампа привлекает слепней и мух, от которых также всегда бывает не мало хлопот.
    Все гениальное просто, так и с нашими ловушками, они абсолютно безопасны для человека. Теперь можно отдыхать и не боятся, что вас побеспокоят насекомые. Заходите на сайт и покупайте Smartkiller по приемлемым ценам.
    Перейти на сайт Избавиться от комаров

  47. Andrey GolubRick Says:

    IP-адреса отображаются в лог-файлах HTTP-сервера. Как их получить, зависит от вашего хостера. Самый простой вариант — через быструю ссылку в аккаунте на сайте хостера. Конечно, если она есть.

  48. Robertnah Says:

    мягкая мебель под заказ в киеве https://sofimebel.kiev.ua/myagkie-kushetki-na-zakaz/ мягкая мебель недорого в киеве

  49. Petersoich Says:

    Самарская область и непосредственно регион Ульяновска занимают на данный момент ТОПовые места в рейтинге уровня строительства жилых домов и комплексов. Это в полне объяснимо и определяется в первую очередь крайне удачным расположением региона и его доступность для инвестирования. Не маловажно и то что эколошгия в регионе на должном уровне, здесь всегда чистый воздух и крайне мягкий климат. Благодаря всем этим факторам потребность в новостройках в этом регионе постоянно только растет.
    Строительством занимается большое количество компаний. Мы хотим остановится на компании — Инвестиционно строительная компания «Премьера», руководитель Игорь Владимирович Илюшин. Организация, которая создаёт комфортную и безопасную для горожан среду обитания, входит в перечень надёжных застройщиков Министерства строительства Ульяновской области. Семьям, планирующим купить квартиру в Ульяновске, стоит присмотреться к новым объектам: недвижимости в Заволжье (клубным домам ЖК «Greenпарк»), а также к жилому комплексу «Nordпарк» который находится в Ленинском районе города. Эти малоэтажные комфортабельные дома находятся практически в зеленой линии города и среди сильно развитой сети инфраструктуры.
    Любое жильё начинается с придомовой территории. ИСК «Премьера» знает об этом не понаслышке. Годы работы на рынке жилья и детальный анализ предпочтений покупателей сформировали стратегию фирмы: создавать оптимальные для комфортной и безопасной жизни условия, чтобы собственники жилья не ограничивали жизнь стенами своей квартиры, а могли с пользой и удовольствием проводить время на улице, формируя добрососедскую дружелюбную среду. На территориях таких комплексов есть все, и игровые площадки и магазины и парковые аллеи и школы с дет садом!
    Дома от компании Премьера — это целый спектр других важнейших для новосёлов преимуществ:
    улучшенный интерьер холлов, подъездов и прочих мест общего пользования;
    возможность купить квартиру от застройщика, возведённую в соответствии с европейскими строительными стандартами;
    заниженные расходы на ЖКХ за счет технологичных энергосберегающих материалов;
    огороженная территория с круглосуточным видеонаблюдением;
    большой выбор повышенной комфортности 1-, 2-, 3- комнатных квартир, студий, а также жилья свободной планировки;
    персональные парковочные места.
    Этот год будет ознаменован сдачей двух жилых комплексов в разных районах города. Продажа квартир в Ульяновске осуществляется компанией Премьера без посредников.
    Перейти новостройки Ульяновск

Написать ответ