Как с помощью BRAS и DPI интернет-провайдеры удерживают абонентов. Поведенческий и эвристический анализ. Из чего состоит DPI

DPI системы используют технологию накопления статистической информации, а также фильтрации и контроля сетевых пакетов, учитывая их содержание. Они работают по более глубокому принципу, чем брандмауэры, анализирующие лишь заголовки пакетов. Эта технология проверяет содержимое трафика на втором уровне модели OSI и выше. Системы могут идентифицировать и останавливать вирусы, отсекать ненужную информацию. Решение о блокировке может приниматься также по косвенным симптомам, по которым распознаются определенные протоколы и программы.

Обзор технологии и ситуации на рынке

Как свидетельствует статистика, за 5 лет в нашей стране значительно увеличилась группа пользователей, которые регулярно (как минимум один раз в течение 24 часов) подключаются к интернету. Если раньше этот показатель был на уровне 31%, сегодня он вырос до 57%. Если перевести эти данные в количество, получается около 66,5 млн человек.

С 2010 года отмечается стремительный рост мобильных пользователей. По статистике, на текущий момент больше трети всех посещений сайтов происходят со смартфонов (3/4 от общего количества) и прочих портативных устройств.

Несмотря на различные неблагоприятные факторы, эксперты прогнозируют дальнейшее увеличение мобильного трафика. Операторы вынуждены реагировать на изменения и искать дополнительные способы улучшения качества своих услуг, поэтому для них актуальной становится технология контроля сетевого трафика. Как считают эксперты, к 2020 году глобальный рынок DPI превысит 4,7 млрд долларов.

Что собой представляют DPI системы анализа и фильтрации пакетов?

Технология DPI позволяет не только оптимизировать пропускную способность канала, но и способна поднять уровень безопасности при работе с информацией. Интерес в нашей стране к подобным решениям подогрет на законодательном уровне. Государство требует от операторов связи ограничения доступа абонентов к неправомерному контенту.

Решения по глубокому анализу трафика позволяют:

• бороться с терроризмом;
• защищать от сетевых атак;
• блокировать выполнение вредоносного ПО;
• гарантировать скорость и качество доступа в интернет;
• исключать сетевые перегрузи;
• дифференцировать трафик, обеспечивать равномерность потока и распределение приоритетов.

Системы DPI помогают распределить нагрузку, чтобы пользователи не замечали снижение скорости и оставались довольны качеством связи. Такие системы в основном устанавливаются на границе сети оператора в разрыв имеющихся аплинков, которые уходят от пограничных маршрутизаторов. Это позволяет направлять весь входящий и исходящий трафик через DPI, что повышает точность контроля и мониторинга. Специфические задачи решаются путем установки оборудования ближе к конечным пользователям, на уровень CMTS и так далее.

Carbon Reductor DPI X

Операторы рынка уже давно оценили преимущества технологии DPI, однако не так много разработчиков, готовых предложить оптимальные решения для небольших и средних компаний. Одним из разработчиков такого ПО является наша компания. Мы создаем и поддерживаем актуальный продукт – .

Это программное решение:

• автоматически не допускает трафик на ресурсы, находящиеся в списке Минюста и Роскомнадзора;
• делает компанию полностью соответствующей российскому законодательству по ФЗ-436, ФЗ-398, ФЗ-187, ФЗ-149, ФЗ-139 (страхует от штрафов);
• работает по схеме «зеркалирования трафика»;
• использует 8 технологий фильтрации (поддерживаются: HSTS, TCP/IP, BGP/OSPF, HTTPS, DNS, HTTP);
• способно проверять до 900 тысяч пакетов трафика в секунду;
• имеет понятный веб-интерфейс;
• использует минимум аппаратных ресурсов;
• поддерживает IPv6.

Поскольку наши разработчики готовят изменения за несколько месяцев до поправок и рекомендаций, в распоряжении компаний всегда актуальный продукт, соответствующий текущим требованиям к анализу и фильтрации трафика.

Из чего состоит DPI?

DPI обеспечивает:

• анализ трафика;
• ограничение доступа абонентов к сайтам;
• персонализацию сервисов;
• ограничение использования некоторых сетевых протоколов.

Системы имеют такой состав:

• PCC – разделяет физический поток данных на логические сессии;
• PCRF – «мозг», использующий необходимые правила (установление параметров качества обслуживания, применение дополнительных сервисов и так далее);
• PCEF – применяет PCC-правила к трафику, проводит тарификацию;
• OCS – контроль баланса абонента, тарификация сервисов, применение скидок, подсчет объема услуг;
• Billing – сохраняет данные о балансе абонентов, предоставляет доступ к ним серверу OCS;
• Access network – сеть подключения абонента к поставщику услуг, содержит в себе все клиентские устройства;
• Transcoding, optimization server – кэширование данных для улучшения пропускной способности;
• AAA Server – идентифицирует абонентов, ведет учет используемых ресурсов (протокол RADIUS);
• BBERF – сообщает PCRF об активации сессии с отправкой идентификатора абонента и прочих показателей для точного определения QoS-правил обслуживания;
• UDR – обеспечивает хранение данных пользователей.

Варианты использования DPI систем

Предусмотрено 9 возможных сценариев:

1. контроль и анализ трафика;
2. его приоритизация;
3. улучшение аплинков;
4. равномерное распределение канала для всех абонентов;
5. кэширование;
6. оценка поведения участников сети;
7. уведомление абонентов;
8. ограничение доступа к определенным интернет-ресурсам;
9. защита трафика от перехвата и прочих атак.

Необходимое оборудование для DPI систем

Программная часть системы способна работать продуктивнее при наличии определенного «железа». В основном, для этого используются готовые решения, в которые входит оборудование с предустановленным ПО.

Обычно стандартная комплектация DPI систем глубокой фильтрации трафика содержит:

1. Сетевые карты с режимом Bypass, соединяющим интерфейсы на первом уровне. Даже если питание сервера внезапно прекращается, линк между портами продолжает действовать, пропуская трафик за счет питания от батарейки.
2. Систему мониторинга. Дистанционно контролирует показатели сети и выводит их на экран.
3. Два блока питания, способные заменить друг друга при необходимости.
4. Два жестких диска, один или два процессора.

Для расширения функций могут подключаться внешние средства хранения. Поскольку в этом случае высокая скорость доступа не нужна, подходит решение в виде одной СХД (системы хранения данных) и нескольких дисковых полок, подключенных к ней.

Головное устройство оснащено двумя контроллерами, каждый из которых имеет порты для подключения к сети и полок расширения. Используется процессор Intel® Xeon® E5-2600 V4. Для повышения отказоустойчивости применяется два блока питания.

ОС SmartOS выполняет управление дисками. За счет применения технологии RAID-Z и новой файловой системы ZFS оборудование получает массу преимуществ:

• контроль целостности логических и физических дисков;
• минимизация фрагментации информации;
• высокая скорость доступа к дискам.

Чтобы увеличить объем хранимых данных, JBOD подключается к головному устройству. На одной полке может размещаться до 70 дисков. Такой метод позволяет в ускоренном режиме увеличить объем системы хранения.

Схемы подключения DPI

Существует две основные схемы:

1. Активная. Установка «в разрыв». Обеспечивает реализацию полного функционала. Устройство подключается после пограничного маршрутизатора в разрыв uplink. Благодаря такой схеме через DPI проходит весь трафик. Это открывает широкие функциональные возможности для его обработки. Однако в такой схеме есть минус. Если устройство выходит из строя, нарушается связь. Для этого рекомендуется использовать либо резервную платформу, либо Bypass устройства.
2. Пассивная. «Зеркалирование трафика» происходит через оптические сплиттеры либо SPAN-порты. Подобная схема открывает доступ к множеству функций: предварительная фильтрация СОРМ, кэширование, переадресация запросов блокировки, онлайн-снятие click stream и так далее. Если сеть уже действует, такая схема позволяет за 1-2 дня внедрить DPI.

Заключение

Системы DPI достаточно сложны, чтобы уместить их подробное описание в одном информационном материале. Однако с учетом этих данных можно составить понятную картину, насколько продуктивными и востребованными являются подобные решения. В руках профессионалов системы DPI – ценные инструменты, улучшающие качества сервиса и безопасность абонентов, а в российской действительности полностью соответствовать законодательству и спокойно работать в качестве оператора связи.

04.10.2016 | Владимир Хазов

Сетевой трафик неоднороден, он состоит из множества приложений, протоколов и сервисов. Многие из этих приложений уникальны по требованиям к характеристикам сети, таким как скорость, задержки, джиттер. Удовлетворение этих требований – обязательное условие для того, чтобы приложение работало быстро и стабильно, а пользователи были удовлетворены качеством. Если в локальных сетях (LAN) с их высокой пропускной способностью проблем не бывает, то ограниченная ширина канала доступа в Интернет (WAN) требует тонкой настройки.

Классификация и маркировка

Предоставление услуг доступа к сети Интернет ориентировано на пользователя, самое важное – это его восприятие качества работы: Интернет не должен «тормозить», приложения должны быстро реагировать на команды, файлы должны быстро скачиваться, голос при звонках не должен заикаться, иначе человек начнет искать другого оператора связи. Управление трафиком канала доступа в Интернет, настройки ограничений и приоритетов должны обеспечивать требования пользователя. Также информация о протоколах и приложениях дает администратору возможность реализовать политики безопасности для защиты пользователей сети.

Классификация трафика – первый шаг, который помогает идентифицировать различные приложения и протоколы, передаваемые по сети. Вторым шагом является управление этим трафиком, его оптимизация и приоритизация. После классификации все пакеты становятся отмеченными по принадлежности к определенному протоколу или приложению, что позволяет сетевым устройствам применять политики обслуживания (QoS), опираясь на эти метки и флаги.

Основные понятия: классификация – идентификация приложений или протоколов; маркировка – процесс разметки пакетов для применения политик обслуживания на оборудовании.

Существуют два основных метода классификации трафика:

• Классификация на основе блоков данных (Payload-Based Classification). Основывается на полях с блоками данных, таких как порты (Layer 4) OSI (отправитель и получатель или оба). Данный метод является наиболее распространенным, но не работает с зашифрованным и туннелированным трафиком.
• Классификация на основе статистического метода. Основывается на анализе поведения трафика (время между пакетами, время сеанса и т. п.).

Универсальный подход к классификации трафика основывается на информации в заголовке IP-пакета – как правило, это IP-адрес (Layer 3), MAC-адрес (Layer 2), используемый протокол. Этот подход имеет ограниченные возможности, поскольку информация берется только из IP-заголовка, так же, как ограничены методы Layer 4 – ведь далеко не все приложения используют стандартные порты.

Более совершенную классификацию позволяет осуществить глубокий анализ пакетов (DPI). Это метод наиболее точный и надежный, его рассмотрим подробнее.

Deep Packet Inspection

Системы глубокого анализа трафика позволяют классифицировать те приложения и протоколы, которые невозможно определить на Layer 3 и Layer 4, например URL внутри пакета, содержимое сообщений мессенджеров, голосовой трафик Skype, p2p-пакеты BitTorrent.

Основным механизмом идентификации приложений в DPI является анализ сигнатур (Signature Analysis). Каждое приложение имеет свои уникальные характеристики, которые занесены в базу данных сигнатур. Сопоставление образца из базы с анализируемым трафиком позволяет точно определить приложение или протокол. Но так как периодически появляются новые приложения, то базу данных сигнатур также необходимо обновлять для обеспечения высокой точности идентификации.

Существуют несколько методов сигнатурного анализа:

• Анализ образца (Pattern analysis).
• Числовой анализ (Numerical analysis).
• Поведенческий анализ (Behavioral analysis).
• Эвристический анализ (Heuristic analysis).
• Анализ протокола/состояния (Protocol/state analysis).

Анализ образца

Некоторые приложения содержат определенные образцы (байты/символы/строки) в блоке данных пакета, которые можно использовать для идентификации и классификации. Причем образцы могут находиться в любом месте блока данных, это никак не влияет на процесс идентификации. Но так как не каждый пакет содержит в себе образец приложения, этот метод работает не всегда.

Числовой анализ

Числовой анализ изучает количественные характеристики пакетов, такие как размер блока данных, время отклика пакета, интервал между пакетами. Например, старая версия Skype (до версии 2.0) хорошо поддавалась такому анализу, потому что запрос от клиента имел размер 18 байт, а ответ, который он получал, – 11 байт. Поскольку анализ может быть распространен по пакетам сети магазинов, решение классификации могло бы занять больше времени. Одновременный анализ нескольких пакетов требует довольно много времени, что делает этот способ не самым эффективным.

Поведенческий и эвристический анализ

Данный метод основывается на поведении трафика запущенного приложения. Пока приложение запущено, оно генерирует динамичный трафик, который также может быть идентифицирован и подвергнут маркировке. Например, BitTorrent генерирует трафик с определенной последовательностью пакетов, обладающих одинаковыми признаками (входящий и исходящий порт, размер пакета, число открываемых сессий в единицу времени), по поведенческой (эвристической) модели его можно классифицировать.

Поведенческий и эвристический анализ обычно применяют совместно, такие методы используют многие антивирусные программы для идентификации вирусов и червей.

Анализ протокола/состояния

Протоколы некоторых приложений – это последовательность определенных действий. Анализ таких последовательностей позволяет достаточно точно идентифицировать приложение. Например, на запрос GET от FTP клиента обязательно следует соответствующий ответ сервера.

Все больше приложений в Интернете начинают использовать механизмы шифрования трафика, что создает большие проблемы для любого из методов классификации. Система DPI не может заглянуть внутрь зашифрованного пакета для анализа содержимого, поэтому основными методами идентификации такого трафика являются поведенческий и эвристический анализ, но даже они могут определить далеко не все приложения. Новейший механизм, использующий оба эти метода одновременно, называется кластерным, и только он позволяет идентифицировать зашифрованный трафик.

Так как ни один из описанных методов по отдельности не обеспечивает 100%-ную классификацию трафика, лучшей практикой является использование их всех одновременно.

Классификация трафика с дальнейшим применением политик качества обслуживания составляет одну из самых важных задач любого оператора связи. Использование современных систем DPI позволяет выполнять эту задачу с максимальной эффективностью и производительностью.

Предназначенные для фильтрации интернет-трафика и блокировки противоправного контента DPI-системы дают богатый инструментарий операторским службам эксплуатации и маркетинга, уверен Александр Орлов, эксперт Центра сетевых решений компании «Инфосистемы Джет».

Российский рынок DPI-систем (deep packet inspection - накопление статистических данных, проверка и фильтрация сетевых пакетов по их содержимому) сравнительно молод. Какие драйверы и тормозящие факторы его развития можно выделить?

Первый драйвер - принятая 3GPP (3rd Generation Partnership Project) концепция развития сетей 3G и 4G, неотъемлемым элементом которой являются системы DPI. В России подъем интереса к этим системам полтора-два года назад подстегнуло законодательство, потребовавшее от операторов ограничивать доступ абонентов к противоправному контенту в интернете. DPI осуществляет глубокий анализ трафика и в соответствии с поставленными задачами обеспечивает их выполнение. Так, на одном IP-адресе может находиться 3 тыс. доменов, из которых лишь один содержит противоправный контент. Именно его и нужно заблокировать. И только DPI может его "отловить" и закрыть к нему доступ. Все законы, требующие фильтрации трафика и блокировки интернет-ресурсов, так или иначе, связаны с решениями DPI или "около-DPI". Под последними я подразумеваю решения, которые изначально не предназначались для фильтрации, но сейчас их пытаются приспособить к решению этой задачи, поскольку имеющиеся на рынке промышленные DPI-решения, как правило, не вписываются по цене в бюджеты средних и маленьких компаний.

- Чем объясняется высокая "цена вопроса"?

Коробочное аппаратно-программное решение DPI позволяет обрабатывать колоссальные объемы трафика - 100−200−300 Гбит/с. Это действительно решение операторского класса, и стоимость систем каждого из трех основных игроков российского рынка DPI (Allot Communications, Procera Networks, Sandvine) исчисляется сотнями тысяч долларов для крупных операторов. Для небольшого оператора цена составит не больше $100 тыс., но и это для него составляет уже критичную сумму. Поэтому маленькие операторы вынуждены искать альтернативные пути, использовать "наколенные" решения и проч. Так или иначе они должны что-то придумать, потому что наше законодательство довольно строго спрашивает с операторов, которые не выполняют предписания 139-ФЗ (закон о "черных списках"), 149-ФЗ (об информации, информационных технологиях и о защите информации), 187-ФЗ ("антипиратский закон").

- Такие мелкие операторы могут брать DPI как услугу у крупных?

У одного большого оператора, насколько мне известно, уже есть заказчики такого сервиса - "нижестоящие" провайдеры. Для них это возможность не тратить больших денег на покупку собственного решения, а крупный оператор может таким образом монетизировать уже внедренное решение по блокировке трафика.

- Помимо карающего меча закона, какие еще существуют движущие факторы внедрения DPI-систем?

- DPI-систему можно установить раз и навсегда и "забыть" о ней?

Это было бы идеально для всех. Но если система используется по своему прямому назначению, для распознавания и классификации трафика, а не только для исполнения буквы закона, то приходится постоянно обновлять сигнатуры. Приложения и трафик все время меняются - и вряд ли кому интересно решение, которое уже через год не сможет "видеть", какой трафик идет через сеть, какое приложение сколько места занимает в общем канале емкости и т.д.

Смогут ли операторы, построившие сети 3G и строящие теперь 4G, использовать уже внедренные DPI-системы и на новых сетях?

Для оператора теоретически ничего поменяться не должно. Возможно, решение придется умощнить, поскольку через сеть пойдет больший объем трафика, но не вижу проблем использовать ту же самую инфраструктуру, потому что точка выхода из сети будет одна и та же.

Очевидно, что применение DPI ориентировано на массовый рынок. Для корпоративного сектора эти системы неактуальны?

Корпоративными заказчиками DPI-решения пока мало востребованы. Однако сейчас появляются DPI Next Generation − обычные карточки PCI Express, которые вставляются в сервер, на который также ставится программный движок, и это все работает в комплексе. Цена вопроса значительно снижается, но и функциональность падает. Такое устройство не сможет обрабатывать 50−100 Гбит/с трафика, но для корпоративной сети с запасом хватит и 3−4 Гбит/с. Мы работаем с производителями таких решений и надеемся получить их на тестирование в ближайшее время. Думаю, они заинтересуют корпоративных заказчиков.

- Какова роль системных интеграторов на этом рынке?

Системные интеграторы выступают в роли консультантов, поставщиков, проектировщиков, а также вполне могут выполнять функции техподдержки первой линии для заказчика. Ни один из "большой тройки" DPI-вендоров не имеет в России своего физического представительства (офиса со штатом сотрудников, со службой техподдержки). При возникновении серьезной проблемы интегратор направляет запрос вендору, который его отрабатывает в своей лаборатории и передает решение партнеру-интегратору. А тот, в свою очередь, − заказчику.

- Насколько высок в сегменте DPI уровень конкуренции среди интеграторов?

Сейчас начинается активная конкуренция, и самым весомым конкурентным преимуществом является опыт реализации таких проектов, практика. На рынке пока немного специалистов имеют компетенции по DPI, умеют с ними работать и, главное, понимают, для чего они нужны. Разумеется, системному интегратору важно иметь штат специалистов, обладающих необходимой квалификацией. Специалисты нашей компании, например, прошли обучение у вендоров, у них есть необходимые знания.

Но решающим фактором считаю все же опыт. Например, мы выполнили проект по созданию платформы управления трафиком, основанный на применении технологий DPI для «ВымпелКома». В ходе которого мы устанавливали и настраивали программно-аппаратные комплексы DPI PacketLogic компании Procera Networks на 40 самых загруженных узлах магистральной сети. А по завершению монтажа − сформировали правила и политики, включили функцию сбора статистики, на основании которой правила управления трафиком корректировались для каждого конкретного города. Иначе говоря, мы обеспечили интеллектуальную часть и экспертизу, а также прорисовку перспектив развития проекта, потому что внедренное решение, по своей сути − очень мощный инструмент, позволяющий оператору проводить качественный и количественный анализ структуры трафика, эффективно управлять им, оптимизировать нагрузку на каналы магистральной сети, и, как следствие, повысить качество услуг, предоставляемых абонентам.

Кроме этого компания обладает значительным опытом реализации проектов в телекоммуникационной отрасли, выполненных для ведущих телеком-операторов Росси и стран СНГ.

К настоящему времени "большая тройка" уже внедрила DPI-системы, "Ростелеком" планирует завершить внедрение в 2014 г. Но у нас в России действующих лицензий на услуги связи больше 80 тыс. Это все потенциальные заказчики DPI?

Я бы сократил эту цифру как минимум вдвое, но в любом случае потенциальный рынок очень большой. Небольших операторов очень много, хотя бы даже только в Москве. Думаю, очень скоро поднимется новая волна спроса на DPI. Сейчас рынок находится в стадии ожидания этой волны и подготовки к ней.

Беседовала Лилия Павлова

Новых пользователей (это 8 человек каждую секунду), в России интернет проникает в забытые деревни, а уже к 2014 году , что 70% совершеннолетнего населения страны будет онлайн .

Такая динамика крайне положительно сказывается на общей ситуации в телекоммуникациях – появляется конкуренция, растёт качество услуг, падает цена, на рынок выкидываются всё новые и новые технологии – не успели мы даже посмотреть на 40G-интерфейсы, как уже появились 100G и успешно проходят испытания 400-гигабитных (кстати, недавно на была статья о том, что Huawei тоже представило работающее решение). Пользователь утопает в высокоскоростных сервисах: youtube, безразмерные файлохранилища, онлайн-радиостанции и телевидение, торренты и P2P сети. Всё это одновременно с разных компьютеров, X-падов и телефонов. Оптику уже подводят прям к вашему домашнему маршрутизатору.
Но, как нет худа без добра, так и добро без худа большая редкость. Вместе с радостями приходят и проблемы.
Приведу лишь небольшой список наиболее важных трудностей, с которыми приходится сталкиваться сегодня провайдерам и абонентам:

Высокая загрузка канала к пользователю. При том, что сеть провайдера в порядке и трафик пользователя укладывается в его тариф, большая часть пропускной способности канала занята, например, торрентом, отчего страдает голос, HTTP и другие данные абонента
- высокая нагрузка на каналы провайдера, когда много абонентов запускают торренты или P2P
- бОльшая часть пропускной способности занимается меньшей частью наиболее активных абонентов
- вирусы, черви и зомби (боты) в сети
- DOS-атаки на оборудование провайдера или абонентов
- сканеры портов

У меня действительно была такая ситуация, когда сканировали наши порты в сети, а после этого пытались подбирать пароли. Узнали мы об этом только по логам, когда уже шёл активный процесс брутфорса.

Какие у вас есть возможности исправить положение в обычной ситуации?
1) Канальный уровень: контроль на основе MAC-адресов или номера VLAN. Может быть реализован на коммутаторах и маршрутизаторах.
2) Сетевой уровень: вы можете блокировать пользователей по IP-адресам или запрещать доступ на определённые адреса/подсети во внешней сети. Реализуется на маршрутизаторах.
3) Транспортный уровень: провайдер или ИТ-служба предприятия может ограничить используемые порты. Например, запретить всё, кроме портов 25, 110 и 80 (почта и HTTP). Сделать это также можно на маршрутизаторе
4) Уровень приложений: на прокси-серверах или файрволах вы можете использовать наибольшую степень абстракции — доменные имена. Но файрволы, вообще говоря, имеют более широкие возможности, например, защита против атак, тонкие настройки политик. Они также предоставляют некий функционал глубокого анализа пакетов, но по сравнению со специализированными решениями DPI он крайне ограничен.

И даже одно из популярных сейчас решений — использование в сети QoS — не панацея.

Используя вышеуказанные возможности, невозможно мониторить и контролировать трафик многих приложений и протоколов, как то: Skype в частности и VoIP вообще, BitTorent, P2P, трафик, проходящий в туннелях (GRE, IPSec, QinQ и прочее)

От этих и многих других напастей может спасти DPI . Английское звучание Deep Packet Inspection говорит само за себя — эта технология, которая позволяет проводить глубокий анализ трафика.

DPI на то и Deep, что проникает ещё глубже — он работает на всех 7 уровнях эталонной модели OSI. С его помощью вы можете распознавать трафик практически любых протоколов и применять к нему те или иные действия.

Простой пример из жизни. Когда-то я работал в местечковом провайдере WiMAX. У нас была довольно небольшая база абонентов, но все они физики (физические лица), и выход в Интернет порядка 30 Мб/с. С физиками есть одна проблема — они любят торренты и P2P-сети. Если с последними всё относительно просто — если провайдер этого не делает, то и пользователи сами вряд ли скооперируются, то с торрентами настоящая беда. Трафик протокола BitTorrent сложно отследить стандартными средствами, тем более, что механизмы работы протокола постоянно адаптируют под меняющиеся реалии. Это стало настоящим бичом компании: в час наибольшей нагрузки сеть лежмя лежала.
ИТ-управлением компании тогда было принято тактическое решение: было куплено самое простое, достаточное по производительности, и недорогое DPI-оборудование, поставлено в разрыв и проблемы решились волшебным образом. Конечно, при этом пострадали особо активные абоненты, но в тот момент такая жертва была необходима. Далее, конечно, ситуацию меняли: ночью ограничение смягчалось, расширялся канал в интернет и т.д. Но DPI выручил и как сиюминутное решение и сейчас в этой сети активно применяется, уже после того, как покинул это место.

Анализ и контроль трафика может выполняться тремя способами:
1) На основе статических правил/политик
2) На основе сигнатур могут распознаваться приложения/протоколы/атаки/вирусная активность. Как правило базы сигнатур предоставляются вендором и обновляются автоматически с некой периодичностью.
3) Deep стоит понимать в неком философском смысле. Это не только глубокое проникновение в пакет, но и глубокий анализ. DPI-устройства могут анализировать поведение, активность хостов в сети. К примеру если с какого-то IP-адреса много попыток соединений на различные порты одного хоста, можно предположить, что это работает сканер портов, а если аналогично на различные хосты, но на один порт, то это может быть червь или вирус.
Благодаря такому поведенческому механизму DPI может распознавать новые протоколы VoIP, P2P или какие-либо другие ещё до выхода соответствующей сигнатуры.

Кроме таких необходимых вещей, как перечислены выше, DPI позволяет провайдеру предоставлять дополнительные услуги.
- прнцип работы DPI почти автоматически влечёт за собой увеличение безопасности абонента (защита от спама и атак) и комфорта его работы (параллельно включенные торренты или проблемы других абонентов не будут сказываться на более критичных сервисах, например, голосе или видео)
- дополнительное оборудование может обеспечить проверку трафика на вирусы
- на базе DPI можно организовать родительский контроль, управляемый самими родителями через портал.

Кроме того ещё одна киллер-фича такого плана железок — бескрайнее ромашковое поле для сбора статистики. Например, вы можете выбрать топ-10 посещаемых сайтов или пять пользователей, наиболее нагружающих канал или кто из пользователей ходил в запрещённые сектора интернета. Простор для вашей аналитической фантазии, в общем, бесконечный.
Кстати, DPI-оборудование может помочь вам обнаружить пользователей, замышляющих, что-то тёмное, отслеживать их активность в сети.
По сути СОРМ, который обязывают устанавливать всех операторов и есть DPI, просто управляете им не вы.

Если года 3-4 назад DPI-решения были относительной редкостью и прерогативой крупных провайдеров, то сейчас это направление набирает обороты и становится уже модным трендом современного телекома. Внедряют его и провайдеры и обычные предприятия для мониторинга или контроля активности своих сотрудников.

Хорошо это или плохо? Сложно ответить однозначно. Как бы то ни было теперь работает уже политика ограничения. С точки зрения пользователя, если с повсеместным внедрением СОРМа, вас можно было мониторить, отслеживать вашу активность в сети, то теперь вашим трафиком можно управлять.
Интернет всё меньше и меньше похож на нашу уютную маленькую сеть. В Китае вот и вовсе глобальная деанонимизация пользователей.
С точки зрения провайдеров и служб безопасности — это манна небесная.

В данный момент на рынке уже немало решений от различных производителей. Занимаются этим и монстры телекома и совсем узкоспециализированные неизвестные в широких кругах компании.

В рамках недавней PHDays проходил ряд докладов связанных с анализом эффективности существующих средств защиты:

· В обход DPI, Олли-Пекка Ниеми (Opi)

· Теория лжи: обход современных WAF, Владимир Воронцов

· Десяток способов преодоления DLP-систем, Александр Кузнецов, Александр Товстолип

Почему меня интересовали именно эти доклады? Потому что в рамках своей работы занимаюсь проектированием и внедрением решений, СЗИ и ждал информации которая поможет мне учесть при проектировании дополнительные факторы, при настройке обратить внимание на определенные функции и в итоге получить действительно эффективную, а не “бумажную” системы защиты.

В своем докладе Олли-Пекка рассказал про пентестовую утилиту Evader , некоторые техники обхода средств защиты (evasion ). Сама утилита Evader – вещь отличная, но у доклада было несколько минусов:

· Во-первых, несоответствие содержания и названия. К DPI никакого отношения. Область действия Evader и описываемых способов обхода – в основном сигнатурные сетевые системы защиты (NGFW , IPS)

· Во-вторых, доклад не оправдывал уровень сложности – 200. Вполне хватило бы и 100. Так как это был краткий пересказ определений различных техник обхода и демонстрация интерфейса Evader

· В-третьих, старая тема. Аналогичный доклад я уже слышал в Stonesoft 2 года назад. С того времени новых слов не прибавилось

Теперь по сути вопроса: так как в докладе не прозвучало какие именно средства какими недостатками обладают, нам потребуется самостоятельно развернуть тестовый стенд Evader , о котором я уже писал ранее . Прогнать его используя mongbat со всеми возможными комбинациями обхода (evasion ), определить те, которые не обнаруживаются нашим сетевым средством защиты. Дополнительно настроить средства защиты, так чтобы обнаруживать атаки даже с техниками обхода (уверен, что в 90% случаев это можно сделать). А для оставшихся 10% необнаруживаемых атак принять решение о необходимости иных “компенсирующих” мер.

Например, если у нас web приложение, а FW и IPS не могу определить атаки, то нужен WAF . Либо, как предлагает Stonesoft , использовать временную меру Stonesoft Evasion Prevention System (EPS ), которую можно впихнуть в любую работающую инфраструктуру.

Доклад про обход WAF был очень хорош в части презентационных навыков докладчика и интересности – слушался легко и непринуждённо. НО полезной информации, которая была нужна мне и о которой я писал выше, там не было:

· Сам докладчик говорит, по ряду недостатков WAF (DoS, Protocol-Level Evasion, защищаемые Hostname, HTTP Protocol Pollution), говорит что они связаны с плохой настройкой средства защиты, потом совершает логическую ошибку и говорит что плохи сами WAF.

· Техники обхода перечислялись в режиме пересказа, без демонстраций, деталей и т.п.

· По ходу дела докладчик неоднократно говорит “в корпоративных WAF всё настолько плохо, что я не буду их рассматривать в данном разделе, рассмотрю только open source средства защиты”. Из этого я делаю вывод, что у докладчика всё настолько плохо с получением “корпоративных” WAF на тестирование и с опытом их настройки, что он не хочет трогать эту больную тему

· Докладчик ссылается на недавнее сравнение облачных сервисов WAF , в котором делаются выводы об их слабой эффективности. Тут я могу сказать только то, что облачные сервисы на данный момент действительно слабые (слабее чем выделенные корпоративные WAF ). Связано это с настройкой WAF у данного конкретного провайдера услуг, а не с какой-то со слабостью решений типа WAF в принципе.

· Часть уязвимостей, приведенных автором, являются уязвимостями конечных сервисов и приложений и не имеют отношения к WAF (который их отлично детектирует). Зачем автор привел их в данной теме? Наверное, решил выложить все, что он знает в безопасности web .

· В самом конце докладчик говорит, что разрабатывает собственное принципиально новое средство защиты web приложений (вот и открылись истинные причины критики WAF )

На самом деле, в WAF есть достаточно много правил нормализации и контроля протоколов, надо только их корректно настроить. Вполне возможно автор доклада не потратил достаточно времени на изучение возможных вариантов настройки “корпоративных” WAF .

Сами принципы и технологии работы современных корпоративных WAF сильно отличаются от того, про что рассказывал докладчик, это давно уже не набор детектируемых сигнатур. В них уже есть:

· система полномочного разграничения доступа, в которой мы задаем явно, что можно делать пользователю в web приложении (не путать с блокированием запросов по сигнатурам атак)

· динамическое профилирование, в рамках которого система автоматически стоит профили запросов нормальных пользователей и обнаруживает аномальное отклонение

· защита от автоматизированных атак (Automated Attack ), в рамках которой обнаруживаются внешняя инвентаризация, перебор, фазинг и т.п.

· корреляция с системами защиты БД, в рамках которого WAF получает информацию, о том какой реально запрос и ответ прошел от сервера web приложения к серверу БД

Эти механизмы не упоминались и делаю вывод, что они докладчику были неизвестны.

Преодоление DLP . По мнению докладчиков основные проблемы из-за настроек по-умолчанию, ошибок в конфигурации, не поддерживаемой системы. Но были и явные недостатки самих DLP решений (к сожалению, без уточнения, какая версия какого продукта тестировалась):

· отключение службы с правами администратора (путем переименования файла службы)

· копирование защищаемых документов в локально-подключенный криптоконнтейнер

· побитовое копирование документа в конец картинки

· когда система сначала разрешает копирование, потом блокирует и удаляет файл с носителя, можно попробовать произвести восстановление удаленного файла

· удаление лога с событиями DLP с правами администратора

Все приведенные недостатки могут быть использованы с натяжкой. Так что, в процессе устранения вендорами таких недостатков, можно принимать альтернативные меры – грамотно настраивать права пользователей в ОС и к файловой системе, контролировать перечень установленного стороннего ПО и постоянную активность сервисов DLP .

4.Общей же мыслью всех трех докладчиков является необходимость грамотной настройки средств защиты информации, постоянному мониторингу и оптимизации настройки. Принцип “поставил и забыл” в мире реального ИБ – не работает.

5.Из своего опыта могу добавить, что в проектах я всегда стараюсь проговаривать с заказчиками требуемый объем работ по проектированию и настройке средств защиты. В зависимости от решения стоимость работ может даже превосходить стоимость самого решения, поэтому заказчики не всегда выбирают вариант с детальной проработкой конфигурации и тонкой настройкой на месте.

Часто заказываются бюджетные варианты с типовыми настройками. И я не уверен, что администраторы самостоятельно получают достаточное обучение по настройке продукта, настраивают и поддерживают все необходимые функции. Если настройки остаются по умолчанию, то слова всех докладчиков будут справедливы – злоумышленник может быстро подобрать меры по обходу средств защиты.

Получается так, если хочешь сэкономить на настройке и поддержании системы, будь готов регулярно платить за пентест (или анализ эффективности).

6.Ещё один вывод – Чтобы хакер смог понять, как обойти нашу систему защиты, ему нужно развернуть и протестировать у себя точный аналог. Если мы используем дорогое корпоративное решение, то обычному хакеру этот вариант недоступен.

Ему придется проводить тесты на нашей рабочей системе. И тут очень важно использовать мониторинг системы защиты и анализ событий ИБ. Если в компании эти процессы налажены, то мы сможем выявить источник атаки и исследуемый сервис раньше чем злоумышленник сможет обнаружить хороший метод обхода системы защиты.