Локальный поиск правил с глобальной проверкой: как избавить распределенный мониторинг от ложных тревог
Анализ спецификаций извлекает временные правила, которые описывают отношения между событиями в записанных системных трассировках. Применять эти правила в распределенных системах мониторинга сложнее, поскольку наблюдения поступают с разных узлов, часы которых могут быть не синхронизированы, а события могут теряться или переупорядочиваться во время передачи. В этой статье мы изучаем, как агрегировать охват добытых правил среди наблюдателей, определять, нужны ли их временные окна во время мониторинга, и характеризуем их обнаружение при потере событий. В нашей оценке используются трассировки пакетов IPv6, собранные с 21 получателя на четырех континентах. Мы показываем, что локальный майнинг с последующим глобальным подтверждением восстанавливает централизованное покрытие правил при подходящих условиях, существенно сокращая при этом накладные расходы на связь. Напротив, объединение трасс с невыровненными часами может исказить покрытие из-за введения неправильных временных совпадений. Критерий оконной выгоды определяет правила, требующие временного состояния, а наш анализ потерь и эксперименты с брокерами показывают, почему смежные потери могут быть более разрушительными, чем независимые потери. Результаты определяют отдельные требования для агрегирования наблюдений, выбора состояния монитора и обработки потерь событий.
## В чем суть открытия Десятилетиями классическая инженерия распределенных систем опиралась на молчаливую догму: чтобы обнаружить скрытые аномалии и сформулировать правила безопасности, необходимо стянуть все разрозненные журналы событий в единое хранилище. Однако в масштабных инфраструктурах этот подход уперся в непреодолимую стену. Физические часы на разных континентах неизбежно расходятся, а передача терабайтов сырых дампов перегружает каналы связи. Когда исследователи объединяли нескоординированные логи на общей временной шкале, возникала иллюзия: событие из дата-центра в Токио случайно попадало во временное окно запроса из Франкфурта. Математические алгоритмы обнаружения правил принимали эту случайную хронологическую близость за строгую закономерность, завышая метрики покрытия на 80 процентных пунктов и генерируя тысячи ложных тревог. Команда исследователей предложила фундаментальный пересмотр этой практики. Вместо централизованной агрегации сырых данных они математически строго доказали, что добычу временных правил необходимо выполнять локально на каждом узле-наблюдателе, а в центр передавать только компактные логические описания и счетчики истинности. Такой протокол не просто уменьшает накладные расходы на передачу данных в 1658 раз, но и гарантирует абсолютно точное, математически строгое восстановление глобального покрытия правил без единого артефакта искажения. ## Как это устроено: принцип работы В основе архитектуры лежит трехэтапный протокол с последующим компиляционным фильтром. На первом раунде каждый локальный наблюдатель независимо анализирует собственный поток событий, выявляя шаблоны во временной логике с локальным порогом покрытия. Наружу передаются не записи пакетов, а краткие логические формулы и пара чисел: количество объясненных целевых событий и общий объем выборки. На втором шаге центральный шлюз формирует объединение всех предложенных правил. На третьем раунде шлюз рассылает объединенный список гипотез обратно каждому узлу для быстрой проверки на уже записанных локальных трассировках. Поскольку покрытие аддитивно складывается по узлам при условии, что временные окна не пересекают границы наблюдателей, взвешенное среднее дает точный глобальный вердикт. Затем вступает компилятор правил. С помощью критерия прироста окна алгоритм выясняет, действительно ли правилу требуется хранить состояние в памяти во временном интервале или же связь между атрибутами укладывается в рамки одного события. Если временное окно избыточно, правило к