Умная перестановка фрагментов данных на клиенте сжимает серверные хранилища почти вдвое без потери скорости
Поскольку растущие объемы данных перегружают емкость распределенных файловых систем, сжатие хранилища на стороне сервера прозрачно снижает использование диска, но его эффективность ограничена, когда аналогичные блоки попадают в отдельные записи сжатия и не могут иметь общие совпадения. Мы представляем структуру переупорядочения на стороне клиента, которая преобразует структуру физических блоков перед сохранением, так что связанные блоки размещаются в одной области сжатия без замены существующего компрессора сервера хранения. Он работает с ограниченными окнами переупорядочения, периодически выбирает среди возможных макетов посредством облегченного сжатия выборочных данных и восстанавливает исходный логический порядок во время чтения с компактными локальными метаданными окна. Мы реализуем платформу в распределенной файловой системе SkyFS, используя компрессор Zstandard (Zstd) на сервере хранилища OpenZFS. Результаты работы с различными наборами данных показывают, что платформа сокращает объем физического хранилища до 42.9% по сравнению с записью в логическом порядке, обеспечивая при этом базовую пропускную способность последовательного чтения 94-108% и IOPS произвольного чтения 91-99%. Построение макета на стороне клиента является основной дополнительной стоимостью записи, показывая, что адаптивное переупорядочение с учетом сходства существенно повышает эффективность хранения при приемлемых накладных расходах.
## В чем суть открытия Десятилетиями архитектура распределенных файловых систем строилась на строгом разделении обязанностей: клиенты передают поток байтов в хронологическом порядке, а серверы прозрачно сжимают поступающие блоки перед записью на диски. Классические алгоритмы сжатия без потерь, такие как LZ77 и Zstandard, находят повторяющиеся последовательности байтов в скользящем окне словаря. Однако серверные накопители вынуждены разбивать поток на независимые блоки по 128 килобайт ради быстрого выборочного чтения. В этом компромиссе скрывался глубокий тупик. Логический порядок записи отражает последовательность работы программ, а не внутреннее сходство байтов. Похожие блоки данных — повторяющиеся таблицы баз данных, схожие страницы виртуальных машин или однотипные строки журналов — приходят в разное время и попадают в изолированные серверные записи. Поскольку компрессор сбрасывает историю на границе каждой записи, он не видит межблочных дубликатов. Простое увеличение размера серверного блока до мегабайта не решает проблему, но драматически замедляет произвольное чтение из-за раздутой декомпрессии. ## Как это устроено: принцип работы Исследователи перенесли группировку данных на сторону клиента перед их отправкой по сети, полностью сохранив привычные серверные компрессоры. Клиент накапливает логические блоки в буферном окне размером 64 мегабайта, где специальный алгоритм объединяет родственные фрагменты в общие группы. Для быстрого поиска сходства система использует легковесные хеш-сигнатуры методов Odess, Palantir и Argus. Когда накапливается шестнадцать схожих блоков по 8 килобайт, они упаковываются в один плотный сектор размером 128 килобайт, в котором серверный компрессор находит максимум повторов. Чтобы адаптироваться к разным типам нагрузки, клиент периодически проводит пробное сжатие небольших срезов данных и автоматически выбирает наиболее выгодную стратегию группировки. Для чтения используется компактная таблица перестановки размером всего 16 килобайт на окно, мгновенно восстанавливающая исходный порядок файлов. ## Результаты и доказательства Технологию внедрили в распределенную систему SkyFS с бэкендом OpenZFS и сжатием Zstandard, протестировав кластер на четырех серверах хранения и двух клиентах. Испытания охватили 59 гигабайт данных: таблицы MySQL InnoDB, образы виртуальных машин, системные архивы и научные измерения. Для баз данных физический объем занимаемого пространства сократился на 42,9%, для виртуальных машин — на 35,0%, а для арх