Как избавить распределенные базы данных от паралича лидера и ускорить консенсус в разы
Появление блокчейнов стимулирует разработку новых устойчивых систем управления данными (RDS). Обычно управление этими RDS осуществляется с использованием схемы первичного резервного копирования с использованием протокола консенсуса, такого как PBFT. В этих схемах с основным резервным копированием один участник, основной, отвечает за координацию репликации и выполнение запросов. К сожалению, центральная роль первичного преобразователя делает его узким местом, резко ограничивающим производительность. В этой статье мы предлагаем DispersedBFT, высокопроизводительный протокол консенсуса, подобный PBFT, который использует распределенную репликацию для устранения основного узкого места консенсуса, подобного PBFT. В частности, DispersedBFT использует рассредоточение информации для распределения задачи репликации запроса от основного сервера к резервным. Мы предлагаем несколько вариантов DispersedBFT либо с низкой стоимостью ЦП (с использованием кодов аутентификации сообщений и доказательств Меркла), либо со стоимостью связи (с использованием цифровых подписей). Мы практически анализируем производительность DispersedBFT и показываем, что он значительно превосходит PBFT и HotStuff: DispersedBFT поддерживает пропускную способность 3,4Mtxn/сек с 43 репликами и до 6.2x быстрее, чем PBFT, и 2.6x быстрее, чем HotStuff.
## В чем суть открытия На протяжении четверти века фундаментальная архитектура византийских отказоустойчивых систем опиралась на строгую иерархию лидера и ведомых. Классический протокол PBFT возложил на единый узел-координатор неподъемное бремя: принимать запросы клиентов, паковать их в блоки и рассылать полные копии данных каждому участнику кластера. В эпоху гигабитных сетей и тяжелых транзакций этот централизованный канал связи превратился в непреодолимое «бутылочное горлышко». Координатор захлебывался во входящем и исходящем сетевом трафике задолго до того, как вычислительные мощности процессоров приближались к пределу. Попытки обойти этот тупик создавали новые проблемы. Параллельные цепочки консенсуса требовали сложнейшей синхронизации, а модные мемпул-протоколы на базе цепочечного упорядочивания связывали систему строгой последовательностью шагов, исключающей многопоточную внеочередную обработку. Исследователи из Университета Макмастера представили DispersedBFT — архитектуру, которая устраняет асимметрию нагрузки, не жертвуя простотой исходной модели «первичный-резервный» и сохраняя совместимость со старыми стандартами. ## Как это устроено: принцип работы Вместо монолитной рассылки тяжелых пакетов DispersedBFT задействует алгоритмы информационного рассеивания на основе кодов Рида — Соломона. Получив пачку клиентских операций, лидер делит ее на фрагменты уменьшенного размера, добавляя корректирующие биты четности. Далее координатор рассылает каждому резервному серверу ровно один уникальный фрагмент, снабженный криптографическим доказательством Меркла. На втором этапе подключается горизонтальный обмен: серверы пересылают полученные доли друг другу по принципу «каждый с каждым». Как только узел собирает достаточное количество фрагментов, он восстанавливает исходный блок целиком и подтверждает фиксацию. В этой схеме пропускная способность сети распределяется равномерно по всему периметру кластера. Лидер больше не передает гигабайты избыточных копий, а работает на равных скоростях с остальными машинами. Ротация позиций узлов в каждом раунде гарантирует, что даже сговор вредоносных участников не помешает честным серверам собрать полный набор данных. ## Результаты и доказательства Работоспособность концепции проверили в облачной среде Arbutus Cloud на кластере из 43 выделенных виртуальных машин с 16 вычислительными ядрами и 60 гигабайтами оперативной памяти каждая. В эксперимент заложили реалистичную задержку глобальной сети с круговым временем отклик