Бессерверные облачные рабочие процессы могут полностью выполняться
Бессерверные вычисления все чаще используются для запуска сложных рабочих процессов DAG в различных приложениях, а время выполнения отдельных функций для их поддержки увеличилось, что увеличивает продолжительность рабочего процесса до нескольких часов. Бессерверные платформы с открытым исходным кодом, развернутые в пуле виртуальных машин, обычно используют экземпляры по требованию, и их стоимость увеличивается с увеличением срока изготовления. Спотовые инстансы обходятся гораздо дешевле, но их вытеснение, скорее всего, произойдет еще до завершения рабочего процесса. Вытеснение на разветвленном узле или задача, подаваемая на входящий узел, останавливает каждую параллельную ветвь, каскадно приводя к сбою всего рабочего процесса. Предыдущие системы решают эту проблему путем переноса высокоэффективных задач на надежные, неспотовые ресурсы, жертвуя ценовыми преимуществами спотовых ресурсов. Мы представляем FaaSpot, бессерверную систему выполнения рабочих процессов, которая запускает каждую задачу рабочего процесса на спотовых экземплярах без возможности отката по требованию. Наше ключевое понимание состоит в том, что позиции, склонные к каскадированию, определяются топологией группы обеспечения доступности баз данных и могут быть идентифицированы до выполнения. Таким образом, FaaSpot анализирует DAG рабочего процесса один раз во время отправки и классифицирует каждую задачу по влиянию ее вытеснения. Выборочная контрольная точка, масштабирование с учетом выживания и повторные попытки на основе происхождения затем действуют на основе этой единой классификации без какой-либо координации во время выполнения. Мы оцениваем FaaSpot на спотовом эмуляторе с трассировкой и восемью рабочими процессами DAG на основе четырех современных базовых показателей. FaaSpot завершает запуски 89.03% по цене 0,018 доллара США за успешный запуск, что на 21 процентный пункт (процентных пунктов) выше среднего базового показателя успеха и с более низкой стоимостью за успех, чем каждый базовый план, при этом уменьшая среднюю задержку на 2.3x.
## В чем суть открытия Как бессерверные облачные рабочие процессы могут полностью выполняться на нестабильных спотовых экземплярах за половину стоимости, не вызывая при этом? ## Как это устроено: принцип работы Бессерверные платформы с открытым исходным кодом, развернутые в пуле виртуальных машин, обычно используют экземпляры по требованию, и их стоимость увеличивается с увеличением срока изготовления. Спотовые инстансы обходятся намного дешевле, но их вытеснение, скорее всего, произойдет еще до завершения рабочего процесса. ## Что это меняет на практике Позволяет научным вычислениям, геномике и конвейерам машинного обучения (например, LIGO, Montage, 1000Genomes) сократить затраты на выполнение облачных виртуальных машин более чем на 50%, сохраняя при этом уровни надежности по требованию. ## Границы метода и риски Требуются статические структуры DAG, известные на момент отправки, и используются оценки времени выполнения; не может обрабатывать динамическое ветвление, зависящее от данных, без повторного автономного анализа. ## Результаты и доказательства - **Комплексный скор значимости:** 8.5 / 10.0 - **Уровень доказательности:** Теоретическое обоснование - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)