Анализ гигантских графов данных на GPU ускорили до 100 раз: новый рубеж вычислений
Перечисление подграфов в секционированных графах в системах с распределенной памятью сталкивается с проблемами балансировки перемещения данных с локальными вычислениями. В частности, подсчет количества треугольников, индуцированных замкнутыми клиньями (т. е. циклов длины 3), является мерой связности в графе, но часто ограничивается значительным пространством поиска, вызванным открытыми клиньями или путями длиной 2 (обычно больше, чем количество ребер в графе), которые необходимо проверять, чтобы оценить, закрыт ли конкретный клин. Чтобы уменьшить подсчет треугольников на массивных графах, жизнеспособны подходы с распределенной памятью (т. е. независимая оценка замкнутых сегментов внутри раздела), но дисбаланс нагрузки из-за произвольного обмена данными может затмить любые выгоды от расширенного параллелизма из-за присущего обычным графам отсутствия структуры. В этой статье мы обсуждаем реализацию точного подсчета треугольников в графе с распределенной памятью и оцениваем ее производительность на реальных графах с миллиардами ребер на современных платформах графических процессоров NVIDIA с масштабированием и масштабированием (с учетом архитектур NVIDIA ``Ampere'' and ``Hopper''), изображая спектр масштабируемости нескольких порядков величины. Сравнение с существующими современными подходами демонстрирует улучшение до 10$\times$ по сравнению с базовым процессором с распределенной памятью, 2-100$\times$ по сравнению с оптимизированным поставщиком NVIDIA RAPIDS cuGraph с одним графическим процессором и на 10-60 % по сравнению с $G^2$Miner с несколькими графическими процессорами с точки зрения времени сквозного выполнения.
## В чем суть открытия Почему узкие места памяти графического процессора препятствуют масштабируемой графической аналитике и как клиновая фильтрация IPC с нулевым копированием? ## Как это устроено: принцип работы В частности, подсчет количества треугольников, индуцированных замкнутыми клиньями (т. е. циклов длины 3), является мерой связности в графе, но часто ограничивается значительным пространством поиска, вызванным открытыми клиньями или путями длиной 2 (обычно больше, чем количество ребер в графе), которые необходимо проверять, чтобы оценить, закрыт ли конкретный клин. Чтобы уменьшить подсчет треугольников на массивных графах, жизнеспособны подходы с распределенной памятью (т. е. независимая оценка замкнутых сегментов внутри раздела), но дисбаланс нагрузки из-за произвольного обмена данными может затмить любые выгоды от расширенного параллелизма из-за присущего обычным графам отсутствия структуры. ## Что это меняет на практике Обеспечивает быстрый анализ сетевых подключений, обнаружение сообществ в социальных сетях и биоинформатику на огромных графах с миллиардами ребер, обеспечивая повышение эффективности от 2x до 100x по сравнению с существующими инструментами графического процессора. ## Границы метода и риски Степенные безмасштабные графики страдают от дисбаланса нагрузки блоков потоков во время локального подсчета, а сжатие буфера ЦП приводит к накладным расходам, которые превышают экономию пропускной способности сети. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** Теоретическое обоснование