Интеллектуальный микропроцессорный модуль предварительной выборки памяти сокращает узкие места
Современные процессоры в значительной степени полагаются на предварительную выборку данных, чтобы преодолеть растущий разрыв в производительности между вычислениями и доступом к памяти. При смещенной предварительной выборке предварительная выборка выполняется по дельте адреса относительно последнего наблюдаемого доступа, выбирая дельты, которые продемонстрировали высокий охват в недавней истории потока доступа. Предварительная выборка с лучшим смещением (BOP) иллюстрирует этот подход, выбирая одно единообразно выдаваемое глобальное смещение, которое обеспечивает своевременную предварительную выборку. Однако отсутствие контекстно-зависимого отслеживания точности приводит к значительному увеличению трафика DRAM и иногда к разочаровывающей производительности. И наоборот, Berti, современный механизм предварительной выборки смещения, обеспечивает впечатляющую производительность и точность предварительной выборки. Однако его локальный подход к извлечению смещений с помощью счетчика программ (ПК) ограничивает его способность захватывать шаблоны глобальной памяти, а это означает, что существует множество сценариев, в которых более простые средства предварительной выборки глобальных смещений, такие как BOP, превосходят его по производительности. Принимая во внимание ограничения современных устройств предварительной выборки смещений, мы представляем Caerus: устройство предварительной выборки смещений, которое использует локальную на ПК фильтрацию по множеству непересекающихся глобально полученных смещений. Caerus извлекает несколько смещений из глобальной трассировки памяти и максимизирует их совокупное покрытие, обучая каждое смещение только при доступе, еще не охваченном ранее изученными смещениями. Точность каждого извлеченного смещения отслеживается для каждого ПК в зависимости от того, может ли оно охватить будущие обращения с любого ПК. Это позволяет Caerus обрабатывать сложные дельта-паттерны, сохраняя при этом высокую точность. В SPECspeed 2017 Caerus получил геометрическое ускорение 8.3%, опередив Berti на 2.0%, при этом добившись низких затрат на аппаратное обеспечение и трафик DRAM.
## В чем суть открытия Процессоры тратят время на ожидание данных из памяти. Caerus — это интеллектуальная аппаратная система предварительной выборки, которая прогнозирует, какие данные понадобятся процессору в следующий раз, анализируя глобальные шаблоны памяти для всех программных инструкций и локально фильтруя запросы. ## Как это устроено: принцип работы Caerus наблюдает за изменениями доступа к памяти в истории страниц в регистрах сдвига, чтобы извлечь непересекающиеся глобальные смещения, используя следующий лучший алгоритм выбора. Он отслеживает историческую точность каждого смещения для отдельных программных счетчиков (ПК) с использованием счетчиков насыщения. Предварительная выборка выполняется только для смещений, превышающих локальный порог точности ПК, что обеспечивает высокий охват без переполнения DRAM. ## Что это меняет на практике Поскольку Caerus требует всего 2,86 КиБ аппаратного состояния и не требует изменений тега кэша L1, разработчики ЦП могут интегрировать его в современные процессорные ядра, чтобы повысить производительность рабочей нагрузки, связанной с памятью, до уровня 8.3%, сохраняя при этом низкий трафик DRAM. ## Границы метода и риски Caerus ограничивает обучение смещению границами виртуальных страниц размером 4 КиБ, что предотвращает обнаружение пространственных закономерностей на больших расстояниях между страницами и полагается на статические пороговые значения точности, которые могут потребовать динамической настройки в условиях сильной конкуренции на шине памяти. ## Результаты и доказательства - **Комплексный скор значимости:** 9.5 / 10.0 - **Уровень доказательности:** программный бенчмарк и верификация - **Бенчмарки и прирост:** 8.3% geomean speedup on SPECspeed 2017; 4.7% normalized excess DRAM traffic; 2.86 KiB hardware state overhead. - **Размер выборки / валидация:** N = 307 trace simpoints across SPECspeed 2017, SPEC CPU2006, Ligra, and PARSEC; 55 8-core heterogeneous mixes. - **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)