computing_infrastructure · 2026-11-05
Двухуровневое векторное квантование снимает барьер памяти и ускоряет поиск ИИ в больших данных
Мы представляем \textsc{Ginger}, современную библиотеку C++ с открытым исходным кодом для приближенного поиска ближайшего соседа на основе графов (ANNS). Мы разработали \textsc{Ginger} в Google, чтобы повысить скорость и эффективность использования памяти при поиске по графам в больших и многомерных наборах данных для встраивания. \textsc{Ginger} превосходит существующие библиотеки ANNS по пропускной способности запросов и времени индексации, при этом сопоставимый по объему памяти с наиболее экономичными конкурентами. \textsc{Ginger} основан на последних достижениях в области построения графов близости (PiPNN) и векторного квантования (TurboQuant). Мы представляем Nested TurboQuant (NTQ), двухуровневый квантователь, который поддерживает навигацию по графам с низкой точностью и переранжирование с высокой точностью в одном коде. Такое представление обеспечивает точность, близкую к плавающей запятой, при меньшем объеме памяти $2.6\times$. Мы также сжимаем размер наших графов близости до $2.5\times$, не влияя на пропускную способность запросов. Мы комбинируем переупорядочение графов с новым кодеком сжатия без потерь под названием AdaptiveGap, который основан на StreamVByte. Насколько известно, $95\%$, \textsc{Ginger} ускоряет пропускную способность запросов в среднем на $1.8\times$ по сравнению с самым быстрым конкурентом каждого набора данных и как минимум на $2.3\times$ по сравнению с любой отдельной библиотекой. Это преимущество возрастает до $2.9\times$ по сравнению с компактными библиотеками в многомерных внедрениях.
## В чем суть открытия
Исследователи представили новую технику векторного поиска, которая сжимает огромные наборы данных для внедрения искусственного интеллекта, делая поисковые запросы значительно быстрее и менее требовательными к памяти без потери точности.
## Как это устроено: принцип работы
Система использует двухуровневый вложенный векторный квантователь (Nested TurboQuant), где 4-битный префикс обеспечивает сверхбыструю навигацию по графику, а дополнительные вложенные биты повышают точность окончательного переранжирования. В сочетании с кодеком сжатия графов без потерь (AdaptiveGap) и уменьшением размеров PCA это значительно сокращает пропускную способность DRAM и объем памяти.
## Что это меняет на практике
Позволяет производственным системам искусственного интеллекта, приложениям RAG и корпоративным поисковым платформам обслуживать многомерные векторные запросы с удвоенной пропускной способностью в меньшей и более дешевой облачной инфраструктуре в течение 1–3 лет.
## Границы метода и риски
Умножение матрицы проекции PCA масштабируется с высокой размерностью и требует до 50% времени выполнения запроса для 4096-мерных векторов, тогда как общий выигрыш меньше для целочисленных наборов данных низкой точности.
## Результаты и доказательства
- **Комплексный скор значимости:** 9.5 / 10.0
- **Уровень доказательности:** программный бенчмарк и верификация
- **Бенчмарки и прирост:** 10@10 Recall, QPS (Queries Per Second), Index Build Time, Memory Footprint (Bytes/Vector)
- **Размер выборки / валидация:** N = 14 public benchmark datasets up to 1 billion vectors and 4096 dimensions
- **Реализация в открытом доступе:** Да (верифицируемый репозиторий кода)
quantum_physics · 2026-11-18
Аннотация: Современная цифровая инфраструктура сталкивается с системным комплексным кризисом по трем фундаментальным векторам: вероятностная ловушка ИИ (стохастические модели с галлюцинациями и катастрофическим потреблением энергии), уязвим
ai_frontier · 2026-11-18
Abstract Background Children with cerebral palsy (CP) exhibit substantially elevated energetic costs of walking, yet the biomechanical origins of this excessive cost remain unclear, limiting the effectiveness of current interventions. Metho
ai_frontier · 2026-11-18
Детекторы Шиллинга для рекомендательных систем почти всегда оцениваются по одному числу — обнаружению AUROC, без учета того, когда ему можно доверять. Мы проверяем обнаружение пространства представления с помощью VEIL (Вариационная оценка п
brain_bci · 2026-11-18
Монреальская когнитивная оценка (MoCA) широко используется в исследованиях болезни Паркинсона (БП) для измерения когнитивных функций, но опубликованные пороговые значения для легких когнитивных нарушений (PD-MCI) и деменции (PDD) различаютс
brain_bci · 2026-11-18
Компьютеризированная когнитивная тренировка (CCT) направлена на смягчение снижения когнитивных функций при субъективном снижении когнитивных функций (SCD) и легких когнитивных нарушениях (MCI). Однако соблюдение требований и долгосрочное
brain_bci · 2026-11-18
Изучить этническое неравенство в результатах найма и представительстве рабочей силы среди медсестер и акушерок в разных диапазонах оплаты, а также оценить, могут ли регулярно собираемые административные данные генерировать воспроизводимые п
biomedicine_health · 2026-11-18
Это обновление ранее опубликованного обзора. Женщины с бесплодием могут использовать дополнительные методы лечения для улучшения репродуктивных результатов. Мио-инозитол и D-хиро-инозитол — это широко доступные пищевые добавки, которые обыч
biomedicine_health · 2026-11-18
Имеглимин — противодиабетический препарат на основе метформина, который улучшает гликемию за счет оптимизации функции митохондрий. Данные свидетельствуют о том, что он повышает эффективность митохондрий и сохраняет массу β-клеток поджелудоч
brain_bci · 2026-11-18
Несмотря на наблюдаемые преимущества современных методов лечения, у людей, живущих со спинальной мышечной атрофией (СМА), сохраняются некоторые тяжелые симптомы. Усталость постоянно указывается сообществом СМА как главная неудовлетворенная
biomedicine_health · 2026-11-18
In reproductive-aged women with polycystic ovary syndrome, overweight or obesity exacerbates metabolic and reproductive risks; lifestyle interventions and metformin have limited weight-loss effects, and more effective pharmacological weight
biotech_bioengineering · 2026-11-18
Геномный отбор стал мощным инструментом для ускорения генетического улучшения в селекции животных, однако его более широкое применение часто ограничивается высокими затратами на генотипирование и снижением надежности прогнозирования среди п
biotech_bioengineering · 2026-11-18
Osteoglossidae, одна из самых древних пресноводных рыб, демонстрирующая трансконтинентальную дизъюнкцию, дает важную информацию о ранней эволюции костистых рыб и исторической биогеографии. Используя интегрированные стратегии секвенирования,
biotech_bioengineering · 2026-11-18
Фертильность молока сильно влияет на устойчивость фермы, поскольку молодых коров приходится выращивать в течение многих месяцев, прежде чем они начнут давать молоко. Возраст начала обслуживания (AFS) является ключевым фактором репродуктивно
biomedicine_health · 2026-11-18
Понимание движущих сил, лежащих в основе половых различий в продолжительности жизни, может дать ценную информацию об эволюции продолжительности жизни в целом. Однако сравнительные исследования, выявляющие эти факторы у беспозвоночных, остаю
ai_frontier · 2026-11-18
Травматическая оптическая нейропатия (ТОН) является основной причиной необратимой потери зрения после тупой черепно-мозговой травмы, однако отсутствие клинически значимых моделей на крупных животных, которые точно повторяют человеческий ТОН