ai_frontier · 2026-11-03
Стохастическая выборка снимает барьеры сопоставления данных и ускоряет связывание сущностей в реальном времени
Разрешение сущностей (ER) — это важная задача очистки данных для идентификации записей, которые относятся к одному и тому же реальному объекту. В эпоху больших данных традиционное пакетное ER часто неосуществимо из-за ограничений по объему и скорости, что требует использования методов Progressive ER, которые максимизируют отзыв в рамках ограниченного вычислительного бюджета. Однако существующие прогрессивные подходы не могут масштабироваться для высокоскоростных потоков, поскольку они полагаются на детерминированную сортировку для определения приоритета пар-кандидатов, процесс, который влечет за собой непомерно высокую суперлинейную сложность и большие затраты на инициализацию. Чтобы устранить эту проблему масштабируемости, мы представляем SPER (Stochastic Progressive ER), новую структуру, которая переопределяет расстановку приоритетов как проблему выборки, а не как проблему ранжирования. Заменяя глобальную сортировку непрерывной стохастической двудольной стратегией максимизации, SPER действует как вероятностный фильтр верхних частот, который выбирает пары с высокой полезностью за строго линейное время. Обширные эксперименты на восьми реальных наборах данных показывают, что SPER обеспечивает значительное ускорение (от 3x до >6x) по сравнению с современными базовыми показателями, сохраняя при этом сопоставимую полноту и точность.
## В чем суть открытия
Разрешение сущностей позволяет найти повторяющиеся записи в наборах данных. Вместо кропотливой сортировки миллионов пар кандидатов от лучшего к худшему, SPER на лету осуществляет вероятностную выборку совпадений с высоким приоритетом, сопоставляя объекты в потоках реального времени.
## Как это устроено: принцип работы
SPER переосмысливает прогрессивное разрешение объектов как задачу стохастической двудольной максимизации вместо глобального ранжирования. Он использует непрерывный вероятностный фильтр верхних частот для выборки пар записей с высокой полезностью за строго линейное время. Это устраняет накладные расходы на сверхлинейную сортировку и большие задержки инициализации.
## Что это меняет на практике
Обеспечивает сопоставление объектов в реальном времени для высокоскоростных потоковых данных, позволяя корпоративным конвейерам данных и системам обнаружения финансового мошенничества мгновенно очищать данные без непомерных вычислительных задержек.
## Границы метода и риски
В качестве вероятностной структуры выборки SPER опирается на стохастические аппроксимации, которые могут потребовать тщательной настройки гиперпараметров, чтобы гарантировать, что редкие совпадения объектов в крайнем случае не будут пропущены в условиях сильного шума.
## Результаты и доказательства
- **Комплексный скор значимости:** 9.5 / 10.0
- **Уровень доказательности:** программный бенчмарк и верификация
- **Бенчмарки и прирост:** 3x to >6x speedup over state-of-the-art baselines; linear time execution; comparable recall and precision
- **Размер выборки / валидация:** N = 8 real-world datasets
quantum_physics · 2026-11-18
Аннотация: Современная цифровая инфраструктура сталкивается с системным комплексным кризисом по трем фундаментальным векторам: вероятностная ловушка ИИ (стохастические модели с галлюцинациями и катастрофическим потреблением энергии), уязвим
ai_frontier · 2026-11-18
Abstract Background Children with cerebral palsy (CP) exhibit substantially elevated energetic costs of walking, yet the biomechanical origins of this excessive cost remain unclear, limiting the effectiveness of current interventions. Metho
ai_frontier · 2026-11-18
Детекторы Шиллинга для рекомендательных систем почти всегда оцениваются по одному числу — обнаружению AUROC, без учета того, когда ему можно доверять. Мы проверяем обнаружение пространства представления с помощью VEIL (Вариационная оценка п
brain_bci · 2026-11-18
Монреальская когнитивная оценка (MoCA) широко используется в исследованиях болезни Паркинсона (БП) для измерения когнитивных функций, но опубликованные пороговые значения для легких когнитивных нарушений (PD-MCI) и деменции (PDD) различаютс
brain_bci · 2026-11-18
Компьютеризированная когнитивная тренировка (CCT) направлена на смягчение снижения когнитивных функций при субъективном снижении когнитивных функций (SCD) и легких когнитивных нарушениях (MCI). Однако соблюдение требований и долгосрочное
brain_bci · 2026-11-18
Изучить этническое неравенство в результатах найма и представительстве рабочей силы среди медсестер и акушерок в разных диапазонах оплаты, а также оценить, могут ли регулярно собираемые административные данные генерировать воспроизводимые п
biomedicine_health · 2026-11-18
Это обновление ранее опубликованного обзора. Женщины с бесплодием могут использовать дополнительные методы лечения для улучшения репродуктивных результатов. Мио-инозитол и D-хиро-инозитол — это широко доступные пищевые добавки, которые обыч
biomedicine_health · 2026-11-18
Имеглимин — противодиабетический препарат на основе метформина, который улучшает гликемию за счет оптимизации функции митохондрий. Данные свидетельствуют о том, что он повышает эффективность митохондрий и сохраняет массу β-клеток поджелудоч
brain_bci · 2026-11-18
Несмотря на наблюдаемые преимущества современных методов лечения, у людей, живущих со спинальной мышечной атрофией (СМА), сохраняются некоторые тяжелые симптомы. Усталость постоянно указывается сообществом СМА как главная неудовлетворенная
biomedicine_health · 2026-11-18
In reproductive-aged women with polycystic ovary syndrome, overweight or obesity exacerbates metabolic and reproductive risks; lifestyle interventions and metformin have limited weight-loss effects, and more effective pharmacological weight
biotech_bioengineering · 2026-11-18
Геномный отбор стал мощным инструментом для ускорения генетического улучшения в селекции животных, однако его более широкое применение часто ограничивается высокими затратами на генотипирование и снижением надежности прогнозирования среди п
biotech_bioengineering · 2026-11-18
Osteoglossidae, одна из самых древних пресноводных рыб, демонстрирующая трансконтинентальную дизъюнкцию, дает важную информацию о ранней эволюции костистых рыб и исторической биогеографии. Используя интегрированные стратегии секвенирования,
biotech_bioengineering · 2026-11-18
Фертильность молока сильно влияет на устойчивость фермы, поскольку молодых коров приходится выращивать в течение многих месяцев, прежде чем они начнут давать молоко. Возраст начала обслуживания (AFS) является ключевым фактором репродуктивно
biomedicine_health · 2026-11-18
Понимание движущих сил, лежащих в основе половых различий в продолжительности жизни, может дать ценную информацию об эволюции продолжительности жизни в целом. Однако сравнительные исследования, выявляющие эти факторы у беспозвоночных, остаю
ai_frontier · 2026-11-18
Травматическая оптическая нейропатия (ТОН) является основной причиной необратимой потери зрения после тупой черепно-мозговой травмы, однако отсутствие клинически значимых моделей на крупных животных, которые точно повторяют человеческий ТОН