arXiv · 29.06.2026 ·Машинное обучение

KnowsTFM: повышение точности табличных моделей через интеграцию знаний

Исследователи представили метод KnowsTFM, который улучшает работу малых табличных моделей (TFM) за счет интеграции внешних реляционных знаний. В условиях нехватки данных или их высокого смещения относительно обучающей выборки, подход позволяет моделям превосходить специализированные методы, эффективно используя структурированную информацию из предметных областей для повышения качества предсказаний в сложных задачах.

Табличные модели стали стандартом для работы с данными среднего размера, однако они часто сталкиваются с трудностями в узкоспециализированных нишах. Проблема заключается в том, что стандартные архитектуры плохо адаптируются к данным, которые сильно отличаются от исходного распределения, на котором происходило предобучение. Новый метод решает эту задачу, внедряя механизм дообучения, учитывающий внешние знания, что позволяет модели лучше интерпретировать связи между признаками.

Интеграция знаний происходит на этапе дообучения, что позволяет сохранить преимущества предобученных весов, добавляя при этом контекст конкретной доменной области. Это делает подход применимым в таких сферах, как медицина или финансы, где доступ к размеченным данным ограничен, а наличие экспертных баз знаний является ключевым фактором для точности моделей.

Ключевые факты

Метод KnowsTFM ориентирован на дообучение малых табличных моделей (TFM) с использованием внешних реляционных данных.
Подход эффективно работает в условиях дефицита данных и высокой размерности, где стандартные модели показывают низкую точность.
Технология позволяет преодолеть проблему смещения данных (data shift), характерную для узких предметных областей.
Метод демонстрирует превосходство над специализированными алгоритмами за счет объединения глубокого обучения с экспертными знаниями.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение MixTTA: новый метод адаптации моделей к изменениям данных в реальном времени Исследователи представили MixTTA — метод адаптации моделей в процессе тестирования (TTA), который решает проблему неэффективности стандартных подходов при изменении распределения данных. В отличие от традиционных методов, обновляющих параметры нормализации по отдельным каналам, MixTTA использует низкоранговое смешивание каналов, что позволяет модели лучше адаптироваться к структурным сдвигам в данных без необходимости переобучения. arXiv · Машинное обучение Новый метод адаптации моделей для сегментации аномалий с учетом топологии Исследователи представили новый подход к адаптации моделей в процессе тестирования (TTA) для задач сегментации аномалий. Метод фокусируется на сохранении структурной целостности данных при наличии шума и вариаций текстур, преодолевая ограничения традиционных эвристик на уровне пикселей. Решение позволяет моделям лучше адаптироваться к сдвигам распределения данных, обеспечивая более точное выделение аномальных областей в реальных условиях эксплуатации. Hacker News · Обучение и дообучение Дистилляция знаний из закрытых LLM: новый подход к обучению компактных моделей Исследователи представили метод дистилляции знаний из «черных ящиков» — проприетарных больших языковых моделей — для обучения более компактных и эффективных нейросетей. Подход позволяет переносить сложные логические способности и лингвистические навыки от гигантских моделей к меньшим архитектурам, сохраняя высокую производительность при значительном снижении требований к вычислительным ресурсам и затратам на инференс. arXiv · Машинное обучение Оценка априорных распределений данных в табличных foundation-моделях Исследователи представили методологию для оценки априорных распределений данных (data priors), которые лежат в основе обучения табличных foundation-моделей. Авторы работы анализируют, как именно выбор генеративных распределений при претрейнинге влияет на итоговую производительность моделей, предлагая стандартизированный подход для сравнения различных архитектур и стратегий обучения, что ранее оставалось «черным ящиком» в разработке табличных ИИ-систем. arXiv · Машинное обучение Метод декомпозиции задач для повышения эффективности разметки данных Исследователи представили новый подход к разметке структурированных данных, основанный на декомпозиции сложных задач на более простые подзадачи. Метод позволяет значительно снизить затраты на создание качественных обучающих выборок, минимизируя необходимость в дорогостоящей ручной проверке результатов, полученных с помощью моделей, и повышая общую точность разметки для последующего обучения downstream-моделей. arXiv · Исследования и наука Новый подход к выбору вероятностных моделей для временных рядов Исследователи представили новый метод выбора оптимальных вероятностных моделей при работе с наборами временных рядов. Авторы анализируют использование надлежащих правил оценки (proper scoring rules) для агрегирования результатов на множестве временных рядов. Работа предлагает уточненные статистические подходы, позволяющие более точно оценивать качество прогнозирования моделей в условиях сложной динамики данных и высокой волатильности. arXiv · Машинное обучение Новый метод выявления скрытых групп данных для повышения точности моделей Исследователи представили новый подход к решению проблемы ложных корреляций в машинном обучении. Современные модели часто показывают высокую среднюю точность, но допускают критические ошибки на недостаточно представленных подгруппах данных. Традиционные методы борьбы с этим явлением обычно требуют либо предварительной разметки подгрупп, либо использования псевдометок, которые не дают интерпретируемого результата на этапе инференса. arXiv · Исследования и наука Исследование раскрывает механизмы обобщения в моделях знаний Учёные изучили, как foundation models для графов знаний (KGFMs) обобщают информацию на новых данных. Эти модели способны предсказывать связи в незнакомых графах без дополнительного обучения, но их эффективность варьируется. arXiv · Машинное обучение Новый метод дообучения моделей речи для специфичных задач Исследователи предложили новый подход к дообучению foundation-моделей речи, которые изначально обучаются на больших объёмах неразмеченных данных. Такие модели создают универсальные представления, полезные для разных задач, но при этом кодируют информацию о ключевых переменных речи распределённо. Это означает, что для конкретных задач требуется только часть этой информации. arXiv · Безопасность и алайнмент Уязвимости конфиденциальности в табличных foundation-моделях Исследователи выявили критические риски конфиденциальности в табличных foundation-моделях, использующих механизм внимания. Несмотря на обучение на синтетических данных, модели подвержены утечкам чувствительной информации при инференсе. В процессе in-context learning данные, передаваемые в качестве размеченных примеров, могут быть восстановлены через анализ весов внимания, что ставит под угрозу безопасность высокорисковых запросов в корпоративных системах.

← Все материалы