Hugging Face - Blog · 29.06.2026 ·Исследования и наука

DiScoFormer: единая архитектура для оценки плотности и скоринга данных

Исследователи из Allen Institute for AI представили DiScoFormer — архитектуру трансформера, способную одновременно моделировать плотность распределения данных и выполнять скоринг. В отличие от традиционных подходов, требующих раздельных моделей для генерации и оценки, этот метод позволяет эффективно работать с различными распределениями, объединяя задачи обучения плотности и оценки вероятностей в едином вычислительном процессе.

Разработка решает проблему вычислительной избыточности, характерную для современных генеративных моделей. Обычно для оценки качества или плотности данных используются отдельные дискриминаторы или специализированные статистические методы. DiScoFormer использует унифицированный подход, который позволяет модели лучше адаптироваться к сложным структурам данных, сохраняя при этом высокую точность при выполнении обеих задач.

Архитектура опирается на принципы диффузионных моделей и энергетических функций, что делает её применимой для широкого спектра задач машинного обучения, включая генерацию контента и анализ аномалий. Использование единого трансформера упрощает пайплайны обучения и снижает требования к ресурсам при развертывании систем, требующих постоянного мониторинга вероятностных характеристик входных данных.

Ключевые факты

Разработчик: Allen Institute for AI (AI2).
Основная инновация: объединение моделирования плотности и скоринга в рамках одного трансформера.
Принцип работы: использование единой архитектуры для работы с различными распределениями данных без необходимости переобучения под конкретные задачи.
Область применения: генеративное моделирование, оценка качества данных и детектирование аномалий.

Источник: Hugging Face - Blog

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Оптимизация обучения диффузионных трансформеров через Spot-инстансы Исследователи представили метод Spotlight, направленный на снижение затрат при дообучении диффузионных трансформеров (DiT) с помощью обучения с подкреплением (RL). Традиционный процесс дообучения таких моделей требует использования тысяч высокопроизводительных графических процессоров, что делает его крайне ресурсоемким. Авторы работы предложили объединить два подхода: селекцию обучающих примеров (seed exploration) и использование спотовых инстансов облачных провайдеров. Hacker News · Оценка и бенчмарки DiffusionBench: комплексный бенчмарк для оценки диффузионных трансформеров Исследователи представили DiffusionBench — новый инструмент для всесторонней оценки генеративных диффузионных трансформеров (DiT). Проект предлагает стандартизированный подход к тестированию моделей, охватывая широкий спектр метрик качества генерации, эффективности вычислений и устойчивости архитектур. Это позволяет разработчикам объективно сравнивать современные подходы к созданию визуального контента и выявлять слабые места в текущих реализациях диффузионных моделей. arXiv · Машинное обучение Трансформеры для решения уравнений на сложных геометриях Исследователи из MIT и других ведущих университетов представили новый подход к использованию трансформеров для решения задач, связанных с дифференциальными уравнениями на сложных геометриях. Традиционные методы, основанные на нейронных операторах, ограничены фиксированным размером области, что затрудняет их применение в реальных сценариях, где размеры могут варьироваться. Hacker News · Инфраструктура для агентов Deltatensors: новый способ хранения дообученных весов моделей через сжатые дельты Библиотека Deltatensors предлагает оптимизированный подход к хранению и распространению дообученных весов нейросетей. Вместо сохранения полных копий модели, инструмент вычисляет и сжимает разницу (дельты) между базовыми весами и весами после fine-tuning. Это позволяет значительно сократить объем дискового пространства, необходимого для версионирования и обмена специализированными моделями в агентных системах и пайплайнах разработки. arXiv · Машинное обучение Исследование: неравномерное распределение параметров в трансформерах Учёные изучили эффективность неравномерного распределения параметров в трансформерах. Обычно архитектуры трансформеров используют одинаковую ширину во всех слоях, что приводит к равномерному распределению вычислительных ресурсов. Однако новые исследования показывают, что разные слои могут выполнять разные роли, и их вычислительные потребности могут отличаться. arXiv · Машинное обучение Метод декомпозиции задач для повышения эффективности разметки данных Исследователи представили новый подход к разметке структурированных данных, основанный на декомпозиции сложных задач на более простые подзадачи. Метод позволяет значительно снизить затраты на создание качественных обучающих выборок, минимизируя необходимость в дорогостоящей ручной проверке результатов, полученных с помощью моделей, и повышая общую точность разметки для последующего обучения downstream-моделей. Hacker News · Обучение и дообучение Дистилляция знаний из закрытых LLM: новый подход к обучению компактных моделей Исследователи представили метод дистилляции знаний из «черных ящиков» — проприетарных больших языковых моделей — для обучения более компактных и эффективных нейросетей. Подход позволяет переносить сложные логические способности и лингвистические навыки от гигантских моделей к меньшим архитектурам, сохраняя высокую производительность при значительном снижении требований к вычислительным ресурсам и затратам на инференс. Together.ai · Машинное обучение Parcae: модель с петлями вместо трансформеров Исследователи представили Parcae — модель с петлями, которая превосходит трансформеры по эффективности. Учёные показали, что увеличение рекурсии, а не данных, может быть вычислительно эффективным способом улучшения моделей. Hacker News · Разработка и инструменты Al-1.0: легковесный движок для логирования атрибуции в трансформерах Представлен Al-1.0 — специализированный инструмент для отслеживания источников данных в трансформерных моделях. Решение позволяет разработчикам логировать вклад конкретных токенов и слоев в итоговый результат генерации. Это критически важная функциональность для отладки моделей, анализа галлюцинаций и обеспечения прозрачности работы нейросетей, требующая минимальных вычислительных затрат при интеграции в существующие пайплайны инференса. arXiv · Исследования и наука DIPHINE: новый метод анализа информационных систем через диффузионные модели Исследователи представили DIPHINE (Diffusion-based Φ-ID Neural Estimator) — новый вычислительный метод для анализа сложных систем. В основе работы лежит фреймворк Φ-ID (Integrated Information Decomposition), который позволяет разделять динамику данных на 16 независимых компонентов. Эти компоненты описывают, как именно информация хранится, распределяется и интегрируется внутри многомерных систем с течением времени.

← Все материалы