arXiv · 18.06.2026 ·Машинное обучение

PsyScore: адаптивная система оценки эссе с учетом психометрических данных

Исследователи представили фреймворк PsyScore, объединяющий автоматическую проверку эссе с персонализированной обратной связью. В отличие от традиционных моделей, которые разделяют процесс выставления оценки и написание комментариев, новая система использует психометрические подходы для адаптации к уровню подготовки конкретного учащегося. Это позволяет модели не просто выставлять баллы, но и формировать рекомендации, соответствующие зоне ближайшего развития (ZPD) студента.

В основе метода лежит интеграция нейросетевых моделей оценки с принципами педагогической психологии. Система анализирует структуру текста и аргументацию, учитывая индивидуальные особенности обучающегося. Такой подход решает проблему низкой интерпретируемости стандартных нейросетевых решений, где оценка часто остается «черным ящиком» без пояснений, понятных для пользователя.

Разработка направлена на повышение эффективности образовательных технологий, где автоматизированная проверка работ требует высокой точности и педагогической ценности. Использование психометрически обоснованных алгоритмов позволяет сделать обратную связь более адресной, помогая учащимся прогрессировать за счет получения советов, которые соответствуют их текущим навыкам, а не просто указывают на ошибки.

Источник: arXiv

Похожие материалы

Hacker News · Безопасность и алайнмент Фреймворк для верифицируемого анализа поведения ИИ Исследователи представили методологию для систематической проверки того, как именно нейросетевые модели приходят к своим выводам. Основная проблема современных систем заключается в их «черном ящике»: даже при правильных ответах процесс рассуждения остается непрозрачным. Новый подход предлагает использовать формализованные планы анализа, которые позволяют декомпозировать сложные задачи на проверяемые этапы. arXiv · ИИ в бизнесе Автоматизация оценки научных рисунков студентов с помощью ИИ Исследователи представили метод автоматизированной оценки научных моделей, созданных студентами в виде рисунков. Традиционно проверка таких работ требует участия экспертов, что делает процесс масштабирования оценки в образовательных учреждениях трудоемким и дорогостоящим. Новый подход позволяет интерпретировать сложные визуальные концепции, опираясь на стандарты научного образования. arXiv · Обучение и дообучение Исследование: почему ИИ-репетиторы не работают так, как ожидается Исследователи из MIT и Стэнфорда опубликовали работу, в которой ставят под сомнение эффективность современных ИИ-репетиторов. Проблема в том, что текущие методы оценки и обучения таких систем основаны на предположении, что студенты будут активно взаимодействовать с ИИ-репетитором, следуя его подсказкам и шагам. Однако в реальном мире это происходит далеко не всегда. arXiv · Оценка и бенчмарки Новый метод оценки персональных медицинских агентов RubricsTree Исследователи предложили новый подход RubricsTree для масштабируемой и эволюционирующей оценки персональных медицинских агентов. Система направлена на преодоление текущих ограничений в оценке таких агентов, которые используют данные о здоровье пользователей и медицинские навыки. Hugging Face - Blog · Оценка и бенчмарки Новый подход к оценке агентных способностей открытых моделей Hugging Face представила методологию для оценки того, насколько эффективно языковые модели справляются с использованием внешних инструментов. В отличие от стандартных тестов на логику или знание фактов, новый подход фокусируется на способности модели вызывать функции, интерпретировать ответы API и корректировать свои действия в рамках многошаговых задач. Это позволяет разработчикам точнее определять, какая модель лучше подходит для создания автономных агентов. arXiv · Машинное обучение Использование неявных сигналов пользователя для дообучения LLM Исследователи представили новый подход к дообучению больших языковых моделей, основанный на анализе неявных действий пользователей. Традиционные методы настройки моделей опираются на явную обратную связь, такую как оценки «нравится» или «не нравится», что требует значительных затрат на сбор данных и встречается крайне редко. Новый метод предлагает использовать для обучения данные о поведении пользователя в интерфейсе, включая движения мыши, траекторию взгляда и время взаимодействия с контентом. arXiv · Оценка и бенчмарки Новый подход к оценке качества ответов LLM в задачах с открытым финалом Исследователи представили RECOM (Reddit Evaluation for Correspondence of Models) — новый метод оценки качества генеративных моделей, предназначенный для задач, где ответы носят субъективный или дискуссионный характер. Авторы работы указывают на фундаментальное противоречие в существующих автоматических метриках, которые одновременно пытаются оценить содержательную точность (валидность) и способность системы ранжировать модели по уровню их эффективности (дискриминационная способность). Hacker News · Оценка и бенчмарки Новый бенчмарк для оценки ИИ в повседневной медицинской помощи Исследователи из Mass General Brigham представили специализированный бенчмарк для оценки эффективности больших языковых моделей в клинической практике. Инструмент предназначен для проверки того, насколько корректно ИИ справляется с типичными задачами врача: постановкой предварительных диагнозов, интерпретацией симптомов и формированием планов лечения на основе данных пациентов. arXiv · Исследования и наука ИИ для оценки депрессии по диалогам с виртуальными ассистентами Учёные предложили новый метод оценки тяжести депрессии на основе диалогов с ИИ-ассистентами. Исследование опубликовано на arXiv. arXiv · Машинное обучение Новый метод оценки обобщающей способности моделей через PAC-Bayes Исследователи представили новый подход к дерандомизации PAC-Bayes оценок для функций потерь с высокой степенью гладкости. Традиционные методы оценки обобщающей способности моделей часто опираются на вероятностные предсказатели, что затрудняет их прямое применение к детерминированным алгоритмам. Авторы работы предлагают математический аппарат, позволяющий переносить теоретические гарантии с ансамблей типа Gibbs на конкретные детерминированные модели, используя свойства гладкости функции потерь и класса предсказателей.

← Все материалы