arXiv · 17.06.2026 ·Обучение и дообучение

Исследование методов адаптации LLM для медицины на французском языке

Исследователи проанализировали эффективность различных стратегий адаптации больших языковых моделей для узкоспециализированных областей на примере французского медицинского сектора. В работе сравниваются три основных подхода: непрерывное предварительное обучение (CPT), контролируемая донастройка (SFT) и комбинация этих методов. Целью эксперимента было выявить оптимальный баланс между сохранением общих знаний модели и повышением точности ответов на специфические медицинские вопросы.

Результаты показывают, что выбор метода адаптации существенно влияет на способность модели оперировать профессиональной терминологией и следовать клиническим протоколам. Авторы подчеркивают, что простое увеличение объема данных при дообучении не всегда приводит к росту качества, если не соблюдается баланс между доменной спецификой и общими лингвистическими навыками. Исследование предоставляет эмпирические данные о том, какие комбинации техник позволяют минимизировать галлюцинации и повысить надежность ответов в критически важных сферах.

Данная работа вносит вклад в понимание того, как эффективно адаптировать языковые модели для неанглоязычных рынков. Выводы исследования могут быть использованы для разработки более точных систем поддержки принятия врачебных решений и автоматизации обработки медицинской документации, где точность формулировок и следование медицинской логике имеют приоритетное значение.

Источник: arXiv

Похожие материалы

Hacker News · Модели и релизы EPFL представила первые полностью открытые медицинские LLM Исследователи из Федеральной политехнической школы Лозанны (EPFL) выпустили серию специализированных языковых моделей Meditron, предназначенных для работы в сфере здравоохранения. Это первые медицинские модели с полностью открытыми весами, кодом и набором данных для обучения, что позволяет медицинским организациям и разработчикам разворачивать их локально без передачи конфиденциальных данных сторонним облачным провайдерам. Hacker News · Исследования и наука Исследование: как LLMs справляются с юридическими рассуждениями Учёные из Стэнфорда и MIT провели исследование, посвящённое способности языковых моделей (LLMs) решать юридические задачи и автоматически формализовать правовые тексты. В работе, опубликованной на arXiv, авторы оценили точность и последовательность моделей в интерпретации законов и применении их к конкретным случаям. Hacker News · Исследования и наука Исследование: насколько можно доверять LLM при анализе данных (EDA) Исследователи проанализировали применимость больших языковых моделей для проведения разведочного анализа данных (EDA). В работе оценивается способность ИИ-агентов самостоятельно выполнять стандартные этапы работы с датасетами: от первичной очистки и выявления пропусков до построения статистических гипотез и визуализации распределений. Авторы статьи сфокусировались на том, насколько точно модели интерпретируют структуру табличных данных и избегают галлюцинаций при генерации кода для анализа. arXiv · Оценка и бенчмарки Новый метод борьбы с предвзятостью LLM-судей при оценке качества ответов Исследователи представили новый подход к оценке больших языковых моделей, использующих другие LLM в качестве «судей». Текущие системы автоматической оценки часто страдают от систематических искажений, не связанных с качеством контента. Наиболее выраженной проблемой является «предвзятость к многословию»: модели склонны завышать оценки длинным ответам, даже если они менее точны или информативны, чем краткие варианты. Hacker News · Машинное обучение Практическое руководство по дообучению LLM Исследователи представили подробное руководство по дообучению языковых моделей (LLM). Документ охватывает ключевые аспекты, включая выбор данных, настройку гиперпараметров и оценку результатов. Авторы подчеркивают важность качества данных и предлагают методы для минимизации шума и смещения. Hacker News · Исследования и наука Общие модели превосходят специализированные в клинической диагностике Исследование, опубликованное в журнале Nature Medicine, показало, что общие большие языковые модели (LLM) превосходят специализированные клинические ИИ-системы в диагностике заболеваний. В ходе эксперимента модели, такие как GPT-4, продемонстрировали высокую точность в интерпретации медицинских данных и постановке диагнозов, сопоставимую с экспертными системами, разработанными специально для медицинских задач. arXiv · Исследования и наука ИИ автоматизирует проверку воспроизводимости исследований Учёные из Гарварда и MIT разработали метод, позволяющий использовать большие языковые модели (LLM) для автоматизированной оценки воспроизводимости исследований в социальных и поведенческих науках. Обычно проверка воспроизводимости требует ручного анализа данных независимыми исследователями, что занимает много времени и ресурсов. Новый подход позволяет значительно ускорить этот процесс, применяя LLM для анализа опубликованных данных и оценки их достоверности. arXiv · Инференс и железо Как вычислительные ресурсы влияют на оценку крупных языковых моделей Исследование на arXiv показывает, что современные оценки ИИ переходят на более сложные задачи, требующие длительных траекторий с использованием инструментов и итеративного решения проблем. Это делает результаты всё более чувствительными к объёму и распределению вычислительных ресурсов во время инференса. arXiv · Машинное обучение Инициализация параметров влияет на способности LLM Исследователи из MIT и других университетов выяснили, что инициализация параметров в больших языковых моделях (LLM) играет ключевую роль в их обучении и конечных способностях. В статье, опубликованной на arXiv, авторы утверждают, что уменьшение масштаба инициализации параметров улучшает предобучение моделей. Hacker News · Инфраструктура для агентов Автоматическая маршрутизация запросов для оптимизации стоимости и скорости LLM Компания Factory представила инструмент для автоматической маршрутизации запросов между различными языковыми моделями. Система в режиме реального времени анализирует входящие задачи и перенаправляет их на наиболее подходящую модель, исходя из заданных параметров стоимости и времени отклика. Такой подход позволяет компаниям снизить расходы на API, не жертвуя качеством ответов в критически важных сценариях.

← Все материалы