arXiv · 11.06.2026 ·ИИ и наука

ИИ автоматизирует проверку воспроизводимости исследований

Учёные из Гарварда и MIT разработали метод, позволяющий использовать большие языковые модели (LLM) для автоматизированной оценки воспроизводимости исследований в социальных и поведенческих науках. Обычно проверка воспроизводимости требует ручного анализа данных независимыми исследователями, что занимает много времени и ресурсов. Новый подход позволяет значительно ускорить этот процесс, применяя LLM для анализа опубликованных данных и оценки их достоверности.

В исследовании, опубликованном на arXiv, авторы протестировали метод на 76 опубликованных работах. Они показали, что LLM могут не только автоматически выявлять ошибки в данных, но и предлагать альтернативные интерпретации результатов. Это может существенно изменить подход к проверке научных публикаций, сделав его более быстрым и доступным.

Автоматизация проверки воспроизводимости имеет важные последствия для научного сообщества. Во-первых, это может снизить нагрузку на исследователей, освободив их время для более сложных задач. Во-вторых, это может повысить доверие к научным публикациям, так как автоматизированные системы менее подвержены субъективности. В будущем подобные технологии могут быть применены и в других областях науки, включая медицину и инженерию.

Для разработчиков ИИ-агентов этот подход демонстрирует потенциал LLM в автоматизации сложных аналитических задач. Это может быть полезно, например, при создании агентов для анализа данных или проверки качества информации. Кроме того, метод может быть адаптирован для использования в системах, которые помогают исследователям в их работе, делая научный процесс более эффективным и прозрачным.

Источник: arXiv

Похожие материалы

arXiv · Диагностика ошибок в LLM Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. Hacker News · Многомодальные LLM и оценка Многомодальные LLM как судьи для оценки агентов В последнее время всё больше внимания уделяется использованию LLM (Large Language Models) в качестве судей для оценки качества работы других ИИ-агентов. В статье на Substack автор Yinghong Lan рассматривает концепцию Multimodal LLM-as-a-Judge, которая позволяет оценивать не только текстовые, но и мультимодальные данные, такие как изображения и видео. The Gradient · ИИ и финансовые рынки Как LLMs меняют финансовые рынки и инвестиции В 2023 году ИИ-революция привлекла огромные инвестиции в частные и публичные компании, а также завоевала внимание широкой аудитории. Одним из ключевых драйверов этого роста стали большие языковые модели (LLMs), которые лежат в основе таких продуктов, как ChatGPT. Эти модели демонстрируют удивительную способность моделировать последовательности токенов, представляющих слова или их части, что открывает новые возможности для анализа и прогнозирования на финансовых рынках. arXiv · ИИ-агенты в научных исследованиях EurekAgent: как ИИ-агенты автоматизируют научные открытия Исследователи из MIT и других ведущих университетов представили EurekAgent — фреймворк, который демонстрирует, как LLM-основанные агенты могут автоматизировать научные открытия. В статье, опубликованной на arXiv, авторы показывают, что при наличии оптимизируемого метрика и подходящей среды выполнения, агенты способны предлагать, проверять и итерировать научные решения, превосходя человеческие подходы. arXiv · Безопасность и защита ИИ-агентов GAS-Leak-LLM: генетический алгоритм для взлома LLM Исследователи из Университета Торонто и MIT представили новый метод взлома языковых моделей (LLM) — GAS-Leak-LLM. Этот подход использует генетические алгоритмы для оптимизации суффиксов в запросах, что позволяет обходить механизмы защиты и получать нежелательные ответы от моделей. Авторы демонстрируют, что даже хорошо защищённые коммерческие системы уязвимы к таким атакам. Hacker News · ИИ и работа инженеров Как LLMs меняют работу инженеров Исследование компании Aha.io показывает, как языковые модели меняют подходы инженеров к разработке. По данным опроса, 78% инженеров используют LLMs для генерации кода, 65% — для отладки, а 52% — для проектирования архитектуры. Это существенный сдвиг в индустрии, который требует пересмотра процессов и инструментов. Hacker News · Оркестрация и оценка ИИ-агентов GEDD: фреймворк для оценки LLM на основе системных доказательств Команда AWS представила GEDD (Generative Evidence Driven Decisions) — фреймворк, который позволяет использовать LLM в качестве судьи для оценки качества решений. GEDD систематически собирает и анализирует доказательства, чтобы принимать обоснованные решения. Это особенно полезно для задач, где требуется высокая степень точности и прозрачности, таких как медицинские диагнозы, юридические консультации или финансовые анализы. arXiv · RAG и визуальные агенты Как RAG помогает бороться с галлюцинациями в мультимодальных моделях Исследователи из MIT и других ведущих университетов предложили новый подход к снижению визуальных галлюцинаций в мультимодальных языковых моделях (MLLMs). Эти системы, способные обрабатывать как текстовые, так и визуальные данные, часто демонстрируют уверенность в своих ответах, даже когда визуальные данные слабые или неоднозначные. Это приводит к так называемым "галлюцинациям" — выводам, не соответствующим реальности. Hacker News · Персонализация LLM для агентов Guardian Angels: персонализация LLM для повышения продуктивности и безопасности Проект Guardian Angels представляет собой фреймворк для персонализации больших языковых моделей (LLM) с целью повышения продуктивности и безопасности. Разработчики предлагают использовать индивидуальные настройки и адаптацию моделей под конкретные задачи пользователей, что может быть полезно для создания ИИ-агентов. Hacker News · Улучшение качества текста ИИ-агентов Anti-slopping: метод для борьбы с шаблонными ответами ЛЛМ Исследователи из Thoughtworks представили метод Anti-slopping, направленный на устранение шаблонных и банальных ответов, которые часто генерируют языковые модели. Проблема «сопливых» (sloppy) ответов — это распространённая жалоба пользователей ИИ-агентов, особенно в контексте чат-ботов и виртуальных ассистентов. Anti-slopping предлагает алгоритмический подход для выявления и исправления таких шаблонных фраз, что может значительно повысить качество взаимодействия с ИИ-агентами.

← Все материалы