Верховный суд Индии отменил решение из-за использования галлюцинаций ИИ

Верховный суд Индии отменил судебное решение, основанное на вымышленных прецедентах, сгенерированных нейросетью. Судьи сравнили использование непроверенных данных ИИ с утечкой токсичного газа, подчеркнув катастрофические риски для правовой системы. Инцидент стал поводом для жесткой критики практики слепого доверия к генеративным моделям при подготовке юридических документов и аналитических справок.

Судебная коллегия указала, что адвокаты, использующие инструменты ИИ для поиска правовых норм, несут полную ответственность за достоверность предоставляемой информации. В данном случае система создала несуществующие судебные акты, которые были включены в материалы дела без надлежащей верификации. Суд постановил, что автоматизация не освобождает юристов от обязанности проверять первоисточники, а использование «галлюцинирующих» алгоритмов подрывает основы правосудия.

Этот случай иллюстрирует критическую проблему внедрения LLM в профессиональные сферы, где точность данных имеет приоритетное значение. Регуляторы и юридические сообщества по всему миру начинают вводить строгие протоколы проверки контента, созданного с помощью ИИ, чтобы предотвратить распространение дезинформации и искажение правовой практики.

Ключевые факты

• Верховный суд Индии официально отменил вердикт, опиравшийся на сгенерированные ИИ вымышленные прецеденты.
• Судьи охарактеризовали использование непроверенных ИИ-данных как «метилизоцианат права», отсылая к катастрофе в Бхопале.
• Суд подчеркнул, что ответственность за достоверность цитируемых источников лежит исключительно на юристах, а не на разработчиках алгоритмов.
• Инцидент спровоцировал дискуссию о необходимости обязательной верификации всех документов, подготовленных с помощью генеративных моделей в судебной системе.