Минимизация ошибок ИИ в юридической практике: 15 ключевых приемов

В сообществе «Праворуб» в комментариях к предыдущему посту прозвучали критические замечания о том, что нейросети ссылаются на несуществующие судебные акты и кажутся совсем ненадежными. Что ж, поделюсь практическими способами повышения точности работы с ИИ. 
Обратите внимание, не все рекомендации надо применять при каждом взаимодействии с ИИ. Если Вы только начинаете, то советов из 1,2,3,5,6,8,12 пока достаточно. 

I. Выбор и настройка моделей ИИ

1. Использование рассуждающих моделей (Reasoning)
   Первая заповедь: используйте только модели с функцией рассуждения (Reasoning). К таким моделям относятся, например GPT-o3, Gemini 2.5 Pro, DeepSeek R1 и Claude 4. Reasoning-модели сначала строят логическую цепочку, а затем подбирают текст, что на практике резко сокращает неточности. Некоторые из этих моделей, например, Gemini 2.5 Pro и DeepSeek R1, могут быть доступны для бесплатного использования в определенных режимах или объемах.
2. Применение режима глубокого исследования (Deep Research)
   Второй важный инструмент – режим Deep Research. Этот режим позволяет модели обращаться к актуальным правовым базам и анализировать информацию в реальном времени, вместо того чтобы полагаться только на данные, на которых она обучалась. Эта функция доступна почти во всех новых моделях.
3. Контроль контекстного окна
   Контролируйте количество информации (измеряется в токенах), которую модель может обработать в вашем чате. Если вы выходите за лимиты контекстного окна, ИИ «забудет» начало документа или диалога и начнет додумывать детали, что может привести к ошибкам. В некоторых моделях, например, в Gemini через интерфейс AI Studio, есть удобный счетчик токенов, помогающий отслеживать этот параметр.
4. Регулировка параметров Temperature и Top-P
   В некоторых интерфейсах для работы с ИИ, таких как Gemini AI Studio, можно регулировать параметры «Температуры» (Temperature) и «Top-P». Эти настройки позволяют контролировать степень креативности и точности модели. Чем ниже значения Temperature и Top-P, тем менее «творческой» будет модель и тем меньше вероятность того, что она начнет выдумывать факты, придерживаясь более детерминированных и предсказуемых ответов.

II. Работа с данными и источниками

1. Загрузка первоисточников
   Большие языковые модели не всегда обучены на специфике российской судебной практики и обладают лишь общими знаниями, а не текстами конкретных НПА. Не стоит полагаться на них для получения точных цитат, формулировок и статей законов. Загружайте в чат-бот НПА (целиком или релевантные части), судебные акты, иные документы. При этом важно следить за расходом токенов. ИИ, опираясь на конкретные формулировки из загруженных документов, почти исключает галлюцинации в виде ссылок на несуществующие нормы.
   Также рекомендуется активно использовать в своей работе сервисы с элементами RAG (Retrieval-Augmented Generation), такие как NotebookLM от Google. Такие системы используют загруженные пользователем документы в качестве источника фактов. Это позволяет снизить риск галлюцинаций, поскольку модель генерирует ответы, опираясь не на «память», а на конкретные, проверяемые данные из вашей базы.
2. Использование веб-браузинга
   Современные модели ИИ могут искать актуальную информацию в интернете, если активировать соответствующую функцию. Просите ИИ предоставить ссылки на качественные и авторитетные источники, такие как сайты СПС. Это помогает верифицировать полученные данные и убедиться в их актуальности.
3. Техника источниковой привязки
   Техника «источниковой привязки» заключается в добавлении в промпт указания для модели черпать информацию из конкретного (и надежного) источника за определенный период. Например:
   «В качестве источника информации используй только портал zakon.ru с диапазоном дат с 1 января 2025 года по 03 июня 2025 года».Это сужает область поиска и повышает релевантность ответа.

III. Эффективный промптинг и взаимодействие

1. Требование честного ответа («If unsure – say so»)
   Во время обучения ИИ-моделям «доставалось» от разработчиков, если они отвечали: «я не знаю». Из-за этого модель стремится всегда дать какой-нибудь ответ, даже если информация неточна, лишь бы не признаваться в незнании. Чтобы этого избежать, просто добавьте в запрос:
   «Если не можешь найти точный источник (например, конкретный пункт постановления Пленума ВС или статью закона) для подтверждения ответа, честно сообщи об этом. Ничего не придумывай».
2. Шаблонизация ответа (Скелетоны)
   Задавайте четкие форматы ответа. Чем меньше у нейросети пространства для маневра, тем меньше вероятность «творческих» отступлений от фактов. Используйте жесткие структуры для ответов. Например:
   «Отвечай строго по схеме: Тезис → Ссылка на норму закона → Точная цитата нормы закона → Вывод».Такая структуризация помогает ИИ придерживаться фактов и логики.
3. Диалог с моделью-критиком
   После получения ответа от ИИ, попросите другую модель (или ту же модель в новом чате) выступить в роли дотошного судьи для оценки первоначального ответа. Сформулируйте запрос так:
   «Вы – строгий судья-рецензент. Проверьте факты в следующем тексте и укажите, где автор мог допустить ошибку или представить неверную информацию: [текст ответа ИИ]».Это может помочь выявить слабые места в аргументации или фактические неточности.

IV. Верификация и повышение надежности

1. Самопроверка модели (Self-Consistency)
   После получения ответа попросите нейросеть еще раз проверить его: «Проверь логику своего вывода и найди слабые места». Можно также запросить несколько вариантов ответа на один и тот же вопрос (если модель поддерживает такую вариативность через параметры или повторные запросы) и выбрать наиболее часто встречающийся или наиболее обоснованный. Конечно, нейросеть не всегда признает свои ошибки, но иногда этот прием срабатывает и помогает улучшить качество ответа.
2. Перекрестная проверка разными моделями (Cross-Check)
   Не полагайтесь на одну модель, особенно в важных вопросах. Разные архитектуры и датасеты обучения могут приводить к разным результатам и ошибкам. Ключевые выводы или подготовленные ИИ документы рекомендуется проверять с помощью другой большой языковой модели от иного разработчика. Это помогает выявить специфические «слепые зоны» или предвзятости конкретной модели.
3. Организация «совета нейроагентов» (Agent Cross-Check)
   Этот прием похож на предыдущий, но предполагает более структурированный подход с использованием нескольких ИИ-оппонентов, возможно, с разными ролями. Поручите разным моделям (например, GPT, Gemini, Claude) проанализировать один и тот же вопрос, присвоив им разные роли (например, адвокат, прокурор, эксперт). Затем сравните их ответы и аргументацию.
   Также можно разбить проверку на этапы, например:
   • Агент 1: создает проект документа.
   • Агент 2: перепроверяет ссылки на нормативные акты и цитаты.
   • Агент 3: оценивает аргументы на логичность, полноту и согласованность.
     Разные агенты могут заметить ошибки или упущения, которые могли быть проигнорированы другими участниками проверки.
4. Человеческая верификация (Human-in-the-Loop)
   Последняя, но важнейшая мера – проверка ответов человеком. Несмотря на то, что применение указанных техник радикально снижает риск галлюцинаций, только человек-специалист способен окончательно отличить достоверные сведения от «галлюцинаций», особенно в сложных юридических вопросах, требующих глубокого понимания контекста и нюансов правоприменения.

V. Специализированные ИИ-решения

1. Создание кастомных ботов и проектов
   Хорошим методом борьбы с галлюцинациями является создание специализированного ИИ-помощника, настроенного на конкретную область права или задачу. Например, можно загрузить через Custom GPTs или аналогичные платформы профильное законодательство (например, ФЗ «О рекламе»), актуальные разъяснения регуляторов (например, ФАС России) и задать системный промпт – так может появиться бот «Юрист по рекламе». Такой бот будет предоставлять ответы по существу, не путаясь в специфической терминологии и контексте данной узкой области. В интернете доступно множество руководств по созданию таких кастомных ботов или проектов.

Делюсь результатами моих экспериментов по эффективному использованию ИИ юристами в ТГ-канале. Подписывайтесь, там много практических инструкций.