Любой сервис, который обещает «ИИ прочитает документацию за вас», должен ответить на два вопроса: сколько условий он находит и сколько выдумывает. Мы проверили это по своим же разборам — не на подобранных примерах, а на всём, что вкладка «ИИ анализ» выдала пользователям за два с половиной месяца.
Как считали
Взяли все прогоны разбора документации в АУРЕ с 8 июля по 19 сентября 2026 года: 463 закупки (в июле 46, в августе 210, в сентябре 207), 44-ФЗ, 223-ФЗ и коммерческие. Единица счёта — одно условие в разборе: «Аванс», «Обеспечение исполнения», «Срок оплаты», «Национальный режим» и так далее. Всего условий 5 358, в среднем 12 на закупку. Плюс 872 красных флага и чек-листы.
Проверяли кодом, без «ИИ-судьи», по трём вопросам:
- Цитата настоящая? Каждое условие сопровождается дословной цитатой из
документации. Мы ищем её в тексте, который видела модель. Есть — цитата подтверждена; нет — помечена как непроверенная и в интерфейсе не показывается в кавычках.
- Тема не пропущена? Для 226 закупок, у которых текст документации ещё
хранится, взяли 13 тем (обеспечение заявки и исполнения, аванс, срок оплаты, срок поставки, штрафы, требования к участнику, лицензии/СРО, национальный режим, приёмка, гарантия, критерии оценки, СМП). Если тема есть в тексте — она обязана быть в разборе.
- Нет ли выдумки на пустом входе? Если документы не скачались, разбор
обязан быть пустым, а не «типовым».
Число условий, которые сам участник посчитал бы ошибочными, у нас нет: это внешняя проверка формой, а не смыслом. Что она умеет и не умеет — в конце.
95 % цитат — дословно из документа
Из 5 358 условий цитата есть у 3 452 (64 %). Из них:
- 3 276 (94,9 %) найдены в документации слово в слово. Ещё 99 из них
модель привела длиннее, чем совпало, и мы обрезали до совпавшего куска.
- 162 (4,7 %) не найдены.
- 14 короче 15 символов — проверить нечем.
Красные флаги строже: 826 из 872 с цитатой, 793 (96 %) подтверждены.
Что внутри 162 непроверенных — разобрали руками:
- 75 — строки из извещения, а не из документов. «Обеспечение заявки
по извещению: 69 373,75», «Способ закупки: аукцион», «Окончание подачи заявок: 03.09.2026». Модель получает карточку ЕИС отдельной шапкой и ссылается на неё как на документ. Это не выдумка — число верное, — но источник не тот. Больше всего таких у условия «Обеспечение заявки»: 44 из 92 цитат, потому что размер обеспечения заказчик пишет в извещении, а в проекте контракта стоит «предусмотрен извещением».
- 87 — склейка из таблиц. «В течение 7 (семи) рабочих дней с даты
подписания Заказчиком Документа о приёмке» — в документе между «подписания» и «заказчиком» стоит сноска «2», а ячейки таблицы разорваны вертикальной чертой. Модель привела фразу чище, чем она лежит в файле. Условие верное, дословности нет.
Цитат, за которыми не стоит ничего в документации, в 463 разборах мы не нашли ни одной — но искали формой, а не смыслом, и проверить это на 87 «склейках» полностью нельзя.
Треть условий — «в документации не найдено»
Из 5 358 условий:
- ok — 2 890 (54 %);
- не найдено — 1 870 (35 %);
- warn (обратить внимание) — 528 (10 %);
- risk — 70 (1,3 %).
«Не найдено» — это не ошибка, а правило: условие, которого нет в тексте, модель обязана не выдумывать. Но 35 % — много, и распределение по темам объясняет, откуда они:
- Критерии оценки — 219 из 267 (82 %). У аукциона критериев нет по закону:
«не найдено» здесь честный ответ.
- Дополнительные требования по ПП 2571 — 77 из 98 (79 %). Тоже чаще
отсутствуют, чем есть.
- Аванс — 185 из 310 (60 %).
- Национальный режим — 146 из 257 (57 %).
- Гарантийный срок — 167 из 307 (54 %).
- Обеспечение заявки — 133 из 253 (53 %).
- Срок оплаты — 140 из 300 (47 %).
- Штрафы и пени — 106 из 274 (39 %).
Отдельно 110 разборов из 463 (24 %) состоят из «не найдено» целиком — это закупки, у которых к моменту прогона документы не скачались или не распознались. Разбор честно пуст. Для участника это значит одно: пустой разбор — повод открыть файлы руками, а не вывод «условий нет».
Где реально пропускает: окно
Медианный пакет документов — 93 тысячи символов (проект контракта, ТЗ, извещение, обоснование НМЦК, инструкции). В модель уходит окно в 14 тысяч: начало пакета плюс куски, где по словам-маркерам стоят условия. Это сознательный выбор — цена и скорость разбора (медиана 12 секунд на условия, 18,5 на весь анализ), — но у него есть цена в пропусках.
По 226 закупкам с сохранённым текстом:
- Внутри окна найдено 87,5 % тем (медиана). У 82 закупок (36 %) — все
темы, у 18 (8 %) — меньше половины.
- За окном осталась хотя бы одна тема у 140 закупок из 226 (62 %). На
пакетах до 14 тысяч символов — ни у одной, 14–50 тысяч — у каждой четвёртой, 50–200 тысяч — у трёх из четырёх, больше 200 тысяч — у 80 %.
- Что теряется чаще: срок оплаты (70 пакетов из 165, где он есть),
лицензии и СРО (59), обеспечение заявки (53), срок поставки (44), преимущества СМП/СОНКО (37 из 41). Приёмка и штрафы — почти никогда: они стоят в проекте контракта плотно и маркеры их ловят.
По закону: 44-ФЗ — 87,5 % внутри окна, 223-ФЗ — 83 %, коммерческие — 80 %. На 223-ФЗ и коммерческих закупках документация свободнее по форме, и маркеры промахиваются чаще.
Где пропускает модель
Тема есть в окне, модель её видела — и не вынесла в разбор. По темам:
- Аванс — 49 из 133 (37 %). Из них 41 раз модель написала «не найдено».
Мы открыли четыре случая: во всех слово «аванс» стоит только в шаблоне независимой гарантии — «в объёме выплаченного аванса (если контрактом предусмотрена выплата аванса)». Аванса в закупке нет, модель права, а наша проверка по слову — нет. Реальная доля пропусков ниже 37 %, насколько — по четырём примерам не скажем.
- Гарантийные обязательства — 34 из 170 (20 %). Здесь пропуски настоящие:
«Гарантийный срок на поставляемый товар определяется…» в ТЗ, в разборе — «не найдено».
- Обеспечение исполнения — 30 из 160 (19 %), национальный режим — 16 из
80 (20 %), штрафы — 28 из 181 (15 %), требования к участнику — 17 из 153 (11 %).
- Приёмка — 12 из 193 (6 %), срок поставки — 1 из 131, лицензии — 2 из 106.
Правило простое: чем формальнее условие и чем плотнее оно написано в контракте, тем реже пропуск. Гарантия и нацрежим размазаны между ТЗ, извещением и контрактом — и теряются чаще.
Что модель находит сама
872 красных флага, медиана два на закупку; у 140 разборов (30 %) флагов нет. Самые частые темы:
- неопределённый объём услуг, поставки или работ («по заявкам без
минимального объёма») — около 40 флагов;
- не указан срок поставки, оплаты или выполнения — около 30;
- удержание неустойки из оплаты или обеспечения — 18;
- не указан размер обеспечения — 9;
- антидемпинговые меры — 7;
- НМЦК в извещении расходится с обоснованием — 4.
Пример последнего: закупка 0373000000226000048 — в локальной смете 1 097 тысяч рублей, в извещении НМЦК 5 903 850,79 ₽; модель вынесла это флагом уровня high с цитатой из сметы, и цитата подтвердилась. Такое расхождение руками ловится только если открыть и смету, и извещение.
Что это значит участнику
- Цитата в кавычках в разборе — проверенная. Условие без кавычек —
пересказ, проверять по документу.
- «В документации не найдено» у аванса, критериев оценки и ПП 2571 —
чаще всего правда: их и нет. У гарантии, обеспечения заявки и срока оплаты — повод открыть проект контракта и извещение: они могли остаться за окном.
- Пустой разбор — не «условий нет», а «документы не прочитаны».
- На пакетах больше 50 тысяч символов (типичный контракт с ТЗ и
приложениями) рассчитывать на разбор как на полный список нельзя: три из четырёх таких пакетов теряют за окном хотя бы одну тему.
Что из этого исправимо
Половина «непроверенных» цитат — строки извещения, которые модель приводит как документ: их можно помечать «из извещения» вместо «не подтверждено». Проверка тем по слову «аванс» ловит шаблон независимой гарантии — её надо учить отличать «если предусмотрен» от «предусмотрен». Окно — вопрос стоимости и времени ответа: расширять его без замера, сколько тем реально возвращает окно вдвое больше, мы не будем. Замер повторим через месяц.
Границы замера
Проверка формальная: она ловит выдуманную цитату и пропущенную тему, но не неверно понятое условие с правильной цитатой. Темы ищутся по словам — «аванс» в шаблоне гарантии считается пропуском, а это не так. Текст документации сохранился для 226 закупок из 463; по остальным 237 покрытие не посчитать, цитаты — можно (они проверялись в момент разбора). Выборка — закупки, которые открыли пользователи АУРЫ, а не случайная: в ней больше 44-ФЗ и поставок, чем в ЕИС в целом. Четыре прогона из 463 — тестовые, на заглушке вместо модели; на проценты они не влияют.
Дата замера — 19.09.2026, данные из базы АУРЫ.