Обещание «искусственный интеллект прочитает документацию за вас» звучит одинаково у всех сервисов. Разница в том, сколько документов он реально открывает.
Файлы приходят как придётся
Заказчик выкладывает документы такими, какие есть. Почти четверть файлов приходит вообще без расширения в имени: просто «Приложение 1» и всё. Часть файлов подписана неверно — расширение говорит «документ Word», а внутри лежит другой формат, чаще всего RTF или обычный текст.
Программа, которая выбирает разборщик по имени файла, на таких документах слепнет. Причём молча: она не падает с ошибкой, а возвращает пустой текст, и в анализ уходит закупка без требований.
Сканы
Отдельная история — сканы. Техническое задание, распечатанное, подписанное и отсканированное, текстового слоя не содержит вовсе. Без распознавания это картинка, из которой не извлечь ни объёмов, ни требований к участнику. Сервис либо распознаёт такие файлы, либо честно говорит, что не смог.
Архивы и вложенность
Документы часто лежат в архивах, внутри которых лежат другие архивы. Практический предел разумного — два уровня вложенности; дальше начинается редкая экзотика, ради которой не стоит рисковать памятью.
Что спрашивать у сервиса
Три вопроса, которые отделяют работающий разбор от рекламного:
- Определяется ли формат по содержимому файла, а не по имени.
- Что происходит с документом, который не прочитался: он помечается как
непрочитанный или просто исчезает из анализа.
- Распознаются ли сканы.
Третий вопрос самый дорогой в реализации, поэтому на него чаще всего отвечают уклончиво.
Почему это важнее качества модели
Спор о том, какая языковая модель умнее, имеет смысл только после того, как документы до неё дошли. Самая сильная модель на пустом входе выдаст уверенный и бесполезный ответ — и отличить его от разбора настоящего техзадания читателю будет нечем.