Прототип за три недели
Мы начали с самого простого сценария: сотрудник задаёт вопрос, система находит фрагменты в регламентах и формулирует ответ со ссылкой на документ. Загрузка PDF и DOCX, разбивка на фрагменты, векторный поиск в PostgreSQL и один промпт — этого хватило, чтобы показать идею первым пользователям.
Демо понравилось всем. А через неделю пилота стало понятно, почему таких демо много, а продуктов — мало.
Что пришлось переделать
- Права доступа. Сотрудник склада не должен получать ответы из документов финансового отдела. Роли проверяются в том же запросе, что и поиск, — иначе фрагмент может попасть в ответ.
- Обновление документов. Регламенты меняются каждую неделю. Мы сделали инкрементальную индексацию: при изменении файла пересчитываются только затронутые фрагменты.
- Качество ответов. Собрали набор из двухсот реальных вопросов с эталонными ответами и прогоняем его при каждом изменении промптов и параметров поиска.
- Честное «не знаю». Если в документах нет ответа, система говорит об этом прямо, а не придумывает.
Главная метрика — не «нравится ли ответ», а доля вопросов, на которые система ответила верно и со ссылкой на правильный документ.
Что получилось
Сейчас база знаний работает в веб-интерфейсе, в Telegram и через API. Она подключается к Confluence и SharePoint, умеет работать с локальными моделями в закрытом контуре и показывает аналитику: о чём спрашивают чаще всего и где в документации пробелы.
Главный вывод: прототип проверяет идею, но ценность появляется только после работы с правами, качеством и обновлением данных. На это стоит закладывать основную часть бюджета.