Неверный ответ ИИ не всегда означает, что нужно переписать всю базу знаний. Сначала установите, на каком шаге потерялся смысл: помощник использовал старое правило, выбрал одну из противоречащих версий, пропустил условие, неверно понял контекст или добавил неподтверждённую подробность. Для этих пяти причин нужны разные исправления.
Сохраните вопрос, предшествующие реплики, ответ, доступные помощнику материалы и версию настроек. Если система показывает использованные источники, сохраните и их. Без этого легко исправить текст документа, который вообще не участвовал в ответе, и ошибочно посчитать проблему решённой.
Все ситуации ниже учебные. Они показывают способ диагностики, а не реальные условия доставки, тарифы или результаты внедрения конкретной компании.
1. Устаревший факт: ответ был верным раньше
Вопрос клиента. «До которого часа сегодня можно забрать заказ?»
Плохой ответ. «До 21:00», хотя действующее расписание учебного пункта выдачи заканчивается в 20:00.
Что проверить. Найдите точную строку с 21:00 и выясните, почему она доступна помощнику. Старый график может находиться в отдельной инструкции, подписи к файлу или ранее загруженной копии страницы. Сравнивайте не дату последнего редактирования вообще, а период действия самого правила и нужный пункт выдачи.
Если помощнику доступно только старое расписание, это прежде всего проблема актуальности источника. Если новое уже опубликовано, но система продолжает получать прежнюю копию, проверяйте обновление загруженных данных. Исправление исходной страницы и появление её новой версии у помощника — разные события.
Исправление. Замените активное расписание и уберите устаревшую версию из действующих материалов. Укажите, к какому адресу и периоду относится правило. После обновления задайте вопрос о сегодняшнем времени и соседний вопрос о другом пункте: обновление одной строки не должно случайно менять весь график.
Не добавляйте в инструкцию лишь фразу «всегда отвечай актуально». Она не даёт помощнику нового времени закрытия и не удаляет старую копию. Нужен исправленный источник и подтверждение, что именно он используется при следующем ответе.
2. Противоречие: одновременно доступны разные правила
Вопрос клиента. «Нужно ли платить за сборку?»
Плохой ответ. «Сборка бесплатная», хотя один действующий документ включает её в комплект, а другой описывает ту же комплектацию как платную услугу.
Что проверить. Сопоставьте область действия документов: товар, регион, тариф, дату заказа и тип покупателя. Возможно, противоречия нет, а правила относятся к разным предложениям. Но если условия совпадают, попросите владельца процесса выбрать действующее правило. ИИ не должен назначать более удобный для клиента документ главным.
Проверьте и формулировки источников: слово «обычно» не объясняет, какой вариант применять в конкретном заказе. Наличие двух похожих страниц с разными заголовками не даёт системе надёжного порядка приоритетов.
Исправление. Сведите одинаковую область действия к одному согласованному правилу. Если варианты действительно различаются, обозначьте различие явно: «для комплекта А», «при заказе монтажа», «для указанного региона». Временно спорный вопрос должен уходить на уточнение, а не разрешаться случайным выбором документа.
Повторная проверка включает обе ветки: покупателя, которому сборка включена, и покупателя, которому она оплачивается отдельно. Ответ «теперь всегда платно» устраняет одну ошибку, создавая другую. Критерий успеха — верное правило для каждого набора условий.
3. Пропущенное условие: правило обрезано до приятной части
Вопрос клиента. «Доставка моего заказа бесплатная?»
Плохой ответ. «Да, у нас бесплатная доставка», хотя учебное правило действует только при определённой сумме и в пределах города, а этих данных в разговоре нет.
Что проверить. Посмотрите, доступны ли условия рядом с самим обещанием. В документе заголовок может говорить о бесплатной доставке, а существенное исключение оказаться в удалённом примечании. Убедитесь, что помощник получил условие, и отдельно проверьте, сообщил ли клиент сведения для выбора ветки.
Если сумма и адрес неизвестны, даже полностью актуальная база не даёт права подтвердить бесплатность. Здесь проблема не обязательно в поиске: системе может недоставать правила, когда задавать уточняющий вопрос вместо окончательного ответа.
Исправление. Запишите условие и результат вместе: когда доставка включена, когда рассчитывается отдельно и какие данные нужны для решения. Научите сценарий спрашивать только недостающий параметр. Если город уже назван, не спрашивайте его повторно ради заполнения шаблона.
Проверьте запрос без условий, подходящий заказ и неподходящий заказ. В первом случае ожидается уточнение, во втором — подтверждение, в третьем — объяснение расчёта. Такой набор отличает понимание правила от запоминания одного тестового вопроса.
4. Потерянный контекст: факт относится к другому предмету
Вопрос клиента. После сравнения двух моделей покупатель пишет: «А у второй можно заменить аккумулятор?»
Плохой ответ. Помощник описывает замену у первой модели и не замечает, что вопрос относится ко второй.
Что проверить. Восстановите порядок реплик: какая модель была первой, какая второй, были ли между ними другие варианты. Сравните полный разговор с тем контекстом, который получил помощник. Если часть истории не передалась или была сокращена, правильный справочник сам по себе не восстановит потерянную ссылку «у второй».
Если обе модели присутствовали в контексте, проверьте неоднозначность формулировки. Клиент мог иметь в виду второй предложенный вариант или вторую модель на присланной странице. Уверенный выбор при такой неоднозначности и есть источник ошибки.
Исправление. Сохраняйте связь выбранного товара с последующими вопросами и называйте модель в ответе. При реальной неоднозначности уточняйте предмет коротко: «Вы про модель Б?» Не заставляйте человека повторять весь разговор.
Для проверки поменяйте порядок моделей и задайте тот же вопрос. Затем назовите модель прямо. Если ошибка возникает только с «второй», исправляйте обработку контекста; если и с точным названием — возвращайтесь к фактам об этой модели.
5. Неподтверждённое дополнение: ответ содержит лишнее обещание
Вопрос клиента. «Можно получить заказ самовывозом?»
Плохой ответ. «Да, и мы бесплатно сохраним его на складе две недели», хотя в источнике подтверждён только самовывоз.
Что проверить. Разделите ответ на самостоятельные утверждения и найдите основание для каждого. Возможность самовывоза может быть верной, а срок хранения — выдуманным дополнением. Оценка всего ответа одним признаком «в целом правильно» скроет именно ту часть, на которую рассчитывает клиент.
Поищите, не пришло ли дополнение из примера в настройках, не относящегося к этому магазину. Образец хорошего тона иногда содержит конкретные условия, которые помощник затем воспринимает как реальные. Проверяйте не только базу знаний, но и демонстрационные реплики.
Исправление. Уберите из примеров непроверенные обещания. Ограничьте ответ подтверждённой возможностью и предложите уточнить срок хранения, если он нужен клиенту. Требование быть дружелюбным не должно превращаться в разрешение дополнять ответ скидками, сроками и гарантиями.
Проверяйте новые ответы по отдельным утверждениям: место, время, цена, действие и исключение. Это помогает поймать убедительный, но неподтверждённый хвост после правильного начала. При отсутствии основания применяется правило остановки и передачи человеку.
Повторная проверка должна менять условия вопроса
Соберите набор из ошибочного вопроса, перефразировки и соседнего случая, где верный ответ отличается. Для бесплатной доставки соседний случай находится за пределами условия; для моделей — меняет предмет разговора. Запишите ожидаемый факт или ожидаемое уточнение до запуска проверки, чтобы не подгонять оценку под полученный ответ.
Исправляйте один установленный источник ошибки и повторяйте связанные случаи. Если менять одновременно документы, инструкции и сценарий, будет трудно понять, что помогло. Вопросы для уточнения формулируйте по принципу короткой квалификации заявки: спрашивать только то, что меняет решение.
Рабочий итог диагностики — запись «ошибка → причина → подтверждение → изменение → результаты повторной проверки». Не ограничивайтесь отметкой «ответ стал лучше». Она не объясняет, устранено ли неверное расписание, противоречие или привычка добавлять неподтверждённые условия.
