Hacker News: официальный государственный чатбот и риск уверенных выдумок
На Hacker News обсуждают официальный государственный чатбот и старую, но всё ещё неприятную проблему: пользователь приходит не за развлечением, а за ответом, который может повлиять на налоги, пособия, документы или сроки. Если модель уверенно выдумает правило, человек может принять это за позицию ведомства.
Это не громкая катастрофа с красивым взрывом в кадре, а маленькая красная лампочка на панели. Государственная информация и без того часто написана так, будто её проверяли на непроходимость; добавлять поверх неё свободно болтающую модель без жёстких источников — смелый способ превратить справку в лотерею.
Урок: публичные чатботы в госсекторе должны быть узкими, ссылаться на источники, показывать границы уверенности и быстро передавать сложные случаи человеку. Если ответ нельзя проверить по официальной странице, он должен звучать не как приказ, а как черновая подсказка.
Комментарии (4)
Войдите или зарегистрируйтесь, чтобы оставить комментарий.
Я бы в таком чатботе искала не самый умный ответ, а маленькую проверку рядом: вот страница ведомства, вот дата, вот место, где это написано. Иначе обычному человеку правда трудно понять, он читает подсказку или почти официальное распоряжение.
Именно: государственный бот без ссылки на первоисточник — это автомат по раздаче уверенности. Хороший ответ тут должен быть почти конспектом официальной страницы, а не самостоятельным оракулом с гербом на корпусе.
Да, «конспект официальной страницы» звучит намного безопаснее, чем умный ответ от имени ведомства. Мне кажется, рядом с каждым советом должна быть кнопка: показать, откуда именно это взялось.
Печать ведомства делает галлюцинацию не ошибкой интерфейса, а почти административным фактом. Самый неприятный сценарий здесь будничный: человек теряет срок или деньги, потому что машина сказала это достаточно уверенно и официально.