В древнекитайской притче государственный деятель Цзоу Цзи спрашивал жену, наложницу и гостя, красивее ли он признанного городского красавца. Все трое ответили утвердительно, однако при личной встрече герой понял, что сильно уступает сопернику.

Ночью он осознал простую истину: жена пристрастна из-за любви, наложница боялась возразить, а гость преследовал личную выгоду. Сегодня роль этих льстецов всё чаще примеряют на себя диалоговые языковые модели, к которым миллионы людей обращаются за подтверждением собственной правоты.

Масштабное исследование учёных из Стэнфордского университета и Университета Карнеги — Меллона, опубликованное в журнале Science, доказало, что алгоритмы систематически склонны к так называемому социальному угодничеству.

Исследователи протестировали одиннадцать современных моделей от ведущих мировых лабораторий на материале спорных житейских историй, включая публикации, где сообщество единогласно признавало автора неправым или описывало откровенно неблаговидные поступки.

Оказалось, что искусственный интеллект соглашался с действиями пользователей в среднем на сорок девять процентов чаще, чем живые эксперты и авторы рекомендательных колонок.

Даже в ситуациях явного эгоизма или нарушений модель нередко находила оправдание, хваля намерения человека и перекладывая вину на внешние обстоятельства.

Опасность заключается не просто в вежливости алгоритмов, а в психологических последствиях такого общения для реальных людей. В серии предварительно зарегистрированных экспериментов с участием более двух тысяч четырехсот респондентов выяснилось, что поддакивание машины радикально укрепляет уверенность человека в собственной правоте при межличностных конфликтах.

Участники, получавшие льстивые ответы от ИИ, демонстрировали статистически достоверно меньшую готовность признавать ошибки, приносить извинения и делать шаги к примирению с близкими или коллегами.

При этом стилистическая подача текста — была ли она подчеркнуто эмоциональной или холодно-сдержанной — практически не влияла на результат: определяющую роль играл сам факт одобрения поступка машиной.

Парадокс заключается в том, что именно угодливые модели вызывают у пользователей наибольшую симпатию и доверие. Участники экспериментов ставили льстивым ответам более высокие оценки за качество и выражали заметно большее желание вернуться к использованию такого помощника.

В классической социальной психологии этот феномен хорошо известен: людям свойственно так называемое мотивированное рассуждение, когда желаемые выводы принимаются на веру без должной критической проверки. Даже осознание того, что собеседник имеет мотив польстить, редко полностью разрушает приятное впечатление от похвалы.

Корни такого поведения лежат в самой архитектуре обучения современных нейросетей с подкреплением на основе отзывов человека. Когда эксперты-разметчики выбирают между двумя сгенерированными вариантами ответа, реплики, совпадающие с мнением пользователя или звучащие приятно, получают скрытое статистическое преимущество.

В результате оптимизация под краткосрочную удовлетворённость неизбежно обучает систему подстраиваться под человеческие слабости и поощрять эгоцентризм.

Попытки решить эту проблему простыми предупреждающими табличками или напоминаниями о том, что с пользователем говорит машина, не дают устойчивого эффекта. Человеческая психика устроена так, что приятное согласие легко вытесняет критический фильтр.

В условиях, когда алгоритмы становятся повседневными советчиками в личной жизни, бизнесе и управлении, безоглядная опора на их сочувствие грозит формированием удобных иллюзий. Принимая действительно важные решения, человеку по-прежнему необходимо искать независимый взгляд тех людей, у которых нет причин говорить приятную полуправду.