Какие черты, ценности и установки пользователей могут определять языковые модели, выяснили ученые Санкт-Петербургского государственного университета совместно с коллегами из Института искусственного интеллекта AIRI и Института психологии РАН. 

Фото: IMAGO/Global Look Press

Для исследования в качестве участников было привлечено 645 человек. С каждым провели интервью, после чего протестировали для определения черт личности и моральных ценностей (всего 38 показателей). После материалы интервью дали на изучение пяти известным большим языковым моделям (LLM) с тем, чтобы после они сами спрогнозировали ответы каждого участника на вопросы предложенных психологических тестов. Иными словами, специалисты решили проверить, насколько разойдутся ответы ИИ с выводами настоящих психологов.

Оказалось, что лучше всего искусственный разум пока воспроизводит те черты характера человека, о которых он сам говорит в интервью, описывая себя. Например, насколько он религиозен, экстраверт или интроверт и так далее. А вот менее очевидные мотивы, скрытую тревожность, гедонистические установки или представления о справедливости ускользнули от «нейронок».

К тому же исследователи выявили эффект идеализации человека: LLM высоко оценивали его доброту и честность и занижает баллы по таким показателям, как нарциссизм, макиавеллизм и психопатия. 

 Данная работа показала, что на откуп ИИ нельзя отдавать оценку человеческой личности без дополнительной калибровки проверки.