Эффект Хоторна или предвзятость наблюдателя в исследованиях пользователей

Резюме: Люди часто меняют свое поведение, если знают, что за ними наблюдают. Это явление стало известно как эффект Хоторна или систематическая ошибка наблюдателя. Мы можем смягчить этот эффект, установив взаимопонимание, разработав естественные задачи и проводя больше времени с участниками исследования.
«Если в лесу падает дерево, и никто не может его услышать, издает ли оно звук?» Этот знаменитый мысленный эксперимент предлагает нам подумать о наблюдении, восприятии, сознании и природе звука. Мы не собираемся вдаваться в подробности. углубимся в философию, однако вопрос о том, как наблюдение влияет на поведение, является центральным в исследованиях пользовательского опыта.
Определение : наблюдателя Предвзятость или эффект Хоторна относится к тому факту, что люди ведут себя по-разному, когда знают, что за ними наблюдают.
Несмотря на то, что есть некоторые вопросы по поводу постановки и достоверности исследований, которые представили этот эффект, они оказали длительное влияние на практику управления. Эффект Хоторна также широко используется для поощрения желательного поведения — например, для поощрения соблюдения правил мытья рук, сообщая людям, что за ними наблюдают в туалетах, и для повышения безопасности дорожного движения с помощью демонстрации фиктивных камер видеонаблюдения.

Краткая история эффекта Хоторна

Название «эффект Хоторна» происходит от серии исследований, проведенных в 1920-х годах на заводе по производству телефонов «Хоторн Уоркс» компании Western Electric; Эти исследования были направлены на то, чтобы понять, как количество света на рабочем месте влияет на производительность.
Исследователи разделили рабочих на две группы: тестовую группу, которая работала в отдельном помещении с измененным освещением, и контрольную группу — остальных заводских рабочих, которые работали в своей обычной среде. Лучшее освещение привело к ожидаемому повышению производительности в испытуемой группе; однако, когда тестовая группа работала при более плохом освещении, они все равно превосходили остальных. Это повышение производительности, несмотря на условия работы, было неожиданным результатом, что побудило исследователей попытаться манипулировать другими переменными — от денежных поощрений до количества и продолжительности перерывов в течение рабочего дня. Какие бы эксперименты ни применялись, продуктивность в испытуемой группе повышалась.
В конце исследований увеличение результатов было связано с несколькими факторами, включая новые условия работы в небольшой группе и более дружелюбное наблюдение со стороны исследователей. Позже, в 1950-х годах, результаты были переосмыслены Генри А. Ландсбергером, который ввел термин «эффект Хоторна». Ландсбергер считал, что участники тестовой группы были более продуктивными из-за необычного дополнительного внимания, которое рабочие получили благодаря их участию в исследовании.
Достоверность эффекта Хоторна была поставлена под сомнение в последующих исследованиях, которые указали на недостатки в дизайне и проведении первоначальных исследований. Тем не менее, ученые продолжали исследовать, как люди изменяют свое поведение под наблюдением. Когда к людям обращаются по-особому, им дают свободу говорить о своих проблемах и строят более крепкие межличностные отношения, они становятся более вовлеченными в работу, что положительно сказывается на их производительности. Это наблюдение повлияло на появление новой школы человеческих отношений в менеджменте, которая до сих пор формирует многие из наших методов работы, учитывая измерение удовлетворенности сотрудников и сегодняшнее внимание к работникам как к людям, к общению и важности групповой динамики.

Эффект Хоторна в UX и как его смягчить

В определенной степени эффект Хоторна проявляется во всех исследованиях пользователей — от полевых исследований до тестирования пользователей. Это тесно связано с предвзятостью социальной желательности, которая хорошо задокументирована среди респондентов опроса и, как мы увидим ниже, применима к другим методам исследования пользователей. Критический момент заключается в том, что люди склонны отвечать на вопросы таким образом, чтобы казаться «лучшей» версией самих себя, преувеличивая количество положительных черт и отрицая или преуменьшая те, которые воспринимаются обществом как неблагоприятные. Ниже мы обсудим, как эффект Хоторна представлен в исследованиях UX и что можно с этим сделать.

Полевые исследования

Начнем с наиболее часто задаваемых вопросов: «Как я могу наблюдать за естественным поведением людей во время полевого исследования , если они знают, что я там?» Действительно, ценность полевого исследования заключается в том, чтобы быть рядом с пользователем и наблюдать за тем, как он живет, работает, решает проблемы и взаимодействует с людьми и технологиями. Поначалу участники могут не захотеть показывать вам свои недостатки, искреннюю реакцию или какие-либо хитрости, которым они научились на работе, если это может повлиять на их репутацию или зарплату. Кто позволит вам наблюдать за задним двором магазина, где работники небрежно бросают товары в корзину, экономят на производстве, не заполняют должным образом все формы или делают лишний перерыв на кофе?
Кроме того, у некоторых людей есть причины не доверять исследователям из-за их предыдущего негативного опыта работы с управленческой командой, которая постоянно придумывает новые, «улучшенные» способы измерения работы. Согласно этой статье Forbes , существует множество способов наказания очень продуктивных сотрудников на работе, так почему кто-то должен выделяться или демонстрировать свою уязвимость?

Стратегии смягчения последствий

Не заставляйте людей чувствовать себя осужденными. Если золотое правило юзабилити состоит в том, чтобы не заставлять людей чувствовать себя глупо, то для полевых исследований оно заключается в том, чтобы не заставлять людей чувствовать себя осужденными. Конечно, мы не хотим, чтобы участники чувствовали себя виноватыми, недостойными или стыдились какого-либо исследования, но в полевых исследованиях это состояние свободы от суждений необходимо для того, чтобы они могли увидеть, что происходит на самом деле. В полевых исследованиях исследователи приходят в естественную среду пользователей, чтобы узнать контекст для конкретных действий и свести к минимуму влияние искусственной лабораторной обстановки. Тем не менее, простое присутствие и интерес к деятельности заставляют участников осознавать свои действия, что может привести к цензуре их поведения. В то же время люди довольно быстро возвращаются к привычным рутинным действиям и поведению, если они чувствуют себя комфортно и не возражают против присутствия исследователя.
Подумайте о более длительных сессиях, чтобы позволить участникам наладить взаимопонимание с ведущим. Доверие необходимо для установления взаимопонимания, которое легче установить с течением времени, поэтому во время контекстуальных запросов мы часто выбираем более длительные сеансы (примерно 60–90 минут) и стараемся проводить более одного сеанса наблюдения с одним и тем же человеком или командой, если возможный. Все это будет способствовать тому, чтобы участники чувствовали себя более комфортно рядом с исследователями. Чем комфортнее участники чувствуют себя с исследователями, тем меньше на них оказывается давление с целью изменить свое поведение.

Пользовательское тестирование

Вы когда-нибудь участвовали в качественном юзабилити-исследовании , когда участник долго ждал загрузки сайта или упорно выполнял задачу, которая, казалось, ни к чему не привела? Думали ли вы, что участник делал это только ради исследователя? Если это так, вы, вероятно, испытали эффект Хоторна.
Несмотря на то, что в начале учебной сессии мы можем предложить участникам работать так, как если бы они были сами по себе, правда в том, что пользователи редко взаимодействуют с цифровым продуктом или услугой, разговаривая вслух и наблюдая за ними через плечо. Осознание того, что за ними наблюдают, может заставить участников вести себя так, как они считают ожидаемым от них. Например, это может заставить их быть настойчивыми и терпеливыми в отношении технологий, внимательно читать инструкции или усердно искать на веб-сайте соответствующую информацию. Участники также могут захотеть сохранить свои лица перед модератором и успешно завершить задание.

Стратегии смягчения последствий

Создавайте естественные сценарии задач , которые не будут восприниматься вашей целевой аудиторией как искусственные или совершенно новые. Вместо этого сделайте эти сценарии знакомыми задачами! Например, в зависимости от конкретной пользовательской аудитории, которую вы набираете, покупка нового Ferrari может показаться надуманной или реалистичной.
Поощряйте людей к тестированию с помощью светской беседы и тонкой обратной связи , избегая при этом излишней дружелюбности. В UX существует опасность того, что дружелюбие фасилитатора может быть неверно истолковано, и участники могут попытаться вести себя так, как нравится фасилитатору. Мы можем предотвратить такое поведение, установив четкие ожидания в начале исследования и скорректировав курс, если это необходимо. Например, мы можем сказать:
«Пожалуйста, попытайтесь представить, что вы делаете это в реальной жизни, а меня нет. Попытайтесь делать то, что вы обычно делаете. каждое действие».
Убедите участников, что их результаты не разглашаются за пределами исследования и что их отзывы будут очень полезны.
Объясните участникам, что вас интересуют их честные отзывы и поведение . Люди, тестирующие прототип и размышляющие вслух, могут предположить, что их отзывы бесполезны, если они не остаются на странице дольше, не стараются и не уделяют больше внимания, чем в противном случае. Вот почему любой сеанс юзабилити часто начинается с объяснения ожидаемого поведения, чтобы убедить участников в том, что им не нужно изменять свои ответы, чтобы защитить наши чувства:
«Пожалуйста, честно скажите нам, что вы думаете. Любые отзывы, как хорошие, так и плохие, полезны. Я не обижусь, если вы чем-то поделитесь. Мы просто хотим улучшить дизайн».
Объясните, что исследование предназначено для проверки дизайна, а не участников. Если вы заметили, что участники извиняются за то, что чего-то не знали или допустили ошибку при выполнении задачи по юзабилити, это возможность вмешаться и напомнить им, что они не тестируются и что их отзывы очень ценны. Напомните им в начале исследования, что они не обязаны сохранять лицо и выполнять задание идеально или знать все ответы.
«Мы не проверяем вас и то, как много вы знаете о теме X. Мы проверяем дизайн. Если есть что-то, что, по вашему мнению, сбивает с толку или в чем вы не уверены, нам будет очень полезно знать об этом».

Опросы

Опросы — это мощные инструменты, которые необходимо тщательно настроить и проанализировать, так как велика вероятность предвзятости и неверного толкования. Эффект Хоторна в опросах может принимать форму предвзятости социальной желательности, когда люди хотят представить себя в положительном свете. Например, вопросы о привычках и потреблении (например, «Как часто вы занимаетесь спортом?», «Сколько алкогольных напитков вы выпили за последние 24 часа?», «Сколько сигарет в день вы выкуриваете?»). получение гипотетических желаемых ответов.

Стратегии смягчения последствий

Предложите участникам загрузить дополнительные материалы . Например, в некоторых онлайн-опросах мы можем попросить людей добавить изображения, демонстрирующие их достижения, прогресс, проблемы или конкретные обстоятельства. Хотя загрузка этих изображений может восприниматься как дополнительное бремя, добавление дополнительных файлов также предоставляет доказательства и помогает нам лучше понять контекст участника, в то время как участник получает возможность показать, что он сделал.
Используйте прямые и косвенные вопросы в дизайне вашего опроса. На некоторые деликатные вопросы просто сложнее ответить прямо, особенно если нет достаточного доверия: «Что, если я скажу что-то негативное о своей компании, и это в конце концов всплывет?» В качестве альтернативы можно задавать косвенные вопросы, чтобы лучше понять точку зрения участника. Косвенные вопросы обычно задаются сериями и занимают больше времени; однако они дают лучшие результаты. Например, для измерения проблем конфиденциальности Браунштейн и его коллеги обнаружили, что косвенные вопросы уменьшают эмоциональные реакции и лучше отражают проблемы конфиденциальности. Примеры прямого вопроса (DQ) по сравнению с косвенными вопросами (IQ), использованными в исследовании:
КД: «Насколько конфиденциальной вы считаете эту информацию?»
IQ: «Как часто вы проверяете [тип контента]?»
IQ: «Как часто вы пересылаете или иным образом делитесь (например, распечатывая и отдавая распечатанную копию) [тип контента] своим близким друзьям или близким членам семьи?»

Дневниковые исследования

Дневниковые исследования требуют, чтобы участники вели дневник и размышляли о своем опыте. Они часто используются как инструмент, чтобы люди знали об определенных привычках (например, когда мы просим людей, которые хотят похудеть или набрать вес, вести дневник того, что они едят и пьют, или когда мы используем отслеживание физической активности в качестве стратегии поощрения люди занимаются спортом).
В дополнение к проблеме поддержания вовлеченности участников , как и опросы, дневниковые исследования открыты для предвзятости социальной желательности, когда люди регистрируют только благоприятные события или участвуют в деятельности, чтобы сформировать то, как исследователи их воспринимают.

Стратегии смягчения последствий

Делайте анкеты для дневниковых исследований короткими. Не перегружайте участников длинными ненужными вопросами, если это позволяет дизайн вашего опроса. Это означает тратить больше времени на планирование вопросов в дневнике и применять какой-то способ отфильтровать шум. Например, используйте технику Кэролайн Джарретт, чтобы сузить круг вопросов, задав себе следующие вопросы:

Что вы хотите узнать?
Почему вы хотите это знать?
Какое решение вы примете на основе этих ответов?
Какое число нужно для принятия решения?

Это помогло бы в конечном итоге придумать то, что она называет «самым важным вопросом» (MCQ), основной недостающий фрагмент головоломки для принятия необходимого бизнес-решения, которому должно способствовать ваше исследование.
Объясните, чего вы хотите от участников и почему важны их честные ответы. Тратить время на адаптацию и поддерживать надлежащий контакт с участниками необходимо для укрепления доверия и подотчетности. Это не означает микроуправление каждой записью в дневнике, но присутствие рядом, чтобы помочь с техническими трудностями, увеличить время исследования, если это необходимо, и служить конфиденциальным и внимательным читателем, который заботится о том, чем может поделиться участник. Помните, что ответ зависит от доверия, усилий и вознаграждения. Покажите, что вы действуете в соответствии с полученными ответами, делясь обновлениями, благодарив участников и демонстрируя, как их отзывы оказали влияние и привели к положительным изменениям.
Обеспечьте разумное приспособление . Как исследователь, вы должны учитывать, насколько ваши участники знакомы с ведением дневника и как ведение дневника может повлиять на их жизнь и ответы. Например, если они часто используют онлайн-платформы для документирования каждого приема пищи, поездки и смены настроения, заполнение своего дневника онлайн может не так сильно повлиять на их распорядок дня. С другой стороны, человеку, который использует свой телефон для аудио- и видеозвонков и время от времени играет в свою любимую словесную игру, возможно, потребуется подробное объяснение программного обеспечения дневника, которое вы будете использовать. Если в дизайне дневникового исследования есть гибкость, поработайте с распорядком дня участников, чтобы выбрать наиболее удобное для них время для заполнения записей, спросив об их предпочтениях. Когда люди спешат, слишком устали или хотят спать, чтобы завершить изучение дневника, они вряд ли откроются и поделятся своими мыслями.

Заключение

Почему мы все еще проводим исследования, если достоверность может быть проблемой? Потому что данные лучше, чем предположения! Однако важно критически оценивать выводы и рекомендации, основанные на разнообразных исследованиях и вторичных исследованиях . Мы должны знать, что дизайн нашего исследования и формулировка вопросов могут повлиять на поведение пользователей. Да, эффект Хоторна в первую очередь будет связан с тенденцией людей изменять свое поведение, когда за ними наблюдают. Однако это также может привести к созданию безопасных приложений, побуждающих к ответственности, осведомленности или размышлению об определенных действиях (например, время, проведенное за мобильным устройством), чтобы люди могли управлять ими и принимать обоснованные решения.
В пользовательском опыте предвзятость наблюдателя может служить основой для большей эмпатии к пользователям и для лучшего дизайна исследования — хотели бы вы, чтобы кто-то наблюдал за вами, когда вы работаете или живете своей жизнью? Как вы можете сделать этот опыт менее навязчивым, более приятным и безопасным для людей?

Эффект Хоторна или предвзятость наблюдателя в исследованиях пользователей