«Запечатанный буклет»: альтернативный метод сбора данных в опросах по сенситивной проблематике
А.Ю. Мягков
Одним из необходимых условий получения достоверной социологической информации является искренность респондентов. Особенно сложно получить искренние ответы в тех случаях, когда речь идет о социально неодобряемом, стигматизированном поведении. Традиционная техника прямых вопросов, основанная на бихевиористской трактовке вопросно-ответного общения, редко приносит желаемые результаты. Знаменитое Денверское исследование валидности показало, что от 20 до 50% всех ответов, полученных с использованием такого рода методик, не соответствовали действительности [1, p. 69]. Согласно оценкам Н.М. Фоломеевой и ее коллег в традиционных социологических опросах, посвященных изучению девиантного поведения, до 60% респондентов сообщают интервьюерам заведомо недостоверные сведения [2, c. 57]. Кроме того, по мнению ряда авторов, «прямые» интервью провоцируют значительно более высокий уровень отказов от ответов на вопросы и повышенный удельный вес отказов от участия в исследовании по сравнению с иными стратегиями сбора данных [3, p. 535; 4, p. 402].
Дж. Фокс и П. Трэйси убедительно доказали, что использование прямых вопросов для получения сенситивной информации ведет к систематическим смещениям, серьезно искажающим истинные масштабы распространения девиаций в обществе. Если случайные «ошибки сообщения» снижают надежность измерений, то систематические смещения, обусловленные неискренностью респондентов, угрожают валидности социологических данных и «безнадежно разрушают наблюдаемые эмпирические отношения» [5, p. 187, 197; 6, p. 8-9]. С другой стороны, традиционный подход при сборе «потенциально инкриминирующей информации» противоречит нормам исследовательской этики, поскольку наносит респондентам значительный психологический ущерб и не защищает сообщаемые ими сведения от разглашения [7, 8, 9]. Техника рандомизированного ответа, разработанная С. Уорнером [10], а впоследствии усовершенствованная в ряде работ западных авторов [4, 11], в существенной мере преодолевает указанные недостатки традиционной методологии. Она действительно гарантирует респондентам анонимность, не вызывает у них отторжения, способствует формированию кооперативных установок, обеспечивая тем самым более высокий уровень искренности ответов на сенситивные вопросы [5; 12, p. 7, 11, 12]. В этом смысле метод Уорнера превосходит все остальные опросные стратегии. Однако он также не лишен недостатков. Во-первых, данный метод весьма трудоемок, требует больших финансовых и временных затрат на подготовку, предварительное тестирование и полевую фазу. Во-вторых, получаемые с его помощью данные не могут быть сопоставлены с дополнительной информацией о личности респондента, что существенно снижает операционные возможности метода, его объяснительный и аналитический потенциал. И, наконец, в-третьих, как и другие методы, гарантирующие объективную анонимность, он исключает возможность работы в панельном режиме и проведение последующих интервью с респондентами для проверки первоначально полученных сведений и отслеживания динамики изучаемых характеристик [13, c. 112].
Свободным от недостатков, характерных для RRT, считается метод «запечатанного буклета» (the sealed booklet), созданный и экспериментально валидизированный австралийскими социологами Т. Маккаем и Я. Макаллистером в конце 1980-х – начале 90-х гг. Он предназначен для сбора сведений по особо острым и деликатным темам (например, употребление и распространение наркотиков) в режиме персонального интервью. Специальная техника его реализации, предложенная авторами, позволяет, по их мнению, реально обеспечить респондентам объективную и субъективную анонимность и тем самым получить значительно более искренние и достоверные ответы, чем при традиционных процедурах личного интервьюирования [14].
Нормативное содержание и специфика метода
Наиболее важные характеристики метода «запечатанного буклета» уже рассматривались нами [13, с. 112–113]. Приведем лишь его краткое описание.
Вопросник для сбора данных состоит из двух частей (секций), одна из которых находится у интервьюера, а другая, вложенная в заклеенный конверт, вручается респонденту. Передавая «запечатанный буклет», интервьюер произносит следующие слова: «А сейчас мне хотелось бы дать вам анкету, для которой у меня нет ни вопросов, ни ответов. Читая ее, называйте мне только номера своих ответов, а я буду фиксировать их в своем вопроснике. Насколько вы можете убедиться, даже эти номера даются в случайном порядке».
Эта фраза, а также то обстоятельство, что буклет должен извлекаться из запечатанного конверта, должны усиливать субъективную анонимность. В инструкции, предваряющей вопросник для респондента, вновь делается напоминание об анонимности опроса: «Интервьюер не имеет копии данного перечня вопросов и ответов. Все, что у него есть, – это лист с номерами из вопросника. Поскольку нам очень необходима информация о масштабах распространения наркотиков и отношении к ним в обществе, ответьте, пожалуйста, честно на следующие вопросы. Вам нужно лишь сообщить интервьюеру номера тех ответов, которые соответствуют вашему мнению.
Мы повторяем, что интервьюер действительно не знает ни вопросов, ни ответов к ним. Чтобы убедиться в этом, достаточно обратить внимание на то, что все эти номера перемешаны случайным образом. Мы высоко ценим ваше сотрудничество в этом важном исследовании по вопросам национального здоровья».
В ходе исследования респондентам задавались ретроспективные, ситуативные и проспективные вопросы, касающиеся употребления 13 видов наркотических веществ. Респондент называл лишь номера (коды) ответов, и интервьюер заносил их в свой кодировочный бланк. В анкете для респондентов вопросы выглядели следующим образом: «Стали бы Вы употреблять галлюциногены, если бы Вам предложил их Ваш близкий друг? Сообщите номер ответа». «Да» – 118; «Нет» – 25; «Не уверен» – 69.
Если респондент называл, например, номер «118», означающий положительный ответ на данный вопрос, то интервьюер обводил кружком цифру «1» в своем кодировочном бланке:
118
25
69
1
2
3
Предварительное тестирование метода показало необходимость кодирования не только ответов, но и вопросов, задаваемых в исследовании. По мнению авторов, это дало бы возможность резко сократить число ошибок регистрации, позволило бы четко контролировать процедуру заполнения вопросника, соблюдение респондентами порядка и последовательности ответов на вопросы, избежать преднамеренных и непреднамеренных пропусков вопросов и т. д. [14, p. 175].
Эксперимент Т. Маккая и Я. Макаллистера
Валидизация SB-метода проводилась его авторами в ходе специального полевого эксперимента, в котором участвовали 1823 человека, отобранные строго случайным образом на основе общенациональной выборки (Австралия). Во избежание систематического (однонаправленного) влияния последовательности предъявления методов на характер ответов эксперимент был организован по принципу split-ballot. Одной группе респондентов предлагалось сначала ответить на вопросы в режиме обычного (face-to-face) интервью, а затем – с использованием «запечатанного буклета». В другой группе порядок интервьюирования менялся на противоположный.
Сравнение ответов, полученных посредством двух разных исследовательских стратегий, показало, что респонденты, опрошенные с помощью SB-метода, чаще давали утвердительные ответы об употреблении запрещенных наркотических препаратов, чем те, которым вопросы задавались в ходе беседы «лицом к лицу». Причем во многих случаях выявленные различия оказались статистически значимыми (р
Так, если на вопросах о реальном употреблении наркотиков влияние метода наблюдалось лишь в трех из девяти случаев (транквилизаторы, галлюциногены и амфетамины), то на вопросах, касающихся потенциального наркопотребления, – в восьми из девяти (табл. 1).
Проведенный авторами мультивариационный анализ данных свидетельствует также, что все ответы респондентов о реальном и потенциальном употреблении наркотиков, сведенные в единую шкалу, значимо коррелировали на уровне индекса с переменной «метод» (p=0,000) [14, p. 176].
Таблица 1
Соотношение утвердительных ответов на ситуативные и проспективные вопросы об употреблении наркотиков в зависимости от метода сбора данных, % ответивших
Тип вопроса и виды наркотических веществ
Методы сбора данных
Разность показателей/знак
Персональное интервью
Метод «запечатанного буклета»
«Употребляете ли вы следующие наркотики?»
Болеутолители
66
67
+1
Транквилизаторы
26
36
+10*
Марихуана
28
27
–1
Барбитураты
7
7
Галлюциногены
6
7
+1*
Амфетамины
5
6
+1*
Кокаин
2
3
+1
Ингалянты
2
2
Героин
1
1
«Стали бы вы употреблять следующие наркотики, если бы вам предложил их ваш близкий друг?»
Болеутолители
40
35
–5*
Транквилизаторы
9
10
+1*
Марихуана
11
13
+2*
Барбитураты
2
3
+1*
Галлюциногены
2
4
+2*
Амфетамины
1
3
+2*
Кокаин
1
2
+1*
Ингалянты
1
+1*
Героин
1
1
*Влияние метода значимо (p
Применение логит-аналитических процедур показало значимую связь между уровнем искренности ответов на деликатные вопросы и демографическими характеристиками респондентов. Женщины в 1,6 раза чаще, чем мужчины, скрывали применение транквилизаторов. Молодые респонденты честнее отвечали на этот вопрос, чем респонденты более старшего возраста. Употребление амфетаминов, наоборот, чаще скрывали мужчины (почти в 3,2 раза) и молодые люди (в 1,2 раза) (табл. 2).
Таблица 2
Соотношение респондентов, скрывающих употребление наркотиков, в различных демографических группах, коэффициенты различий
Демографические группы респондентов
Применение транквилизаторов
Употребление амфетаминов
Пол:
Женщины
1,00
1,00
Мужчины
0,64
3,17
Возраст:
15–19 лет
1,00
1,00
20–29 лет
1,55
1,17
30 лет и старше
2,08
0,21
Источник: [14, p. 181].
Обнаружено влияние последовательности предъявления методов на реакции респондентов. В тех случаях, когда «запечатанный буклет» предшествовал персональному интервью, изменений в ответах в зависимости от исследовательской техники не наблюдалось, когда же он следовал за интервью, удельный вес утвердительных ответов, касающихся употребления наркотиков, значительно возрастал. Этот факт, по мнению Т. Маккая и Я. Макаллистера, свидетельствует о том, что SB-метод, как минимум, «не сокращает число респондентов, признающихся в употреблении наркотических веществ» [14, p. 178].
Что же касается эффективности данного метода в целом, то, как считают авторы исследования, образцы ответов, направление смещений, а также их взаимосвязь с полом и возрастом респондентов убедительно свидетельствуют, что техника «запечатанного буклета» обеспечивает «более точные ответы на сенситивные вопросы об употреблении наркотиков» по сравнению с традиционно используемыми опросными процедурами [14, p. 183]. К тому же этот метод прост, удобен в обращении, не требует дополнительных затрат на полевой стадии исследования. Он гарантирует респондентам анонимность их ответов и позволяет задавать большое количество острых вопросов в ходе одного интервью. И, наконец, метод «запечатанного буклета» допускает возможность реинтервьюирования респондентов и проведения исследований в панельном режиме, что немаловажно при отслеживании эффективности государственных программ. --PAGE_BREAK--Методический замысел и процедура исследования
Для проверки этих выводов и практической апробации данного метода в марте–апреле 2000 г. нами было проведено экспериментальное методическое исследование. В Иваново и нескольких городах Ивановской области (Кинешме, Вичуге, Шуе, Плесе, Фурманове) опрошено 345 чел., отобранных на основе квотной выборки, репрезентирующей различные социально-демографические категории населения в возрасте от 16 лет и старше. Основным квотируемым признаком выступала социально-профессиональная принадлежность респондентов. Опрашивались представители 5 групп: рабочие, работники сферы торговли, интеллигенция, безработные и студенты. Выборка носила экспериментальный характер, и строго количественной репрезентации этих категорий не требовалось. Поэтому в выборочной совокупности указанные страты были представлены примерно равным количеством респондентов.
Разработанный для данного исследования вопросник насчитывал в общей сложности 35 вопросов, сгруппированных в 4 блока (приложение 1). Первый, «омнибусный», блок представлен восемью весьма деликатными вопросами, требовавшими от респондентов признания в совершении тех или иных осуждаемых поступков (воровство, взяткодательство, симуляция болезни, сокрытие преступлений и т. д.). Второй блок содержал 12 вопросов, касающихся реального и потенциального употребления различных наркотических веществ (марихуана, опий, морфин, героин, ЛСД и пр.). Третий блок, из 11 вопросов, был ориентирован на фиксацию образцов сексуального поведения и эротических фантазий респондентов (гомосексуальность, проституция, случайные связи, персонажи сексуальных воспоминаний и др.). Социально-демографический блок включал вопросы о поле, возрасте, роде занятий и места жительства опрашиваемых. При составлении анкеты и формулировании вопросов мы использовали некоторые сюжеты и темы, предлагавшиеся для обсуждения с респондентами в ряде зарубежных исследований [14, 15, 16].
Так же, как и в эксперименте австралийских социологов, в нашем исследовании каждый респондент отвечал на все вопросы анкеты дважды (в режиме обычного персонального интервью и «запечатанного буклета») с минимальным промежутком времени, необходимым для прочтения необходимых инструкций и обращений. Вопросные формы были специально адаптированы с учетом специфики используемого метода. Порядок предъявления самих методов чередовался. В одном случае опрос начинался с личной беседы, а заканчивался процедурой «запечатанного буклета», в другом применялась обратная последовательность. Перед началом каждой разновидности интервью респондентам предлагались «контактные» инструкции и обращения, а при переходе от одного метода к другому — «буферные» обращения-связки.
В исследовании использовались инструкции четырех типов (приложение 2). Первая из них регламентировала форму общения с респондентами в момент первичного контакта с ними и была ориентирована на то, чтобы создать у испытуемых мотивацию к участию в исследовании и убедить их дать максимально искренние ответы на деликатные вопросы. Вторая предназначалась для тех случаев, когда опрос начинался с персональных интервью. Она дополнялась обращением-связкой, используемой при переходе к SB-методу. Третья инструкция зачитывалась интервьюером в ситуации, предшествовавшей методу «запечатанного буклета», и также сопровождалась «буферным» обращением, необходимым для плавного перевода беседы в режим персонального интервью. И, наконец, последняя, четвертая инструкция была предназначена для самостоятельного прочтения респондентами и извлекалась ими из заклеенного конверта непосредственно перед началом опроса в режиме SB-метода. В ней еще раз подробно объяснялась процедура работы с вопросником и повторялись заверения в анонимности и конфиденциальности беседы.
В период, предшествовавший полевому этапу исследования, все интервьюеры прошли тщательный инструктаж (две инструктивные сессии по одному часу каждая). В ходе опроса с использованием метода «запечатанного буклета» им вменялось в обязанность выполнение следующих правил и процедур: (1) строго следить за тем, чтобы все конверты, вручаемые респондентам, были заклеены и не имели никаких случайных пометок, которые могли бы вызвать подозрение в нарушении анонимности; (2) зачитывать респондентам инструкции, соответствующие используемому методу, а также «буферные» обращения в промежутке между двумя интервью; (3) проводить все опросы, независимо от процедуры сбора данных, в строго конфиденциальной обстановке, с глазу на глаз с респондентом в уединенном месте, без присутствия «третьих лиц»; (4) внимательно следить за тем, чтобы респонденты не пропускали вопросы и не «перескакивали» с одного на другой. В опросах с применением SB-метода интервьюеры фиксировали номера полученных ответов в специальных кодировочных бланках, которые по окончании интервью вновь вкладывались в конверты вместе с чистыми анкетами, возвращенными респондентами. В процессе числовой обработки было построено несколько дополнительных переменных, фиксирующих влияние очередности предъявления методов на характер ответов испытуемых, степень сенситивности различных вопросов анкеты и др.
Интерпретация результатов
При проведении исследования мы исходили из предположения, что метод «запечатанного буклета» обладает большими возможностями по сравнению с обычным персональным интервью с точки зрения стимулирования искренних ответов на сенситивные вопросы. Однако полученные нами данные оказались не столь очевидными. С одной стороны, ни по одной из 28 сравниваемых пар вопросов, составивших предмет нашего рассмотрения 1, не было обнаружено различий, которые были бы значимы на приемлемом уровне (p
Таблица 3
Соотношение утвердительных ответов на вопросы, задававшиеся в традиционном персональном интервью и при интервьюировании методом «запечатанного буклета», % ответивших
Вопросы-переменные*
Персональное интервью
Метод «запечатанного буклета»
Разность показателей
Уровень значимости различий (p)
Воровство
64,6
66,7
+2,1
0,265
Взяткодательство
48,5
47,4
–1,1
0,075
Сокрытие преступления
39,0
38,0
–1,0
0,499
Симулирование болезни
55,9
57,4
+1,5
0,299
Желание покончить с собой
32,5
33,3
+0,8
0,890
Попытки самоубийства
32,3
33,3
+0,5
0,301
Предложение наркотиков
40,6
42,2
+1,6
0,846
Употребление наркотиков:
Гашиш
13,1
12,9
–0,2
0,381
Опий
1,7
2,4
+0,7
0,700
Морфин
2,0
2,1
+0,1
0,697
Кодеин в таблетках
1,2
1,5
+0,3
0,805
Экстази
2,6
2,7
+0,1
0,614
Героин
2,3
2,4
+0,1
0,652
Кокаин/крэк
0,6
0,9
+0,3
0,893
ЛСД
1,7
2,7
+1,0
0,682
Установка на употребление наркотиков
8,1
9,0
+0,9
0,837
Совмещение алкоголя с наркотиками
14,5
14,3
–0,2
0,696
Случайные сексуальные связи
50,1
50,0
–0,1
0,302
Ложь родителям о сексуальных отношениях
45,3
47,4
+2,1
0,401
Гомосексуальные практики
4,3
7,0
+2,7
0,962
Сексуальные связи в состоянии алкогольного опьянения
45,6
47,0
+1,4
0,284
Жертва изнасилования
17,7
17,7 продолжение
--PAGE_BREAK--
0,0
0,869
Совершение сексуального насилия
2,3
2,6
+0,3
0,657
Проституция
4,4
7,0
+2,6
0,959
Персонажи эротических фантазий:
Друг (подруга), с которым (ой) никогда не вступали в сексуальные отношения
53,8
55,5
+1,7
0,158
Муж подруги (жена друга)
18,0
20,9
+2,9
0,727
Человек, с которым были интимные отношения когда–то в прошлом
51,3
54,5
+3,2
0,413
«Звезда» (актер, актриса, певец, певица и т. д.)
18,6
20,1
+1,5
0,085
*Здесь приводятся краткие версии вопросов. Полные тексты формулировок см. в Приложении 1.
Есть несколько обстоятельств, не позволяющих дать однозначное заключение о недостаточной валидности метода «запечатанного буклета». Во-первых, в 22 из 28 проанализированных случаев знаки процентных различий соответствуют предсказанному направлению, что свидетельствует о преимуществах альтернативной опросной техники. Эта тенденция, по сути дела, носит однонаправленный характер, поскольку персональное интервью несколько улучшило результат лишь по пяти вопросам (17,9%), да и то это улучшение не вышло за пределы 1%. Еще в одном случае наблюдалось абсолютное равенство методов.
Во-вторых, кажущаяся равнозначность применявшихся нами методик, демонстрируемая данными по выборке в целом, скорее всего, является артефактом. Приведенные выше показатели свидетельствуют, на наш взгляд, не о низкой эффективности техники «запечатанного буклета», а об искусственно завышенном уровне искренности ответов респондентов в персональном интервью. Это завышение обусловлено, в частности, тем, что некоторые испытуемые, особенно из молодежной среды, отвечая на вопросы интервьюеров в обычном устном режиме («глаза в глаза»), бравировали своей девиантностью. Юношеская бравада — очень серьезный фактор, сильно искажающий объективные возможности метода «запечатанного буклета» и затрудняющий его сравнение с другими опросными процедурами. О существовании этого источника искажений в опросах по сенситивной проблематике свидетельствуют как проведенные нами претесты, так и исследования других авторов [16, p. 53; 17, с. 82].
В-третьих, полученные нами данные свидетельствуют, что обобщенная картина скрывает дифференцированное воздействие методов на степень искренности респондентов, принадлежащих к разным социально-демографическим группам. Разнонаправленный характер методологических предпочтений в разных стратах в конечном счете приводит к взаимопогашению различий в ответах испытуемых на уровне массива в целом. Мужчины, например, честнее сообщают о попытках совершения самоубийства в персональных интервью, в то время как женщины — при использовании метода «запечатанного буклета» (табл. 4). Сказанное относится и к другим социально-демографическим группам опрошенных. В результате при фактически различном отношении разных социальных сегментов выборочной совокупности к указанным методам сбора данных разность в удельном весе положительных ответов на данный вопрос по всей выборке минимальна (0,5%).
Таблица 4
Соотношение утвердительных ответов на вопрос: «Предпринимали ли вы попытки самоубийства?» в различных социально-демографических группах респондентов в зависимости от метода сбора данных, % ответивших
Социально-демографические группы
Персональное интервью
Метод «запечатанного буклета»
Разность показателей
Пол:
Мужчины
39,6
31,5
–8,1
Женщины
28,2
34,6
+6,4
Возраст:
16–19 лет
35,0
30,0
–5,0
20–29 лет
32,7
37,5
+4,8
30–39 лет
32,3
30,6
–2,3
40 лет и старше
29,6
30,4
+0,8
Место жительства:
г. Иваново
36,9
37,9
+1,0
Ивановская область
16,7
18,8
+2,1
Род занятий:
Рабочие
29,2
37,0
+7,8
Торговые работники
41,9
41,4
–0,5
Интеллигенция
26,1
29,2
+3,1
Безработные
34,6
38,5
+3,9
Студенты
25,0
20,7
–4,3
Отмеченная закономерность просматривается не только по отдельным вопросам, но и по всему вопроснику в целом. Женщины действительно воспринимают новый метод с большим доверием: в 20 из 28 задававшихся вопросов удельный вес признаний в социально неодобряемых видах поведения у них оказался выше, чем в персональном интервью. И хотя мужчины также ответили искреннее на 20 вопросов в том случае, когда анкета извлекалась ими из заклеенного конверта, однако средняя мера сдвига, свидетельствующая в пользу этого метода, у них почти в 2 раза ниже, чем у женщин (соответственно 3,3% и 6,4%).
Анализ данных также показывает, что жители провинциальных городов более откровенны при использовании SB-метода. Это не удивительно, поскольку они представляют собой специфическую социальную общность — более стеснительны, имеют несколько иные нравственные ценности и поведенческие стандарты. По данным нашего исследования, проведенного в феврале 2001 г. (N=701), они испытывают большее смущение при обсуждении деликатных тем, если опрос проводится «глаза в глаза» с интервьюером в устном режиме (p=0,000), имеют более актуализированную потребность в сохранении анонимности и конфиденциальности беседы (p=0,000). Неслучайно поэтому, что респонденты, проживающие в малых городах и особенно в сельской местности, на 18 из 28 задававшихся вопросов (64,3%) дали более искренние ответы, когда использовалась техника «запечатанного буклета», и лишь в трех случаях — когда применялся метод персонального интервью. При этом средняя величина смещения в пользу альтернативной методологии составила 3,8% при максимальном значении 7%. Для жителей областного центра эти показатели значительно ниже: 1,0% и 2,5%, соответственно (табл. 5).
Таблица 5
Показатели эффективности метода персонального интервью и интервью с использованием «запечатанного буклета» (SB) в различных социально-демографических группах респондентов (абс. числа и %)
Социально-демографические группы респондентов
Количество вопросов с различиями в пользу SB-метода, абс. числа
Количество вопросов с различиями в пользу персональ-ного интервью, абс. числа
Количество вопросов, свидетель-ствующих о равенстве методов, абс. числа
Средняя величина смещения в пользу SB-метода, %
Средняя величина смещения в пользу персонального интервью, %
Пол:
Мужчины
20
7
1
3,3
2,0
Женщины
20
3
5
6,4
0,9
Возраст:
16–19 лет
18
6
4
2,2
3,3
20–29 лет
19
7
2
2,2
1,0
30–39 лет
13
9
6
2,6
1,5
40 лет и старше
17
6
5
1,3
1,3
Место жительства:
г. Иваново
3
8
17
1,0
1,4
Ивановская область
18
3
7
3,8
1,3
Род занятий:
Рабочие
13
3
12
2,8
1,5
Торговые работники
15
8
5
1,9
1,7
Интеллигенция
15
7
6
1,9
1,1
Безработные
17
4
7
3,4
1,5
Студенты
15
8
5
2,6
2,4
В-четвертых, эффективность применения SB-метода зависит, по-видимому, от тематического содержания и степени сенситивности задаваемых вопросов. Весьма показательным в этом отношении можно считать распределение ответов респондентов, принадлежащих к разным социально-демографическим группам, на вопросы о гомосексуальных практиках (табл. 6).
Таблица 6
Распределение положительных ответов на вопрос: «Приходилось ли Вам вступать в сексуальные отношения с представителями Вашего пола?» в различных социально-демографических группах респондентов в зависимости от метода сбора данных, абс. числа и %
Социально-демографические группы
Персональное интервью
Метод «запечатанного буклета»
Увеличение числа признаний при использовании SB-метода
абс.
%
абс.
%
Пол:
Мужчины
7
4,5
6
4,0
-
Женщины
8
4,2
18
9,3
2,2 раза
Возраст:
16–19 лет
1
1,8
2
3,6
2 раза
20–29 лет
10
7,7
15
11,5
1,5 раза
30–39 лет
3
4,0
4
5,2
1,3 раза
40 лет и старше
1
1,2
3
3,7
3 раза
Место жительства:
г. Иваново
12
5,0
18
7,5
1,5 раза
Ивановская область
3
2,9
6
5,8
2 раза
Род занятий:
Рабочие
1
1,4
3
4,0
3 раза
Торговые работники
9
13,2
10
14,9
1,1 раза
Интеллигенция
1
1,5
2
2,9
2 раза
Безработные
3
4,4
6
8,8
2 раза
Студенты
1
1,5
3
4,5
3 раза
Как следует из таблицы, в отдельных группах респондентов применение «запечатанного буклета» способствует увеличению абсолютного числа искренних ответов в среднем в 1,6 раза при общей вариации значений от 1,1 до 3. Аналогичные зависимости просматриваются и по целому ряду других вопросов, задававшихся в исследовании (о потенциальном и фактическом употреблении некоторых видов наркотических веществ, занятии проституцией, эротических фантазиях и воспоминаниях и др.).
Выводы
Эксперимент не выявил явного превосходства тестируемого метода над традиционным персональным интервью. Применение «запечатанного буклета» не привело к устойчивому и повсеместному росту числа искренних признаний респондентов в социально неодобряемых видах поведения. Тест на статистическую значимость различий в ответах, полученных посредством разных опросных процедур, не дал положительных результатов. Вместе с тем детальный анализ результатов на межгрупповом уровне дает основания для более оптимистических выводов и оценок. В частности, данные по выборке в целом, скрывают заметные различия в восприятии методов разными социально-демографическими категориями респондентов. Обнаруженные нами систематические смещения в ответах, связанные с фоновыми характеристиками опрошенных, позволяют говорить о значительных потенциальных возможностях альтернативной методологии. Кроме того, позитивное влияние метода «запечатанного буклета» варьирует в зависимости от степени деликатности обсуждаемых проблем. Следовательно, чем выше стигматизация тех или иных видов девиантного поведения, тем больше шансов у данного метода продемонстрировать свою эффективность. С другой стороны, как верно замечают Т. Маккай и Я. Макаллистер, оценивать метод сбора данных по принципу «чем больше, тем лучше», не всегда уместно и правомерно [14, p. 183]. Когда исследователь интересуется видами контрнормативного или нелегального поведения, не имеющими широкого распространения в обществе, даже небольшое увеличение числа искренних признаний можно считать заметным достижением. Применение «запечатанного буклета», как мы могли убедиться, в отдельных группах респондентов и по некоторым типам вопросов способствовало улучшению результатов в 1,5–3 раза, что также позволяет говорить о значительных скрытых резервах данного метода.
Нейтрализации ожидаемого эффекта тестированной методики могли способствовать и некоторые условия самого эксперимента. Во-первых, в силу квотного характера выборки, осуществлявшейся без специальных рандомизирующих процедур, в качестве опрашиваемых во многих случаях использовались хорошо знакомые интервьюерам люди. Это, безусловно, облегчило получение искренних ответов вне зависимости от используемого метода, но одновременно «смазало» итоговые результаты. Во-вторых, применение специфической панельной модели, предполагавшей двухкратное обращение с одинаковыми вопросами к одним и тем же людям без необходимого в таких случаях временного промежутка, способствовало актуализации у респондентов «эффекта памяти», что, по-видимому, привело к простому воспроизведению частью испытуемых их первоначальных реакций в последующих секциях интервью и нивелированию различий в ответах по двум пробам. В-третьих, многократные и весьма интенсивные устные заверения со стороны интервьюеров в конфиденциальности предстоящей беседы, дополненные письменными напоминаниями, не могли не сказаться на качестве ответов респондентов, в том числе и в персональных интервью. Интервьюерам, вероятно, удалось убедить испытуемых в том, что их ответы на деликатные вопросы будут сохранены в строжайшей тайне и не станут достоянием гласности. Это способствовало повышению доверия респондентов к опросам и опрашивающим при проведении бесед «с глазу на глаз» и минимизации расхождений в ответах, полученных посредством разных процедур. В-четвертых, постоянное чередование персонального интервью и «запечатанного буклета» также могло стать важным источником искусственного нивелирования объективно существующих различий в ответах, вызываемых спецификой используемых методов. В подобном чередовании, по всей видимости, нет особой необходимости, поскольку, как показало наше исследование, результаты опроса не зависят от порядка и последовательности предъявления вопросных форматов.
Использование иного экспериментального плана, учитывающего указанные факторы, позволит устранить их нежелательные побочные влияния и получить более «чистые» результаты, дающие объективную характеристику интересующего нас метода.
продолжение
--PAGE_BREAK--Приложение 1
Вопросник для персонального интервью (исследование по валидизации метода «запечатанного буклета», март—апрель 2000 г., N=345)
1. Случалось ли вам хоть раз в жизни что-то украсть? (1. Да; 2. Нет)
2. Приходилось ли когда-нибудь вам или вашим близким давать взятку в обмен на нужные вам услуги? (1. Да; 2. Нет)
3. Случалось ли вам не сообщать в милицию о совершенном другими людьми преступлении? (1. Да; 2. Нет)
4. Случалось ли вам симулировать болезнь с целью получить больничный лист? (1. Да; 2. Нет)
5. Есть ли в вашей семье долларовые накопления? (1. Да; 2. Нет)
Менее $200
$200–$499
$500–$799
$800–$999
1
2
3
4
$1000–$1999
$2000–$4999
$5000–$7999
Более $8000
5
6
7
8
7. Возникало ли у вас когда-нибудь желание покончить с собой? (1. Да; 2. Нет)
8. Если возникало, то предпринимали ли Вы когда-либо попытку осуществить это желание? Если нет, пропустите этот вопрос. (1. Да; 2. Нет)
9. Предлагали ли вам когда-нибудь наркотики? (1. Да; 2. Нет)
Приходилось ли вам пробовать следующие виды наркотиков:
Да
Нет
10.
Гашиш
1
2
11.
Опий
1
2
12.
Морфин
1
2
13.
Кодеин в таблетках
1
2
14.
Куадрин
1
2
15.
Экстази
1
2
16.
Героин
1
2
17.
Кокаин / крэк
1
2
18.
ЛСД
1
2
19. Стали бы вы употреблять наркотики, если бы вам предложил их ваш друг? (1. Да; 2. Нет)
20. Приходилось ли вам совмещать алкоголь с наркотиками? (1. Да; 2. Нет)
21. Приходилось ли вам заниматься сексом с нелюбимым человеком? (1. Да; 2. Нет)
22. Приходилось ли вам лгать родителям о своих сексуальных отношениях? (1. Да; 2. Нет)
23. Приходилось ли вам вступать в сексуальные отношения с представителями вашего пола? (1. Да; 2. Нет)
24. Случалось ли вам вступать в сексуальные отношения из-за алкогольного опьянения? (1. Да; 2. Нет)
25. Совершались когда-нибудь в отношении вас попытки изнасилования? (1. Да; 2. Нет)
26. Случалось ли вам совершать сексуальное насилие? (1. Да; 2. Нет)
27. Приходилось ли вам вступать в сексуальные отношения за деньги? (1. Да; 2. Нет)
Появлялись ли в ваших сексуальных фантазиях следующие персонажи:
28. Друг (подруга), с которым (ой) вы никогда не вступали в интимные отношения? (1. Да; 2. Нет)
29. Муж вашей подруги (жена вашего друга)? (1. Да; 2. Нет)
30. Человек, с которым вы имели интимные отношения когда-то в прошлом? (1. Да; 2. Нет)
31. «Звезда» (актер, актриса, певец, певица и др.)? (1. Да; 2. Нет)
32. Ваш пол? (1. Мужской; 2. Женский)
33. Ваше место жительства? (1. г. Иваново; 2. Города и районы области)
34. Ваш возраст? (1. 16–19 лет; 2. 20–29 лет; 3. 30–39 лет; 4. 40 лет и старше)
35. Ваш род занятий? (1. Рабочий промышленности, строительства, транспорта, связи; 2. Работник сферы торговли и обслуживания; 3. Представитель производственной и непроизводственной интеллигенции; 4. Студент ВУЗа, учащийся техникума, ПТУ; 5. Безработный)
Приложение 2
Вспомогательные рабочие документы исследования по валидизации метода «запечатанного буклета» (март–апрель 2000 г., N=345)
Контактные слова при первичном обращении к респонденту:
«Здравствуйте, меня зовут______________(назвать имя и фамилию). Я студент(ка) кафедры социологии Ивановского государственного энергетического университета. Наша кафедра проводит экспериментальное исследование с целью проверки нового, созданного нами метода сбора информации по деликатной тематике. Не согласились бы вы ответить на вопросы нашей анкеты? Это не займет много времени. Нам очень важно ваше участие в этом исследовании».
Инструкция для респондентов, вкладываемая в конверт
«Вы только что получили запечатанный конверт. Он содержит анкету, ответив на вопросы которой, вы очень поможете нам в проведении исследования. Некоторые вопросы данной анкеты могут показаться вам очень деликатными или даже личными. Но это не должно вас настораживать или смущать. Мы не хотим ни обидеть, ни огорчить вас.
Мы гарантируем вам сохранение всех ваших ответов в тайне. Все они будут использоваться только в обобщенном виде и в строго научных целях.
Процедура работы с анкетой очень проста. Читая вопросы и ответы к ним „про себя“, называйте интервьюеру только номера тех ответов, которые соответствуют вашему мнению, а интервьюер будет фиксировать их в своем кодировочном бланке.
Пожалуйста, отвечайте на вопросы честно, так, как это есть или было в вашей жизни на самом деле. Это очень важно для нас.
Еще раз обращаем ваше внимание на то, что интервьюер не знает ни вопросов, ни ответов к ним. Ведь он не имеет копии вопросника, а все номера перемешаны случайным образом, и запомнить их просто невозможно.
Заранее благодарны вам. Мы высоко ценим ваше сотрудничество в нашем исследовании».
Инструкция для тех случаев, когда беседа начиналась с метода SB
Связка перед интервью: «А теперь мы переходим ко второй части нашего интервью. Сейчас я буду зачитывать вам вопросы и возможные ответы к ним, а вы будете выбирать те варианты ответов, которые наиболее точно отражают ваше мнение. В большинстве случаев это ответы „да“ или „нет“.
Мне бы хотелось заранее предупредить вас, что некоторые вопросы могут показаться вам очень деликатными или даже личными, но это не должно настораживать или смущать вас. Я гарантирую, что о содержании нашего разговора никто никогда не узнает. Все, что вы скажете мне, я сохраню в тайне. Все собранные данные будут использоваться только в обобщенном виде в строго научных целях.
Если вы не захотите отвечать на какой-нибудь из моих вопросов, дайте мне знать, и я перейду к следующему.
Отвечайте, пожалуйста, честно, так, как это есть или было на самом деле в вашей жизни. Это очень важно для достоверности результатов нашего исследования.
— Вы готовы?»
Инструкция для тех случаев, когда беседа начиналась с метода персонального интервью
«Мы начнем нашу беседу с устных вопросов. Процедура интервьюирования очень проста. Я буду зачитывать вам вопросы и возможные ответы к ним, а вы будете выбирать те варианты ответов, которые наиболее точно отражают ваше мнение. В большинстве случаев это ответы „да“ или „нет“.
Мне бы хотелось заранее предупредить вас, что некоторые вопросы могут показаться вам очень деликатными или даже личными, но это не должно настораживать или смущать вас. Я гарантирую, что о содержании нашего разговора никто никогда не узнает. Все, что вы скажете мне, я сохраню в тайне. Все собранные данные будут использоваться только в обобщенном виде в строго научных целях.
Если вы не захотите отвечать на какой-нибудь из моих вопросов, дайте мне знать, и я перейду к следующему.
Отвечайте, пожалуйста, честно, так, как это есть или было на самом деле в вашей жизни. Это очень важно для достоверности нашего исследования.
Связка перед SB: „А теперь мы переходим ко второй части нашего интервью. Сейчас вы получите запечатанный конверт, в котором вы найдете анкету и инструкцию к ее заполнению. Прочитайте ее очень внимательно, когда вскроете конверт.
Процедура опроса проста. Вопросы анкеты и свои ответы на них вслух произносить не нужно. Их содержания я не знаю, у меня, как видите, нет даже копии этой анкеты. Читая анкету, сообщайте мне только номера тех ответов, которые соответствуют вашему мнению. А я буду фиксировать их в своем кодировочном бланке. (Показать кодировочный бланк.)
– Вы готовы? (ответ “да»). Тогда вскройте, пожалуйста, конверт и прочитайте сначала инструкцию.
– Вы готовы отвечать на вопросы?"
***
1 В силу ряда причин мы исключили из анализа ответы респондентов на три вопроса. Первые два из них касались долларовых накоплений и их размеров, а третий, «вопрос-ловушка», — употребления вымышленного наркотика «куадрин» (этот термин взят из статьи Т. Маккая и Я. Макаллистера [14, p. 185]).
Списоклитературы
Weaver C.N., Swanson C.L. Validity of Reported Date of Birth, Salary, and Seniority // Public Opinion Quarterly. 1974. Vol. 38. No 1. P. 69-80.
Фоломеева Н.М., Шурыгина И.И., Новикова Н.А., Чекинева Т.В. Опыт применения биографического метода в исследовании проблем наркомании // Наркомания как форма девиантного поведения / Под общ. ред. М.Е. Поздняковой. М.: ИСРАН, 1997.
Zdep S.M., Rhodes I.N. Making the Randomized Response Technique Work // Public Opinion Quarterly. 1976/1977. Vol. 40. No 4. P. 531-537.
Reinmuth J.E., Geurts M.D. The Collection of Sensitive Information Using a Two-Stage, Randomized Response Model // Journal of Marketing Research. 1975. Vol. XII. No 4. P. 402-407.
Tracy P.E., Fox J.A. The Validity of Randomized Response for Sensitive Measurements // American Sociological Review. 1981. Vol. 46. No 2. P. 187-200.
Fox J.A., Tracy P.E. Randomized Response: A Method for Sensitive Surveys. Beverly Hills (Calif.): SQASS, 1986.
Brannen J. The Study of Sensitive Subjects // Sociological Review. 1988. Vol. 36. No 3. P. 552-563.
Reamer F.G. Protecting Research Subjects and Unintended Consequences: The Effect of Guarantees of Confidentiality // Public Opinion Quarterly. 1979. Vol. 43. No 4. P. 497-506.
Веселкова Н.В. Об этике исследования // Социологические исследования. 2000. № 8. С. 109–114.
Warner S.M. Randomized Response: a Survey Technique for Eliminating Evasive Answer Bias // Journal of the American Statistical Association. 1965. Vol. 60. No 1. P. 63-69.
Orwin R.G., Boruch R.F. RRT Meets RDD: Statistical Strategies for Assuring Response Privacy in Telephone Surveys // Public Opinion Quarterly. 1982. Vol. 46. No 4. P. 560-571.
Bradburn N.M., Sudman S. Improving Interview Method and Questionnaire Design. San-Francisco: Jossey–Bass Publ., 1979.
Мягков А.Ю. Обеспечение анонимности в социологическом опросе: Аналитический обзор зарубежных исследований // Социологические исследования. 1999. № 5. С. 107–114.
Makkai T., Mcallister I. Measuring Social Indicators in Opinion Surveys: A Method to Improve Accuracy on Sensitive Questions // Social Indicators Research. 1992. Vol. 27. No 2. Р. 169-186.
Бежен А. Сексуальные воспоминания и фантазии мужчин и женщин во Франции // Журнал социологии и социальной антропологии. 1998. Т. 1. № 3. С. 143–147.
Berman J., McCombs H., Boruch R. Notes on the Contamination Method: Two Small Experiments Assuring Confidentiality of Responses // Sociological Methods and Research. 1977. Vol. 6. No 1. P. 45-62.
Рущенко И.П. Латентные социальные процессы: Теоретические и практические аспекты исследований наркомании // Социологические исследования. 1999. № 10. С. 74–85.