Проекты DCSS и MIMOD: Гранты Евростата смешанного типа

Проекты DCSS и MIMOD:
Гранты Евростата смешанного
типа

                              1

Для Сбора Данных для Социальных
Исследований (DCSS) применяются
многочисленные методы и подходы

• 2-годовой проект Европейской Статистической Системы
 (ESSnet) был завершен в сентябре 2014 г.
• Национальные статистические институты Германии,
 Нидерландов, Финляндии, Объединенного Королевства
 и Норвегии
  – При поддержке НСС Швеции, Дании, Италии
• Большая часть содержания этой сессии основывается
 на результатах и материалах по проекту DCSS

                                                      2

Материалы касательно данного курса
1.    Запрос на сбор данных для социальных исследований.
      Blanke, K., и Luiten, A. (2014)
            Как 37 Европейских и заморских НСИ комбинируют и не
             комбинируют методы и реестры
2.    Отчет по определению, идентификации и анализу
      эффектов методов опроса. Körner, T. (2014).
            Что такое эффект метода, и насколько он критичен?
3.    Корректировка с учетом погрешностей измерений при
      применении сбора данных смешанного типа. Merad, S.,
      (2014).
            Как изменения структуры методов влияют на показатели
             групповых исследований
4.    Организация сбора данных смешанного типа. Gravem, D.F,
      Båshus, T., и Lagerstrøm, B.O. (2014).
            Сбор данных смешанного типа на практике
            Системы для сбора данных смешанного типа
•   Данная и другая информация доступна по ссылке
    http://ec.europa.eu/eurostat/cros/content/data-collection_en
                                                                    3

Терминология, относящаяся к
смешанному типу
• Методы, управляемые интервьюером
  – CATI: Автоматизированный телефонный опрос
  – CAPI: Автоматизированный личный опрос (лицом к лицу)
  – PAPI: Анкетирование (интервьюер заполняет анкетный лист)
• Самоуправляемые методы
  – CAWI: Автоматизированный веб-опрос, известный как «веб»,
    «веб режим»
  – PAP: Анкетирование (опрашиваемый самостоятельно заполняет
    анкетный лист)

                                                               4

1. Запрос на осуществление
социальных исследований
      смешанного типа

                             5

Запрос на сбор данных для социальных
исследований
• Обзор методов, примененных в ключевых социальных
 исследованиях 2012-13 гг.
  –   Обзор Рабочей Силы (LFS, главный кейс)
  –   Европейский Обзор Условий Жизни (EU-SILC)
  –   Обзор по Информации, Коммуникациям и Технологиям (ICT)
  –   Обзор Домашнего Хозяйства и Бюджета (HBS)
  –   Перепись населения

• Кроме того, методы и ресурсы данных исследований,
 запланированные для будущего
  – Многое изменилось с 2012 г…
                                                               6

Применение разных методов исследований в
   странах Европы (n=34)        • Применение отдельного
                                                                                                 метода до сих пор
                                                                                                 является частым
                                                                                                 выбором при проведении
                                                                                                 исследований (помимо
                                                                                                 LFS на второй и
                                                                                                 последующих волнах)
                                                                                               • 1-я волна обзоров LFS и
                                                                                                 EU-SILC все еще
                                                                           3 и более методов
                                                                                                 осуществлялась
                                                                           2 метода              посредством отдельного
                                                                           1 метод
                                                                                                 метода в трех из четырех
                                                                                                 случаев
                                                                                               • Что касается ICT, две
                                                                                                 трети кейсов проводятся
                                                                                                 также посредством
                                                                                                 отдельного метода.
                                                                                               • В целом, исследование
                                                                                                 смешанного типа
Примечание: в данной диаграмме не отражены результаты зарубежных стран и не рассмотрены          применяется при обзоре
регистры в качестве отдельных типов методов                                                      HBS только в половине
                                                                                                 рассматриваемых стран.

                                                                                                                            7

Вторая и последующие волны обзора
LFS: иная картина

• Больше половины стран проводили исследования
 смешанного типа (в некоторых случаях даже
 комбинируя три разных метода).
• Шесть стран дополняли данные обзора LFS путем
 применения регистров (DK, NL, IS, NO, ES и SI).
• Наиболее часто применяемой комбинацией для
 исследований смешанного типа являлась CATI/CAPI
• Две третьих зарубежных стран уже использовали
 смешанный тип при проведении обзора LFS во время
 первой волны и продолжили его применение в
 последующих волнах.
                                                    8

Комбинации ИСТ(исследования
смешанного типа) обзора LFS 2013 г.

               • Включение метода CAWI в
                 обзор LFS означает включение
                 самоуправляемого метода в
                 исследование, которое до того
                 момента руководствовалось
                 методами, управляемыми
                 интервьюерами
                                                 9

Отличие в проведении Переписи (n=26)*
                                                                        •   Больше половины стран
                                                                            проводили Перепись с
                                                                            применением ИСТ для того,
                                                                            чтобы получить
                                                                            наибольшую
                                                                            эффективность, комбинируя
                                                       1 метод              несколько методов.
                                                       2 метода         •   8 стран прибегали только к
                                                       3 и более            комбинированию регистров
                                                                            для сбора данных
                                                                        •   13 из стран, проводивших
                                                                            Перепись (n=26), применяли
                                                                            веб-опросы, но ни одна
                                                                            страна не применяла его
*Восемь стран используют регистр в качестве единственного ресурса для       как отдельный метод.
Переписи

                                                                                                     10

Планы на внедрение метода CAWI?
(n=24, 2013)
                       • Те страны,
                                         которые до сих пор
                                         не внедряли опцию
                  Да, в течение
                  след. пяти лет
                                         CAWI при
                  Да, но не в течение    проведении опроса
                  след. пяти лет

                  Еще не решено
                                        • Равное
                                         распределение по
                  Стратегии не
                  имеется                восточным/западн
                                         ым и
                                         северным/южным
                                         странам Европы

                                                         11

Некоторые общие выводы по проведению
исследований
•   Несмотря на то, что до сих пор выбор наиболее часто выпадает на
    долю применения отдельного метода (2012 г.), ИСТ
    было/становится в настоящее время все более и более
    востребованным.
•   Основная стратегия ESS по сбору данных до настоящего времени
    основывалась на исследованиях, управляемых интервьюером
     – Постановка вопросов для озвучивания
     – Интервьюеры могут дать пояснения и оказать поддержку
     – Применение инструментов CAWI приведет к
       основополагающим изменениям к данному подходу: Веб-
       опросы, к примеру, не требуют сторонней помощи и контроля, а
       канал коммуникации является визуальным
•   Тщательное продумывание анкет и опросов является наилучшим
    способом избежать смещений при проведении ИСТ

                                                                      12

Адаптация вопросов для веб-анкетирования
(n=17)
                                         Перевод вопросов из прежних методов в веб-опросники, в какой мере вы
                                                        откорректировали вопросы анкеты?

                                    Расположение инструкций
 Корректировка относительно

                                    Формулировка инструкций

                                            Структура анкеты

                                     Формулировка вопросов                                                  Крупные изменения

                                                                                                            Легкие изменения
                              Формулировка категорий ответов
                                                                                                            Никаких изменений
                                     Кол-во категорий ответов

                              Слияние и разделение вопросов

                                                                           Кол-во кейсов

                                                                                                                                13

2. Эффекты метода:
Определение, идентификация
         и анализ
Основано на презентации автора Томаса Кернера на
  Встрече ESSnet Сбор данных для социальных
   исследований с применением множественных
                    методов
          г. Херлен, 18-19 марта 2014 г.

                                                   14

Эффекты метода – опасная штука?
• Эффекты метода часто представляются как серьезное
 препятствие при применении множественных методов
 в социальных исследованиях
• Много разных определений эффектов метода в
 литературе
  – Разные подходы к изучению эффектов метода в зависимости
    от разных определений
• Отчет DCSS содержит
  – Определение того, что должно относится к эффектам метода
    в контексте официальной статистики,
  – Перечень возможных методологических источников эффектов
    метода
  – Рекомендации по идентификации и анализу эффектов
    метода.
                                                               15

Что такое эффекты метода?
• («Чистые») Эффекты метода или другие погрешности,
 связанные с методом
  – (“Чистые”) Эффекты метода: погрешности измерений
    конкретного метода из-за отличий метода
        Различия, которые можно выявить когда помимо самого метода
         ничего не остается постоянным (охват, ответы, анкета и др.)
        Трудно изолировать эмпирическим путем
        Открытый вопрос: Улучшение вопросов для конкретного метода?

• Другие препятствия, связанные с методом:
 Погрешности в связи с специфическими
 характеристиками метода разработки исследования и
 его осуществления, н-р,
  –   Погрешность охвата
  –   Погрешность доли не ответивших
  –   Погрешность в связи с проведением опроса через посредников
  –   Другое
                                                                       16

Источники эффектов метода

• Эффекты метода могут уходить корнями в
 различные аспекты сбора данных; аспекты, которые
 также могут взаимодействовать
  A.   Вид социального взаимодействия
  B.   Вид коммуникации
  C.   Опции разработки опросника для конкретного метода
  D.   Компьютерная поддержка

                                                           17

A. Социальное взаимодействие
• Вовлечение интервьюера
  –   Мотивировать респондента?
  –   Источник погрешности социальной желательности?
  –   Мотивация интервьюера?
  –   Компенсирование пробелов анкетирования..?
• Социальные нормы управляют социальным
 взаимодействием
  – Характерно для средств коммуникации
  – Конфликтующие нормы
• Очевидная конфиденциальность
• Контроль респондента над анкетой
  – Фактор порядка вопросов
  – Удовлетворенность                                  18

B. Виды коммуникации

• Невербальное общение
  – Характерно для личных интервью
  – Богатый источник для мотивации респондента и
    раннее выявление ошибок
• Паравербальное общение
  – Характерно для личного интервью и интервью по
    телефону
  – Громкость разговора, просодия, интонация, молчание,
    вздохи и затрудненное дыхание
• Вербальное общение
  – Строго ограниченная коммуникация
• Общение через компьютер
                                                          19

C. Опции разработки опросника по
конкретному методу
• Визуальные или слуховые стимулы
  – Различные эффекты в соответствии с целевой аудиторией
    и вопросу
      Визуальная презентация требует грамотности
      Многочисленные категории ответов: Эффекты
       первостепенности и новизны, тенденция использовать общие
       категории

• Улучшение вопросов по конкретному методу
  – “The biggest source of differences across survey modes”
    (Dillman/Smyth/Christian 2009: 321) / «Самый большой
    источник различий между методами исследований»
      Мик Купер подчеркивает положительные аспекты и призывает
       «использовать преимущества каждого метода!»
  – Конвенции дизайна по конкретному методу
  – Единый дизайн методов как решение по умолчанию
    (наименьший общий знаменатель..?)
                                                                  20

D. Компьютерная поддержка
• Автоматические инструкции
  – Понимание последовательности вопросов
  – Минимизация ошибок маршрута и единиц
    пропущенных ответов
• Проверки на достоверность при прохождении
 опроса
  – Более высокий порог при прохождении по методу
    CAWI в сравнении с CATI/CAPI
• Интерактивное кодирование
• Рандомизация порядка категорий ответов или
 вопросов

                                                    21

Подходы к изучению эффектов метода

• Эксперименты раздельной выборки
• Изучение повторного опроса
• Подходы к сведению записей
• Подходы к повторному взвешиванию
• Когнитивный опрос

  Примечание: У каждого подхода есть свои
  недостатки и каждый из них основывается на
  (сильных) предположениях: При возможности,
  следует комбинировать несколько подходов

                                               22

Подход             Цель                       Ограничения               Примеры

Эксперименты       Количественное             Практические              Körner/Liersch 2014;
раздельной         отображение амплитуды      препятствия для           Jäckle/Roberts/Lynn 2010;
выборки            эффектов измерения по      рандомного размещения     Schouten/van der Laan
                   конкретным методам         выборок; ограниченный     2014; Lar-ja/Taskinen 2014
                                              размер выборки

Изучение           Количественное             Эффекты памяти            Schouten/van der Laan
повторного         отображение амплитуды      (независимость опроса и   2014
интервью           эффектов измерения по      повторного опроса);
                   конкретным методам         ограниченный размер
                                              выборки

Подходы к          Оценка отличий методов в   Концептуальные и          Kreuter/Presser/Tourangea
сведению записей   сравнении с источником     методологические          u 2008; Villund 2009, 2010
                   данных                     отклонения от ресурсов
                                              данных

Подходы к          Повторное взвешивание      Ограниченный выбор        Statistisches Bundesamt
повторному         субаудитории, опрошенных   вариантов калибровки      2010; Schouten/van der
взвешиванию        с использованием разных                              Laan 2014;
                   методов в обычном          Варианты калибровки       Vannieuwenhuyze/Loosveld
                   исследовании (с не-        должны быть в строгом     t/Molenberghs 2010
                   случайным размещением      соответствии с выбором
                   респондентов по методам)   метода, но не должна
                                              подвергаться эффектам
                                              метода

Когнитивный        Анализирование             Количественное            Nicolaas et al. 2011
опрос              когнитивных процессов,     отображение эффектов
                   приводящих к эффектам      метода практически
                   метода                     невозможна                                             23

Выводы и рекомендации
•   Отличия в методах при измерениях исследований определить
    труднее, чем кажется на первый взгляд.
     – Даже если фокусироваться только на эффектах измерений по
       конкретным методам, (“чистый” эффект метода), множество факторов
       могут производить отличия
•   Метод сбора данных ни в коем случае не может сводиться к
    применению средств коммуникации («CAPI всегда приводит к
    погрешности социальной желательности…»)
•   Тщательная проработка опроса и анкеты может привести к
    значительному сокращению потенциальных эффектов метода
     – Погрешность пропущенных ответов, погрешность трения, или
       погрешность охвата тем самым могут стать более серьезными
       проблемами в сравнении с эффектами измерений по конкретным
       методам
•   Требуется тщательное изучение потенциальных эффектов метода,
    а также их источников.
     – Комбинация методов, описанных в отчете Körner, могут быть
       полезными                                                          24

Упражнение на разработку анкеты
смешанного типа
• Вы хотите узнать количество часов, которое
 респонденты потратили на выполнение оплачиваемой
 работы на их основном месте работы за прошлую
 неделю – с 15-го по 21-е октября.

• Как вы сделаете это при помощи
  – Телефонного опроса отдельным методом (CATI)?
  – Веб-анкетирования отдельным методом (CAWI)?
  – Опроса смешанного типа CATI+CAWI?

                                                    25

Статистическое управление Финляндии:
веб-эксперимент раздельной выборки
• Телефонное интервью: один вопрос, заданный устно.
  – «Сколько часов вы проработали на вашем основном месте
    работы в течение одной недели со 2-го по 8-е октября 2017 г.?»
• Тот же вопрос задается фокус-группе при веб-опросе

                                                                 26

Статистическое управление Финляндии:
эксперимент раздельной выборки

• Экспериментальн
 ая группа веб-
 опроса –
 использование
 преимуществ
 метода веб.
• Формат сетки с
 счетчиком

                    ESTP-Combining Data from different
                    sources and modes. Oslo 13-16 Oct.
                                                         27

Статистическое управление Финляндии:
  эксперимент раздельной выборки
• Фокус-группа
  единственного
  вопроса (n=703)
  указала в среднем
  меньшее
  количество часов,
  чем
  экспериментальна
  я группа (n = 626)
• Экспериментальна
  я группа в среднем
  указала количество
  часов то же, что и
  фокус-группа CATI
  (n = 1316)                         28

Статистическое управление Финляндии:
эксперимент раздельной выборки
• Результат указывает на функциональную
 равнозначность: Нам могло потребоваться
 применение разных форматов вопроса для разных
 методов для получения похожих результатов.
• Несмотря на то, что статистические различия не
 значительны, Статистическое управление Финляндии
 приняло решение в пользу вопроса в виде сетки для
 обеспечения наилучшей функциональной
 равнозначности результатов по CAWI и CATI
  – В некоторых источниках отмечено как Обобщенный метод

                                                           29

Другие проблемы, связанные с
переходом в онлайн режим…

                               30

Перевод метода социального
исследования от управления
интервьюером к веб-опросу
 • Отсутствие интервьюера является основной
   проблемой, связанной с эффектами метода
    – Ссылка: Типология Körner комбинация источников эффектов
      метода, социальное взаимодействие и тип коммуникации
 • Важная функция интервьюера заключается в
   оказании поддержки респонденту во время
   прохождения опроса, в том числе разъяснения и
   пояснения
    – Пояснения, инициированные респондентом: когда
      респондент сам(а) просит пояснений у интервьюера
    – Пояснения, инициированные интервьюером: когда
      интервьюер чувствует, что что-то может пойти не так и
      предлагает пояснить
        Респондент мешкает, звучит неубедительно
        Ответы оказываются неверными или сомнительными         31

Компенсирование отсутствия
интервьюера
• Диалоги опросника
  – Заставить веб-опросник имитировать деятельность
    интервьюера
• Предложено Конрадоми Шёбером (2007):
  – Лабораторные эксперименты
      Инициированные респондентом: Нажмите на значок «?» для
       доступа к пояснениям
      Инициированные опросником: Разъяснения появляются на
       экране автоматически после определенного количества секунд

                                                                    32

Компенсирование отсутствия
интервьюера
• Де Лью(2010):
 – Ответы «Не знаю» приводят к стандартизированным
   проверкам обеспечения, стимулирующим респондента
   попытаться дать ответ
     Разработка смешанного типа CAWI и CATI
     Стандартизация исследований по методу CATI – более
      жесткий скрипт
 – Цель: Отличать произвольное «Не знаю» от
   действительного «Не знаю»
     Заключение, что обоснованность гарантирована

                                                           33

Компенсация отсутствия интервьюера

• Гравем (2014): Combining Schoeber and DeLeeuw’s
 approaches in an LFS web questionnaire
 (Комбинирование подходов Шёбера и Де Лью всех веб-
 опросах LFS)
  – Обзор LFS известен своим количеством объяснений
  – Для пояснений, вызванных респондентом, используются
    гиперссылки
  – Ответы «Не знаю» используются для пояснений, вызванных
    анкетой (не только для исследования)
  – Проверено в когнитивных лабораториях и маломасштабных
    пробных запусках
  – Результаты указывают на то, что диалоги опросников в какой-то
    мере компенсируют отсутствие интервьюера
                                                                34

Предоставление доступа к
пояснительной информации на
мобильном телефоне – инициированное
респондентом

                                  35

Ответ «Не знаю»: промежуточный вопрос о
причинах неспособности ответить
                     Инициированный анкетой
                     Перевод:
                     Вы ответили «Не знаю» на
                      предыдущий вопрос. Что
                      составило затруднения для
                      вашего ответа?
                     •   Сложные или непонятные
                         термины в вопросе
                     •   Нечеткая формулировка
                         вопроса
                     •   Не обладаю требуемой
                         информацией
                     •   Затрудняюсь вспомнить
                     •   Категории ответов не
                         подходят
                     •   Другое                   36

После ответа «Не знаю»: пояснение и
повторение вопроса на том же экране

                                      37

Схема диалога опросника

                                  Вопросы с
                                  - Терминами с
                                  гиперссылками
                                  - Основные категории
                                  ответов
                                  - Кнопка «Не Знаю»

                  Переход по
      Пояснения   гиперссылке                            Ответ НЗ        Причина(ы) для
                                       Действие
      к вопросу                                                          ответа «НЗ» на
                                      респондента
      Q1                                                                 Q1

                                Основной                                  Пояснения к
                                ответ                                     вопросу Q1

                                                                         Повтор вопроса и
                                                                         категорий ответов

                                Следующий основной
                                вопрос
                                                         Основной ответ или НЗ

                                                                                             38

Новая проблема: эффект метода или
эффект девайса?
• CAWI теперь не только CAWI
  – Опросная анкета выглядит по-разному на разных дисплеях и
    девайсах
  – Важно: строгие протоколы тестирования для разных
    устройств, платформ, размеров дисплеев, разрешений
    дисплея, браузеров и др.
• Мобильный веб
  – Недостаток: Исследование показывает, что мобильный веб-
    опрос сопряжен с меньшей долей ответивших, более
    частыми разрывами и более длительным временем
    заполнения
  – Преимущество: Могут ли особенности мобильных устройств
    применяться для, к примеру, исследования поездок,
    исследований расходов.
      Есть ли у респондентов желание...?
                                                               39

Веб-дизайн и эффект применения
устройств
• Необходимо принимать во внимание философию
 веб-дизайна
  – «Традиционный»
      Предназначен для экранов ПК, неэффективное применение на
       меньших экранах
  – «Mobile first»
      Если работает на маленьком экране, то заработает и на
       большом
      Преимущество: Доказано, что при применении дизайна «mobile
       first» погрешность измерений такая же, как веб на ПК
      Недостаток: при необходимости пояснительной информации и
       инструкций, «mobile first» ограничивает ваши возможности
          – В обзоре LFS, разные подгруппы выборки требуют разные виды
            вспомогательной и разъяснительной информации
          – Меньшая обоснованность данных
  – «Адаптивный веб-дизайн» – возможное решение?
                                                                         40

Традиционный: опросник обзора LFS
Объединенного Королевства

                                    41

«Mobile first»: тестовый опросник
Норвежского обзора LFS

                                    42

Адаптивный дизайн исследования
© CentERdata

                                 43

Веб-дизайн и эффект применения
устройств
• Адаптивный веб-дизайн
  – Оптимизировать просмотр и навигацию для разных форматов
  – Разные версии для мобильных телефонов, планшетов и ПК для
    одной и той же анкеты
  – Разные объемы и расположение инструкций и пояснений
• (Частичное) решение для анкетирования, требующего
 больше пояснительной информации и инструкций?
  – Более высокая обоснованность данных в «версии для ПК»?
  – Предотвращение разрывов и отсутствия ответов групп в
    «мобильной версии»?
  – Требуются исследования!

                                                             44

3. Корректировка
погрешностей измерений в
     зависимости от
  применяемого метода
На основе презентации Bart Buelen Погрешности
 измерений в зависимости от метода в LFS на
заседании ESSnet Сбор данных для социальных
  исследований с применением множественных
      методов г. Херлен, 18-19 марта 2014 г.

                                                45

Корректировка погрешностей измерений
в зависимости от применяемого метода

• ИСТ считаются подверженными
  – выбору в зависимости от метода
  – влиянию измерений
• Использование разных методов сбора данных в рамках
 одного исследования может
  – Сократить избирательность общей реакции (погрешность)
  – Но характеризуется погрешностями в измерениях, отличных от
    метода к методу.
• За умозаключениями в выборочных исследованиях, как
 правило, следует корректирование избирательности и
 игнорирование погрешностей измерений.
  – В повторных исследованиях, подобные выводы правдивы,
    только если погрешности измерений остаются неизменными во
                                                             46
    всех исследованиях.

Корректировка погрешностей измерений
в зависимости от применяемого метода
• В последовательных ИСТ, скорее всего, структура
    метода общей реакции респондентов отличается
     – Между последующими изданиями/волнами/циклами
       исследования
     – Между подвыборками в различных изданиях исследования
• Это ведет к вариациям в общей погрешности измерений
    и аннулирует классические умозаключения
•                                    Построение
                                     метода
                                     ответов в
                                     ежемесячных
                                     выборках
                                     Датского LFS
                                     (взвешенные)
                                                              47

Корректировка погрешностей измерений
в зависимости от применяемого метода
• Три метода были протестированы и обсуждены в
 проекте ESSnet:
  – Suzer-Gurtekin et al. (2012) Investigating the Bias of Alternative
    Statistical Inference Methods in Sequential Mixed-Mode Surveys
      http://www.amstat.org/sections/SRMS/proceedings/y2012/Files/306174_
       74031.pdf
  – Buelens and van den Brakel (2014) Measurement error calibration in
    mixed-mode sample surveys.
      https://www.cbs.nl/-/media/imported/documents/2013/20/2013-04-x10-
       pub.pdf Accepted for publication in Sociological Methods & Research
  – Kim (2013) An imputation approach for analysing mixed-mode
    surveys
      http://www.europeansurveyresearch.org/conf/uploads/25/259/50/Mixed_
       Mode.pdf?
                                                                             48

Корректировка и др.: некоторые
     выводы из отчета ESSnet
•   Можно разработать методы корректировки погрешности измерений. Но у
    них имеются ограничения, и они опираются на предположениях, которые
    трудно проверить. (Как и любые другие корректировки)
• Метод Buelens и van den Brakel обнадеживает
     – Относительно легкий в исполнении, но
     – Только частично решает проблему, поскольку сама погрешность не
       устраняется
•   Только благодаря тщательной проработке анкет и
    предварительному тестированию анкетирования смешанного типа
    можно сократить и избежать негативного влияния погрешности
    измерений
     – Таким образом НСС могли бы надеяться на предоставление данных,
       близких к действительности.
•   Вдобавок, разработка исследования может сократить изменения в
    структуре методов

                                                                    49

4. Организация сбора
данных смешанного типа

                         50

Темы, освещенные в материалах по
организации сбора данных смешанного
типа
A. Стратегии применения методов
B. Затраты
C. Своевременность
D. Как достичь самых высоких возможных
   показателей ответивших
E. Управление кейсами

                                         51

A. Стратегии применения методов
• 4 метода, бесконечное количество возможных комбинаций
  –   CAPI, CATI, PAP, CAWI
  –   6 возможных параллельных комбинаций с двумя методами
  –   12 возможных последовательных комбинаций с двумя методами
  –   В групповых исследованиях, возможно даже больше комбинаций
        Н-р, первая волна CAPI-CATI, след. волны CAWI-CATI

• Основная причина перехода от отдельного метода к
 смешанному типу
  – Сокращение затрат?
  – Повышение доли ответивших и/или погрешности отсутствия
    ответа?
  – Является ли достижение обеих целей невозможным?
        В лучшем случае, найти компромисс?
  – Есть ли другие цели…?
                                                                   52

Проект DCSS: Стратегии применения
методов в LFS
• Как комбинировать методы в волне
• Как комбинировать методы между волнами
• Можно ли использовать разные методы по одному дому
• Когда следует переключаться с одного метода на
 другой?

                                                   53

Стратегии применения методов в LFS
• Веб-опрос предлагается в виде первого метода в
 последовательном проекте. Не ответившим респондентам
 представится возможность в других методах.
  – Предоставляются возможности для больших сбережений средств.
  – Управляет риском малого процента ответивших и
  – Трудно применять в исследованиях с установленным периодом
    ответа
  – Применялся в Нидерландах для опроса LFS
• Веб-опрос предлагается для параллельного применения с
 другими методами, как вариант на выбор респонденту.
  – Часто используется, если другой опцией является анкета на
    бумаге.
  – Ограничивает потенциальное сокращение затрат, респонденты
    предпочитают бумагу
  – Согласно опросу, самый распространенный тип смешанного
    проекта в НСИ
  – Применялся для второй волны LFS в Дании                     54

Стратегии применения методов в LFS

• Веб-опрос предлагается для респондентов, не
 ответивших на опросы, при ранних попытках
 применения методов CATI или CAPI.
  – Дизайн выбора, когда целью является повышение доли
    ответивших
  – Применялся во Франции для опроса LFS, с более коротким
    вариантом анкеты
• Веб-опрос предлагается в последующих волнах, после
 первой волны другого типа.
  – Лучший групповой набор
  – Применялся в Дании для опроса LFS

                                                             55

Рекомендации

• Какой вид проекта использовать зависит от цели
  – Если целью является снизить охват и/или ошибки отсутствия
    ответов, следует применять
      Параллельный проект, в котором респонденту предоставляется
       выбор метода
      Последовательный проект с самым дорогостоящим методом
       вначале
  – Если целью является снижение затрат, используйте
    последовательный проект с самым дешевым методом
    вначале
• Решение должно быть обоснованным фактами,
 насколько это возможно, учитывая
  – Разные аспекты качества данных
  – Нагрузку на респондентов, и
  – Затраты.
      Всегда ли сокращение расходов выигрышно?
                                                                    56

Рекомендации
• Использовать адаптивный дизайн для объединения
    методов в группы!
• Просто: Не предлагать веб-опросы пожилым
• Сложно: Прогнозировать ответы
      – Calinescu и Schouten (2013) предлагают использование и
        переключение методов в зависимости от предложенной
        выборки, бюджета и целевых показателей качества
      – Датский LFS: Прогнозы вероятных ответов по девяти
        рассчитанным подвыборкам
      – Модель прогнозирует следующее
           четыре подвыборки должны быть нацелены по CAPI,
           одна c последовательными CAWI-CATI, и
           Оставшиеся применять не стоит, так как их эффективность
            достаточно низкая и влияние на рассчеты будет незначительным
      – Другие параметры = другие прогнозы
•   http://dare.ubvu.vu.nl/bitstream/handle/1871/48647/dissertation.pdf?sequence=1
                                                                                     57

D. Как достичь самых высоких
возможных показателей ответов на веб-
опросы
• Как формулировать сопроводительное письмо
  – Письмо должно быть максимально официальным!
• Как напоминать (который метод, сколько раз)
  – Нужно часто отправлять напоминания, даже по опросам,
    действующим короткий промежуток времени!
• Кто использует интернет
  – Не те, на кого вы могли бы подумать?
  – Высокие показатели ответов по CATI/CAPI = высокие
    показатели ответов по CAWI
      Средний возраст
      Высокий уровень образования
      Высокий доход
  – Другие/больше стратегий требуются для молодежи/подгрупп
    меньшинств                                                58

E. Системы управления кейсами

• Что такое система управления кейсами?
• Требования к системам управления кейсами
  – Настоящие и будущие
• Какое программное обеспечение использовать
  – Разработанные самостоятельно
  – Готовые решения
  – Комбинация

                                               59

Системы управления кейсами

• Что такое система управления кейсами исследований?
  – Отслеживает группы выборки
      История контактов: письма, e-mail, звонки, рассылки анкет
      Контактная информация: адреса, тел. номера, контактные лица
       (предприятия), члены семьи (соц. опросы)
      Коды методов обработки
         –   Ответ
         –   Отсутствие ответа
         –   Не соответствие
         –   Групповые опросы: история ответов
  – Отслеживает деятельность интервьюеров
  – Отслеживает используемые ресурсы
      Затраченное время
      Затраченные средства

                                                                     60

Системы управления кейсами в ESS
согласно опросу (n=12)

                        Система(ы)
                        управления
                        мультиметодными
                        кейсами

                        Система(ы)
                        управления кейсами
                        отдельного метода

                        Система(ы)
                        управления кейсами
                        обоих смешанного и
                        отдельного метода

                                             61

Полученная польза мультиметодного
CAS

                            Очень полезный

                            Довольно полезный

                            Не очень полезный

                            Совсем не полезный

                                             62

Системы управления мультиметодными
кейсами
• Является ли недостаток хороших систем
 управления мультиметодных кейсов
 наибольшим препятствие для
 (эффективного) мультиметодного сбора
 данных?
  – Необходимо экспортировать кейсы из одной
    системы в другую
      Задержки
      Параллельные кейсы/анкеты в обороте

                                               63

Требования Stat Норвегии для системы
    управления многометодными кейсами
•   Рекомендовать модульный подход
     – Избегать применение монолитных систем
     – Изменение модуля под один или более методов
     – Добавление модулей для новых методов
•   Обновлять информацию по электронным методам в режиме
    (приблизительно) реального времени
     – Онлайн опрос
     – Опрос с помощью приложений
•   Должна уметь справляться с различными типами выборки
     –   Индивидуум
     –   Дом
     –   Адрес
     –   Предприятие
     –   Также должна быть способна добавлять группы к выборке
•   Находить баланс – принимать некоторые «временные» решения,
    а не строить что-то идеальное. Позднее превращать их в модули.
                                                                 64

Система управления кейсами SIVadm

                       Paradata
                       Параданн
                          ые

    Administrators
    Администраторы                Interviewers
                                    Интервьюеры

                     Sivadm

                        Oracle

        CAWI                         CATI

                     CAPI

                                                  65

Внутренний или готовый

• Внутренний
  – Аргументы за
      Возможно индивидуализированное решение
  – Аргументы против
      Высокие требования к планированию и менеджменту
      Компетентны ли НСИ/подразделения ИТ/подразделения по сбору
       данных?
      Риск стремительных затрат
        – Размытие границ проекта – проект становится больше, чем было
          изначально запланировано
        – Излишнее усложнение – слишком много «желательных» функций

                                                                         66

Внутренний или готовый

• Готовый
  – Аргументы за
      Низкие затраты на разработку
  – Аргументы против
      Возможно, не просчитан под потребности официальной
       статистики
      Может потребоваться разработка дополнительного
       функционала, либо от провайдеров программного
       обеспечения или НСИ

                                                            67

Расскажите нам о
  ВАШИХ системах
управления кейсами!

                      68

Будущее(?): Проект MIMOD
MIxed MOde Design for Social Surveys
(Проект смешанного типа для Социальных Исследований)

• Новый грант Евростата – Декабрь 2017 г. - Май 2018 г.
• Построен на основе проекта DCSS
• Заявление, отправленное консорциумом, состоящим из
 статистических офисов
  –   Италии (координатор)
  –   Австрии
  –   Нидерланд
  –   Норвегии
  –   Германии
• Поддерживает сеть
  – Франция, Республика Чехия, Польша, Финляндия, Швеция
                                                           69

Проект MIMOD
• Цель: изучить лучшие практики и предложить
 рекомендации по различным аспектам сбора
 данных смешанного типа
• 6 Рабочих Пакета
  1. Организация метода – параллельный или
     последовательный
  2. Mode bias/effects and adjustment
  3. Менеджмент кейсом и связанная с этим логистика
     данных
  4. Разработка анкеты смешанного типа – одномодовая
     или специфическая или обобщенная
  5. Трудности касательно телефонов и планшетов
  6. Организация и заседания – завершающий семинар
     в Риме в 2019 г.

                                                       70

Что-то совершенно другое?

  Портал ALTINN – Сбор
данных от индивидуумов и
  предприятий на основе
       метаданных

                            71

Система на основе
             метаданных для
Метаданные
             мульти-методного
             проекта

              Управление
                           Редакт-е
               выборкой

                                      72

Метаданные – за пределами кода
• Общие типы метаданных в контексте исследований
  1. Определительные: описывают целевую аудиторию, основы
     выборки, постановку вопросов и терминологию кодирования
  2. Процессуальные: описывают протоколы для подготовки
     интервьюеров, разработку основы, выбор респондентов и
     сбор данных
  3. Операционные: содержат оценку процедур, таких как
     показатели данных недостающих элементов, показатели
     ошибок корректировки, средняя продолжительность интервью,
     а также количество кейсов, выполненных одним
     интервьюером
  4. Системы: относятся к формату набора данных, расположение
     файлов, протокол поиска, определения полей записи данных,
     а также тип элемента выборки, запрашиваемый для единицы
     данных
  From Colledge and Boyko (2000), quoted in Groves et al. 2011
                                                                 73

Метаданные по концепциям и вопросам
• SERES- Регистр и хранилище метаданных органов власти
 Норвегии
  – Семантические отношения между концепциями в различных
    областях
      Экономической
      В отношении работы
      Социальной
      Др.
  – Все государственные агентства и муниципальные учреждения
    Норвегии должны использовать общие определения
      Определенная часть информации может быть запрошена только один
       раз
  – Фокус на администрировании и обмене данными, меньше на сборе
    данных, исследовании и производстве статистики
  – Требует работы по стандартизации и сотрудничеству
      Н-р, нужды налоговых служб отличаются от нужд НСИ
  – Большой потенциал, но все еще предстоит много работы
      Проблема: множество моделей метаданных вокруг
                                                                    74

Data Documentation Initiative – стандарты
по метаданным на языке разметки
• “Data Documentation Initiative (DDI) – это попытка
 создать международный стандарт для описания
 данных из социальных, поведенческих и
 экономических наук. Выраженные на языке XML, […]
 метаданные DDI сопровождают и позволяют
 концептуализацию, сбор, обработку, распределение,
 исследование, анализ, перестановка целей и
 архивирование данных.”

• http://www.ddialliance.org/what

                                                     75

Стандарт Жизненного Цикла DDI

                                                 Архивиро
                                                  вание
                                                ·Сохранение
                                                метаданных
                                                ·Конфиденциал
                                                ьность
                                                · Доп.
                                                обработка

Концепция              Сбор        Обработка     Распр-е               Изучение                Анализ

·Первоначальные     ·Анкета        ·Работа с     ·Условия             ·Записи
концепции                                                             каталога               ·Код повтора
                    ·Кодир.        данными       пользования
·Вопросы и          инструмент                                        ·Индекс-е              ·Публикации
                                   ·Перекод-е    ·Цитирование
ответы              · Метаданные   · Краткое     · Инф-я о            · Соотв.
· Инф-я по гранту   CAI            описание      пакетах              публикации
                    ·Параданные

                                                           Изменение
                                                             цели

                                                            ·Координация
                                                            пост-фактум
                                                            ·Трансформац
                                                            ия данных

                                                        ESTP-Combining Data from different
                                                        sources and modes. Oslo 13-16 Oct.
                                                                                                            76

Data Documentation Initiative
• Стандарт жизненного цикла DDI охватывает весь
    процесс производства статистики
     – Как описано в Типовой Модели Производства Статистической
       Информации
• Но многие НСС не применяют стандарт DDI (?)
     – Статистическое управление Турции использует его
     – «Статистическое управление Австралии» представлено
       Исполнительному Совету
     – «Статистическое управление Дании» работает через Датский
       Архив Данных
     – «Статистическое управление Норвегии» работает через
       Норвежскую Службу Социальных Научных Данных (SERES не
       руководствуется стандартом DDI)
•   Учреждения архивов данных и исследовательские организации,
    предположительно, находятся на переднем плане
•   Что насчет ВАШИХ НСС?           ESTP-комбинированные Данные из
                                      разных источников и методов. г.   77
                                                     Осло 13-16 окт.

Модернизация – Цели 2022

               78

Сбор данных на основе метаданных на
практике

                                      79

Возможные преимущества сбора
данных/разработки исследования на
основе метаданных..?

                                    80

Возможные ошибки при сборе
данных/разработке исследования на
основе метаданных..?

                                    81