Методы анализа данных опроса

Теперь, когда вы получили результаты опроса и составили план анализа данных, настало время копнуть поглубже. Вот четыре основных этапа эффективного анализа данных:

1. Посмотрите на главные вопросы вашего исследования
2. Скопируйте таблицу и отфильтруйте результаты
3. Подсчитайте результаты
4. Сделайте выводы

Посмотрите на главные вопросы вашего исследования

Сначала давайте обсудим, как вы анализируете результаты для главных вопросов вашего исследования. Помните, что они были сформулированы, опираясь на цель опроса. 

Например, если вы проводили образовательную конференцию и решили запустить опрос, чтобы получить обратную связь после события, главным вопросом может быть что-то вроде: "Как вы оцениваете конференцию в целом?". Теперь посмотрите на полученные ответы:

Источник: surveymonkey.com

Учтите, что в качестве ответов вы получили проценты и сырые числа. Проценты - это всего лишь доля людей, давших определенный ответ. С другой стороны, проценты отражают количество людей, давших определенный ответ относительно всех респондентов. Т.е. 71% опрошенных (852 из 1200) планируют посетить вашу конференцию в следующем году.

Таблица также показывает, что 18% респондентов не заинтересованы, а 11% не уверены, что будут участвовать в следующей конференции.

Сырые числа - количество отдельных репондентов, давших ответы. 853 человека сказали: "Да, я буду в следующем году!" Если вы предположите, что большинство людей, которые сказали "да" и часть людей, которые не уверены, все же придут, вы можете построить прогнозирующую модель, чтобы оценить количество людей, планирующих посетить вашу конференцию в следующем году. Вы можете определить это число с большей точностью при условии высокого коэффициента участия - это значит, что большая часть людей, посетивших конференцию и получивших опрос, заполнили его.  

Кросс-табуляция и фильтрация результатов

Напомним, что когда вы задали цель опроса и разработали план анализа, вы думали о подгруппах, которые будете анализировать и сравнивать. Подготовка к опросу начнет окупаться прямо сейчас. Например, вы хотели сравнить, как учителя, студенты и администраторы отвечают на вопрос о посещении конференции в слудующем году. Чтобы это понять, вам нужно создать кросс-табуляцию, показывающую результаты опроса по подгруппам: 

Источник: surveymonkey.com

Из этой таблицы вы видите, что 86% студентов и 80% учителей планируют вернуться в слудующем году. Тем не менее, администраторы, посетившие конференцию, имеют другое мнение. Лишь 46% планирует вернуться. К счастью, другие вопросы помогут получить информацию, которая поможет понять, как улучшить конференцию для администраторов.

Еще один полезный инструмент анализа данных - фильтр. Фильтрация - сужение фокуса до одной конкретной подгруппы. Так что вместо сравнения подгрупп, мы анализируем ответы лишь одной из них. Например, вы можете сфокусироваться только на женщинах или мужчинах, чтобы перезапустить кросс-табуляцию по типу участников и сравнить ответы женщин администраторов с ответами женщин учителей и студентов.

Есть одна вещь, о которой следует помнить: каждый раз, когда вы применяете фильтрацию, размер выборки уменьшается. Убедитесь, что полученные результаты являются статистически значимыми.

Сопоставительный анализ, тренды и сравнение данных

Представим, что главный вопрос вашего исследования звучит так: "Насколько вы удовлетворены конференцией в целом?". Результаты опроса показывают, что 75% респондентов довольны. Звучит очень неплохо. Хотите получить немного контекста? Что-то с чем можно сравнить полученные значения? Это луше или хуже, чем в прошлом году? А что насчет сравнения с другими конференциями?

Допустим, что вы проводили опрос и после прошлогодней конференции. У вас есть возможность провести сравнение. Профессиональные социологи не сильны в придумывании каламбуров, но один у них все же получился - "trend is your friend".

Если прошлогодний уровень удовлетворенности равен 60%, вы увеличили его на целых 15 пунктов. Что спровоцировало этот прирост? Ответы на другие вопросы исследования помогут вам в этом разобраться.

Если в прошлом году вы не проводили опрос, что ж, этот год будет вашей отправной точкой. Но, если прошлогодние данные есть, вы можете провести сопоставительный анализ (benchmarking). Вы устанавливаете базовый уровень какого либо значения. Получая новые данные, вы можете определить насколько они отличаются от базового показателя. Вы можете сравнивать не только уровень удовлетворенности респондентов, но и другие значения. Из года в год вы сможете отслеживать мнение о конференции. Этот подход называется - продольный анализ данных.

Что такое продольный анализ данных?

Продольный анализ данных (его также называют анализом тренда) предназначен для отслеживания изменения определенных значений с течением времени. Когда базовое значение определено, вы можете измерять отклонения чисел. Уровень удовлетворенности вашей конференцией три года назад составил 50%, два года назад - 55%, в прошлом году - 65%, а в этом - 75%. Поздравляем! Вы проделали отличную работу! Продольный анализ данных показывает уверенный тренд роста уровня удовлетворенности.

Вы можете отслеживать данные для разных подгрупп. Например, уровень удовлетворенности для учеников и студентов растет из года в год. Но не для администраторов. Возможно, вы захотите внимательнее присмотреться к их ответам, чтобы понять, почему они не так довольны, как остальные участники. 

Анализ данных

Вы знаете сколько людей сказали, что вернутся, но как вы можете знать, что ваш опрос дал ответы, которым можно доверять и использовать для принятия решений? Очень важно понимать качество данных и компоненты статистической значимости. В ежедневной беседе слово "значимый" означает важный или имеющий значение. В анализе опросов и статистике, значимый означает "оценка точности". В частности, это означает, что данные опроса точны в рамках уровня достоверности, а не диапазоне случайных значений. Делать выводы на основании неточных данных (не значимых статистически) - довольно рискованно. Первый фактор, который стоит учесть при любой оценке статистической значимости - репрезентативность выборки. Иными словами, в какой степени группа опрошенных людей отражает целевую группу, относительно которой вы хотите сделать выводы.

У вас наверняка возникнут проблемы, если среди респондентов мужчины составляют 90%, но в рамках всех участников конференции их число не превышает 15%. Чем больше вы знаете о целевой группе, которую собираетесь изучить, тем более уверенны вы можете быть анализируя полученные данные.

Если набор участников опроса является случайной выборкой из целевой группы, статистическая значимость может быть посчитана достаточно просто. Основной фактор - размер выборки. Предположим, что 50 из 1000 человек, посетивших конференцию, прошли опрос. 50 - это маленький размер выборки, а результаты находятся в широком пределе погрешности. Простыми словами, ваши данные имеют не очень много веса.

Вы спросили респондентов, как много сессий они посетили в течение конференции. Ваши результаты выглядят следующим образом:

Источник: surveymonkey.com

Возможно, вы захотите проанализировать среднее значение. Как вы помните, есть три типа средних значений: медианное, арифметическое и частое. В таблице выше, среднее количество посещенных сессий составляет 6.3. Среднее в данном случае - среднее арифметическое. Для расчета вам потребуется просуммировать диапазон значений и разделить сумму на число значений в диапазоне. В этом примере есть 10 человек, которые говорят, что посетили 1 сессию, 50 человек посетили 4 сессии, 100 человек посетили 5 сессий и т.д. Суммируете, делите, получаете среднее арифметическое.

Медиана - другой тип среднего, которое определяется путем сортировки массива и выбора среднего значения по его порядковому номеру. В таблице выше можно увидеть по 500 человек слева и справа от значения. Медиана в этом случае будет равна 7 сессиям. Этот подход поможет сократить негавтиное влияние разброса значений.

Последний тип среднего - частое. Частое - это значение, которое наиболее часто встречается в выбранном диапазоне. В нашем случае частым будет число 6.

Среднее арифметическое и другие виды среднего также могут быть использованы, если ваши результаты основаны на шкале Лайкерта.

Выводы

Когда дело доходит до составления отчета на основании результатов опроса, думайте об истории, которую рассказывают данные. Допустим ваша конференция получила посредственные оценки. Вы начинаете копать глубже, чтобы понять что же происходит. Данные показывают, что участники довольно высоко оценили почти все аспекты вашей конференции: сессии, социальные мероприятия, гостиницу. Но при этом очень низко оценили город, который был выбран для проведения конференции. (Наверное, конференция проходила в Чикаго в январе, где в это время слишком холодно). Вот та самая часть истории - отличная конференция в плохой локации. Маями или Сан Диего, возможно, стали бы более удачным выбором для зимней конференции. Анализируя данные, вы должны учитывать такие аспекты, как причинность и корреляция.

В чем разница между причинностью и корреляцией?

Причинность - это когда один фактор провоцирует появление другого. Коррелляция - это движение двух переменных, где одна влияет на другую. Например, пить горячий шоколад и носить перчатки - это две коррелирующие переменные. Т.е. они появляются и исчезают вместе, но одна не провоцирует появление другой. Но обе эти переменные появляются под влиянием третьего фактора - холодной погоды. Она влияет и на потребление горячего шоколада, и на вероятность ношения варежек. Холодная погода является независимой переменной. Потребление горячего шоколада и ношение варежек - зависимые переменные. В случае опроса о конференции, холодная погода - фактор влияющий на неудовлетворенность местом проведения и конференцией в целом. Наконец, для дальнейшего изучения взаимосвязи переменных вам возможно потребуется провести регрессионный анализ.

Что такое регрессионный анализ?

Регрессионный анализ - это продвинутый способ анализа данных, который позволяет изучить связи между двумя и более переменными. Существует много типов регрессионного анализа. Какой из низ выбрать, зависит от переменных, которые требуется изучить. Общей чертой всех типов регрессионного анализа является то, что они изучают влияние одной или нескольких независимый переменных на одну зависимую.

В случае анализа опроса, нам бы хотелось знать, что больше всего влияет на удовлетворенность участников конференции. Влияет ли количество сессий? Или основной докладчик? А может быть социальные события? Или сайт? Применив регрессионный анализ, исследователь может определить, что и каким образом влияет на уровень удовлетворенности в целом. Это, в свою очередь, даст вам представление о том, какие аспекты конфренеции следовало бы в следующие раз изменить.

Скажем, например, вы заплатили много денег, чтобы получить первокласного докладчика для открытия сессии. Участники поставили ему и конференции высокие оценки. Основываясь на этих двух факторах, вы можете подумать, что первокласный и дорогой докладчик - ключ к успеху конференции. Регрессионный анализ поможет определить действительно ли это так. Вы можете определить, что популярность основного докладчика была главным фактором влияющим на удовлетворенность конференцией. Если это так, в следующем году вы снова захотите пригласить первоклассного докладчика. Но, скажем регрессия показала, что несмотря на то, что всем понравился докладчик, это не оказало существенного влияния на удовлетвореность конференцией. Если это так, то большие деньги, потраченные на дорогого спикера, стоило потратить на что-нибудь другое.

Если вы выделите время, чтобы тщательно проанализировать достоверность данных опроса, вы будете на правильном пути принятия обоснованных решений.

Источник: https://www.surveymonkey.com/mp/how-to-analyze-survey-data/