Маркус Бакингем - Сначала нарушьте все правила!
Для этого исследования мы собирали данные о результатах коммерческой деятельности за несколько периодов, чтобы рассчитать надежность показателей коммерческой деятельности. В некоторых случаях у нас не было возможности получить такие данные для разных периодов, и тогда мы использовали методы метаанализа, опирающиеся на искусственные распределения (Hunter & Schmidt, 1990, p. 158–197), для того, чтобы скорректировать ошибки измерения переменных, отражающих результаты коммерческой деятельности. Использованные искусственные распределения были основаны на стабильных, повторяющихся из года в год результатах различных исследований, если они были доступны.
К моменту этого исследования не было оценок стандартного отклонения ключевых элементов по генеральной совокупности для всех использованных шкал измерения. Следовательно, не было корректировки ошибок, связанных с ограничением диапазона, и ошибок измерения независимых переменных (13 ключевых элементов). Чтобы адекватно скорректировать ошибки измерения на уровне независимых переменных, нужны были результаты (устойчивости), стабильные при повторном тестировании через короткие промежутки времени. Такие оценки были недоступны на момент проведения этого исследования. Для многомерных величин (приведенных позже в этом обзоре) оценки корреляции были получены с использованием оценок на основе альфы Кронбаха для надежности независимых переменных.
Как уже было отмечено, не было корректировки достоверности ключевых элементов и дисперсий, обусловленных ошибками измерения независимых переменных, а также из-за ограничения пределов измерения.
В любом метаанализе могут быть различные искусственные искажения, по которым имеется лишь отрывочная информация. К примеру, предположим, что ошибка измерения и ограничение диапазона — это единственные относящиеся к делу искусственные искажения, кроме выборочной ошибки. В этом случае типичный основанный на искусственном распределении метаанализ проводится в три этапа.
• Во-первых, собирается информация по четырем распределениям: распределению наблюдаемых корреляций, распределению надежности независимых переменных, распределению надежности зависимых переменных и распределению отклонения диапазона. Таким образом, весь набор исследований, какую бы информацию они не содержали, дает четыре средних значения и четыре дисперсии.
• Во-вторых, распределение корреляций корректируется с учетом ошибки выборки.
• В-третьих, в распределении, исправленном с учетом ошибки выборки, корректируются ошибки измерения и ограничения диапазона (Hunter & Schmidt, p. 158–159).
В данном исследовании корректировки ошибок измерения зависимых переменных были проведены во всех видах анализа. Метаанализ каждого ключевого элемента и каждого показателя деятельности компании включает оценки взвешенных по размеру выборки значений среднего, а также дисперсии корреляций — тоже взвешенных по размеру выборки. Кроме того, был вычислен размер прогнозируемой дисперсии взвешенных корреляций на основе выборочной ошибки. Дисперсия с учетом выборочной ошибки рассчитывается в метаанализе Bare Bones с использованием метода Хантера–Шмидта, упомянутого в предыдущем абзаце, по следующей формуле:
Истинное значение дисперсии рассчитывается путем вычитания дисперсии, обусловленной выборочной ошибкой, и дисперсии, обусловленной ошибкой измерения из наблюдаемого значения дисперсии. Затем извлекают из этого значения квадратный корень и корректируют эффект затухания зависимой переменной. Величину дисперсии, обусловленной ошибкой измерения и выборочной ошибкой, делят на наблюдаемую дисперсию, чтобы получить учитываемую дисперсию в процентах. В литературе часто используют эмпирическое правило, что если более 75% изменчивости значимостей в исследованиях обусловлено выборочной ошибкой и другими искусственными искажениями, то достоверность можно считать значимой. Поскольку два вида искусственных искажений из-за ошибок измерения не могли быть скорректированы в этом исследовании, исследователи использовали величину 70% и выше при определении, являются ли достоверности общезначимыми для всех организаций.
Результаты
Здесь мы приводим краткое описание метаанализа для каждого из 13 ключевых элементов относительно фактора потребительской удовлетворенности/лояльности. Статистики включают в себя число бизнес-единиц, число корреляций, средневзвешенную фактическую корреляцию, обнаруженное стандартное отклонение, стандартное отклонение истинной достоверности (с вычетом дисперсии, обусловленной ошибками выборки и измерения показателей результатов коммерческой деятельности), процентную дисперсию, обусловленную выборочной ошибкой, процентную учитываемую дисперсию и 90%-ное доверительное значение (величину, при превышении которой отклоняются 90% достоверности).
Результаты говорят о том, что по всем 13 ключевым элементам оценки истинной достоверности положительно направлены. Оценки достоверности варьировались от 0,057 до 0,191. Если у ключевого элемента было положительное 90%-ное доверительное значение, то он считался значимым в том смысле, что можно с уверенностью полагать истинную достоверность положительной (в направлении, соответствующем проверяемой гипотезе). Ключевые элементы с 70%-ной учитываемой дисперсией достоверностей считались значимыми в том смысле, что достоверность не менялась для разных исследований. У 11 из 13 ключевых элементов были 90%-ные доверительные значения, а у шести достоверность не менялась в разных исследованиях.
Интересно, что для 12-го ключевого элемента («За последние шесть месяцев кто-то на работе беседовал со мной о моем прогрессе») вычисления показали, что 148% дисперсии достоверностей обусловлено выборочной ошибкой. Это объясняется следующим образом. Случайно изменчивость этих данных по разным исследованиям в наблюдаемой корреляции оказалась меньше, чем предсказанная случайной ошибкой выборки, основанной на числе бизнес-единиц в каждом исследовании, и ошибкой измерения зависимой переменной. Учитываемая дисперсия, обусловленная одной лишь выборочной ошибкой, оказалась больше 100% еще у двух ключевых элементов. Практическое значение величины описанных здесь корреляций будет обсуждаться ниже. Возможно, что для достоверности различающихся ключевых элементов имеются другие переменные, ослабляющие связь этих восприятий сотрудников с потребительской удовлетворенностью. Например, может быть, что показатель «с моим мнением считаются» ослабляется, если его понимают так, что менеджер не только выслушивает суждения сотрудников, но и использует их для того, чтобы влиять на покупателя. Перечислим общие ключевые показатели с самыми высокими истинными достоверностями.
