Алла Болотова - Психология коммуникаций
Sitzmann et al., 2008]; а значительное число тренеров и тренинг-менеджеров тратят немалые усилия на разработку и совершенствование того, что иной раз столь уничижительно называется «мажорными опросниками». Пренебрежительное отношение к эмоциональным состояниям и мнениям участников о качестве тренинга представляется абсолютно неоправданным, особенно в современных условиях. Если члены тренинговой группы чувствуют себя на занятиях дискомфортно, а сам тренинг воспринимается ими как набор непонятных, скучных и бесполезных процедур, то что, кроме принуждения может заставить людей посещать занятия?
Уровень усвоения. На уровне усвоения оценке подлежит сам факт усвоения, или степень овладения знаниями и умениями, а также сформированность установок. Приобретенные знания, умения и установки сравниваются с установленными стандартами. Несмотря на то что именно на этом уровне и происходит прямое сопоставление результатов тренинга с его заявленными целями, находится немало авторов, которые стремятся поставить под сомнение значимость оценки того, насколько хорошо были усвоены знания и умения или сформированы установки. Утверждается, что не столь важно, как это все было усвоено, а важно, насколько эффективно все это будет использовано. Другой предмет дискуссий – относительная значимость различных компонентов компетентности: знаний, умений или диспозиций. Хотя по большинству ситуаций первенство отдается умениям, существуют и иные точки зрения. Так, С. Манн и И. Робертсон считают, что наиболее важным для оценки успешности тренинга является такое диспозиционное образование, как самоэффективность, или уверенность в эффективности [Mann, Robertson, 1996]. На ведущую роль таких диспозиционных образований, как отношение к себе и партнерам по общению, в формировании коммуникативной компетентности указывает и Л. Петровская [1999, с. 151]. Особое место в перечне усвоенного занимают когнитивные структуры. С одной стороны, они не являются в строгом смысле слова ни знаниями, ни умениями, ни диспозициями. И в то же время очевидна их связь со всеми вышеперечисленными образованиями. Когнитивные структуры являются способом систематической организации знаний, одним из средств построения поведения («когнитивная оснастка действия»), они определяют и направляют активность индивида. Поэтому не удивительно, что изменения характеристик когнитивных структур (когнитивная сложность, интегрированность, оценочная нагруженность) рассматриваются в качестве целей тренинга [Reid, 1979].
Уровень поведения. Здесь выясняется вопрос, насколько приобретенные знания, умения и установки используются или реализуются в ситуациях, отличных от тренинговых, «за стенами учебных классов». Чаще всего под этим подразумевается применение знаний и умений в рамках профессиональной деятельности или в социально-бытовом общении.
Уровень результатов. На этом уровне производится оценка того, что дало обучение организации в целом. Используются различные бизнес-показатели, как конечные, так и промежуточные: рост оборота или прибыли, увеличение доли рынка, снижение издержек, уменьшение текучести кадров, уменьшение числа конфликтов, снижение числа рекламаций или жалоб клиентов и потребителей и т. д.
Данная схема с теми или иными модификациями является исходной для построения многих систем оценок эффективности. В дополнение к четырем уровням Киркпатрика нередко добавляют еще один, пятый уровень: отношение прироста эффективности к уровню затрат как денежных, так и временных. И как отдельную проблему выделяют вопрос о переносе навыка. Д. Стюарт предлагает проводить оценку эффективности по пяти параметрам, которые обозначаются как приемлемость, обученность, потенциальные возможности, производительность, результативность [Стюарт, 2001, с. 100–114]. Два первых параметра, по сути, идентичны первым двум уровням шкалы Киркпатрика, а два последних (производительность и результативность) тождественны понятиям «уровень результатов» и «отдача на вложения». Интерес представляет специальное выделение уровня возможностей. Его необходимость аргументируется тем, что не все из освоенного в тренинге может быть использовано на рабочем месте или в привычных социально-бытовых ситуациях [Там же, с. 107–108]. Существуют еще более развернутые системы оценки, в которые включаются вопросы, связанные с определением релевантности и своевременности проведения тех или иных тренинговых программ [James, Rof e, 2000, р. 14]. И все же большинство практикуемых в настоящее время систем оценки результатов тренинга базируется на концепции четырех уровней, сформулированной в конце 50-х годов прошлого столетия.
Опубликованная в 2003 г. в «Journal of Applied Psychology» обзорно-аналитическая статья четырех авторов (три из которых представляли Техасский университет A&M, а один – исследовательскую лабораторию ВВС США) стала в последующие годы одним из самых цитируемых текстов в области оценки тренингов [Arthur, Bennett, Edens, Bell, 2003]. Обзор охватывает 40-летний временной диапазон, с 1960 по 2000 г., а в перечень анализируемых исследований изначально было включено 636 источников, если под последними понимать тексты, и более 30 тыс., если источниками считать членов тренинговых групп. Структурирование информации осуществлено с опорой на четырехуровневую модель Киркпатрика, т. е. с выделением таких компонентов, как отклики, усвоение, поведение и результаты. Адекватность использования именно этой модели в данном случае не вызывает возражения, так как в сферу анализа вошли данные, полученные при проведении преимущественно корпоративного тренинга. В рамках корпоративного (закрытого) тренинга возможно проведение оценки на третьем и четвертом уровнях, что в открытых тренингах представляется если не невозможным в принципе, то в большинстве случаев неосуществимым практически.
В качестве интегрального показателя эффективности в работе была использована D-статистика (основанная на анализе групповых средних и стандартных отклонений), а основной показатель – индекс d (размер эффекта) – варьировал в данном исследовании в диапазоне от –1,50 до +5,00, где 0 означал отсутствие каких-либо изменений, минус перед индексом говорил об уменьшении значения показателя, а наличие плюса значило, что наблюдается сдвиг позитивного характера. Индекс d рассчитывался либо на основе информации о значениях средних арифметических и стандартных отклонений, взятых из оригинальных статей или отчетов, либо получался путем пересчета из опубликованных в статьях значений таких показателей, как коэффициенты корреляции, критерии Стьюдента и Фишера и хи-квадрат. При интерпретации результатов исследователи ориентировались на такие опорные значения d, как +0,20, +0,50 и +0,80, понимая их, соответственно, как небольшие сдвиги, средние сдвиги и большие сдвиги.
Анализ данных проводился отдельно по четырем уровням модели Киркпатрика, и, кроме того, учитывалось содержание (когнитивные, межличностные и психомоторные умения) и методический жанр (лекция, аудиовизуальная презентация, инструктирование, дискуссия, телеконференция) тренинга. Что касается самых общих результатов, то прирост по первому уровню (уровню откликов) знаменовался показателем d, равным +0,60, по второму (усвоение) – +0,63, третий (поведение) получил значение +0,62, такое же значение, т. е. +0,62, оказалось присвоенным четвертому (результат). Что касается дифференцированной картины данных, то они, представленные в табличной форме, занимают несколько страниц в тексте обзора, что затрудняет их интерпретацию. Отметим наиболее интересные и, может быть, несколько неожиданные моменты. В тренингах когнитивных умений для уровня усвоения (второго уровня) наиболее эффективным оказалась аудиовизуальная подача материала, сопровождаемая либо самостоятельной его проработкой, либо групповым обсуждением (11 исследований; d от +1,56 до +1,35). Наименее эффективной оказалась групповая дискуссия (восемь исследований; d = +0,20). Что касается четвертого уровня (результативность), то показатель эффективности смог быть рассчитан на основании только четырех исследований и только для сочетания «лекция + дискуссия», и он оказался равным +0,54.
В тренингах межличностных умений (лидерские и коммуникативные умения, разрешение конфликтов, выстраивание команды) для второго уровня (усвоение) лучшими выглядели сочетания аудиовизуальных презентаций или лекций с телеконференциями и групповыми дискуссиями (от d +1,44 до d +0,71). На третьем уровне, т. е. уровне поведения, наиболее эффективным оказалось программированное инструктирование (d = +0,94), а наименее действенным – формат «лекция + аудиовизуальная презентация» с последующей групповой дискуссией (d = +0,22). Но что самое интересное, именно сочетания лекции и дискуссии, а также лекции, аудиовизуальной презентации и дискуссии, оказались самыми эффективными, если перейти на четвертый (результативный) уровень модели (d = +0,79 и d = +0,78). Правда, здесь следует иметь в виду, что исследований таких сочетаний было проведено три и два с участием 168 и 51 человека, соответственно, что не позволяет делать далеко идущие выводы в виде выстраивания каких либо авантюрных теорий, так как такие данные требуют проверки и перепроверки.
