Оценка эффективности онлайн-обучения персонала
Некоторые компании при организации дистанционного учебного процесса уделяют недостаточное внимание вопросу проверки его результатов. Это связано с распространенным заблуждением, что оценки всегда будут оставаться субъективными. Поэтому большинство предприятий проверяет эффективность дистанционного обучения сотрудников путем организации опросов. Проблема в том, что для адекватной оценки результатов необходимо иметь четкое представление о целях и задач онлайн-курса. Часто оно отсутствует не только у обучающихся, но и у руководителей. Решить проблему помогут специальные методики. Ниже мы расскажем вам о критериях и современных моделях оценки продуктивности онлайн-курсов.
Что такое эффективность обучения и зачем ее измерять
Эффективность онлайн обучения персонала – это показатель, который демонстрирует достигло предприятие поставленной цели и ли нет. К примеру, если учебный курс был направлен на улучшение качества работы с клиентами, то критерием успеха станет рост продаж товаров и услуг. Измерение показателей дает возможность проанализировать методы обучения и в случае их низкой продуктивности пересмотреть программу учебного курса.
На начальных этапах подготовки, организаторам часто приходится принимать решения на основе интуитивного понимания задач обучения. В таком случае ошибки становятся неизбежными. Без проведения дополнительных измерений показателей невозможно установить меру эффективности учебного процесса. Бюджет будет расходоваться впустую, а желаемый результат оставаться недостижимым. Проверка результатов обучения также важна, как и сам учебный процесс.
Как оценить эффективность обучения
При оценке методов обучения используют метрики (показатели). К примеру, если после дорогостоящего курса продуктивность труда остается на прежнем уровне, то коэффициент его полезности близится к нулю. Оценивать можно не только рост продаж или качество услуг, но и отношения в коллективе, уровень усвоения материала и другие показатели. Отдельные цифры не могут дать комплексного представления о результатах обучения, поэтому практически всегда конкретные цифры оценивают по методике различных моделей (Блума, Филипса, Тайлера, Киркпатрика и др.). Наибольшую популярность сегодня обрела модель оценки эффективности обучения Киркпатрика, поэтому ниже мы подробно рассмотрим ее методику.
Общие методы и принципы оценки
При оценке результатов обучения используют комплексные методы. Они включают традиционные и инновационные инструменты. Среди них чаще всего используют:
- тестирование;
- анкетирование;
- статистический анализ;
- наблюдение;
- интервью;
- самоотчет.
При оценке результатов учитываются количественные и качественные показатели. К примеру, по результатам интервью или опросов часто получают общие оценки, которые не имеют численного выражения. При анализе показателей бизнес-деятельности предприятия исследователь работает с цифрами и оперирует формулами.
Важно помнить, что из-за особенностей психологического восприятия учебного курса со временем оценки продуктивности образовательных мероприятий могут измениться. Чтобы избежать однобокости рекомендуется проводить некоторые виды тестирования и опросов в несколько этапов. После завершения курса исследования повторяются через 6, 9 и 12 месяцев.
Модель Киркпатрика
В середине 1950-х годов в США профессор Д. Киркпатрик разработал модель для объективной оценки результатов обучения работников. В то время интернет еще не изобрели и учебный процесс проходил только в очном формате, но ее с равным успехом можно использовать для анализа результатов прохождения курса online. Модель Киркпатрика включает в себя 4 уровня, поэтому для понимания ее сути необходимо рассмотреть каждый из них по отдельности.
1 уровень: Реакция
На первом уровне основная задача исследователя – получение обратной связи. Для этого проводят опросы учащихся при помощи интервью, анкет и опросников. Вопросы касаются общих впечатлений от курса и полезных навыков, выработанных после получения образования. Для сбора информации можно использовать различные каналы интернет-связи: мессенджеры, онлайн-анкеты и опросники систем дистанционного обучения.
Примеры вопросов для сбора информации на 1 уровне:
-
что понравилось во время прохождения курса больше всего?
-
какой процент информации был до прохождения курса неизвестен?
-
считаете ли вы материал актуальным и полезным для работы?
-
что можно улучшить, чтобы сделать материал понятным?
-
помог ли вам материал онлайн-курсов повысить уровень квалификации?
-
как часто вы ощущали скуку на занятиях?
Для получения объективных оценок необходимо ставить 2 типа вопросов: открытые и закрытые со шкалой. Желательно не делать анкету чрезмерно длинной. Оптимальное количество вопросов – от 8 до 15 позиций. Проведение анонимных опросов дает возможность сотрудникам компании не переживать по поводу реакции руководства и давать честные ответы.
Иногда для оценки пилотных проектов также создают фокус-группы. После завершения курса участников собирают для обмена мнения. Первый раз через неделю, а второй – через 90 дней. Системы дистанционного обучения содержат решения для автоматического анализа ответов и формирования отчетов. С помощью информационных технологий работать с большими объемами материалов намного проще.
2 уровень: Обучение
Задача исследователя на втором уровне – установить, насколько хорошо был усвоен материал онлайн-курса. Для сбора и оценки информации используют:
1. Тесты на усвоение материала. Для этих целей применяют традиционные, интерактивные и адаптивные тесты.
2. Листы проверки новых навыков. Бланк заполняется экзаменатором по результатам собеседования с учащимся. Для оценки используют трехбалльную шкалу от 1 до 3:
1 балл - испытуемый не способен применять навыки.
2 балла - навыки применяются адекватно ситуации.
3 балла - навыки применяются на уровне эксперта.
3. Личные планы действий учащихся. В рамках изучения результатов прохождения курса сотруднику предприятия предлагают дать ответ на вопросы:
-
что планируете делать после получения новых знаний?
-
как собираетесь улучшить показатели работы при помощи новых навыков?
-
что может стать помехой на пути осуществления планов?
-
как планируете развивать полученные навыки?
Готовность участника опроса планировать деятельность после прохождения курса свидетельствует об успехе обучения.
4. Готовность к обучению других. Оценить уровень усвоения материала помогут учебные задания по подготовке обучающих материалов для других сотрудников предприятия. Для этих целей испытуемых можно попросить:
-
подготовить презентацию;
-
провести обучение в паре со стажером;
-
подготовить выступление или разбор тематической статьи на семинаре или лекции.
По мнению Д. Киркпатрика, после продуктивного обучения учащийся способен включиться в процесс подготовки занятий для других сотрудников. О продуктивности подготовки можно судить по готовности принимать участие в образовательном проекте и уровне владения материалом.
3 уровень: Поведение
Если изменения были выявлены только на 2 первых уровнях, нет гарантий, что со временем все не вернется к прежнему состоянию. Перемены в поведении являются надежным критерием оценки продуктивности обучения. Сравнение «до» и «после» помогает понять, как повлиял на сотрудника учебный курс.
Поскольку по отношению к себе люди не всегда объективны, нельзя полагаться только на свидетельства сотрудников о самих себе. Для оценки изменений в поведении используют следующие инструменты:
-
контрольные листы поведения;
-
общее наблюдение;
-
интервью с коллегами работника;
-
наблюдение за поведением на рабочем месте.
Во время проведения опроса не сообщайте, что вы хотите изучить поведение сотрудника. Лучше ставить косвенные вопросы о знаниях, навыках и успехах в работе. Не нужно рассматривать отсутствие изменений в лучшую сторону как свидетельство непродуктивности курса обучения. Иногда перемены не проявляются в поведении видимым образом из-за отсутствия подходящих условий.
4 уровень: Результаты
На этом уровне важно проанализировать реальные последствия проведения занятий для организации. Для этого необходимо собрать показатели «до» и сравнить их с показателями «после». Предварительно нужно также подобрать критерии оценки. Важно сформулировать реалистичные бизнес-ожидания и установить корректные временные рамки замеров результатов.
При оценке последствий следует помнить, что некоторые процессы дают результат в средне- и дальнесрочной перспективе. Поэтому сразу же после завершения проекта видимых изменений можно не заметить. Ключевой вопрос – оказало ли позитивное влияние обучение сотрудников на организацию?
Позже модель Киркпатрик была усовершенствована. Сначала автор сконцентрировал внимание на 4 уровне, а позже Дж. Филипс добавил новый 5 уровень – Рентабельность инвестиций.
ROI Дж. Филипса
Автор дополнения к модели Киркпатрика предлагает провести дополнительное исследование для оценки исключительно экономической целесообразности образовательных проектов. Для расчетов используют показатель ROI (возврат инвестиций). Для этого результаты оценки 4 уровня модели Киркпатрика переводят в измеряемые величины (числа и суммы). После этого исследователь сравнивает показатели экономической деятельности предприятия и придает им численное выражение. Расчеты ведут по формуле:
ROI = (рост прибыли предприятия – стоимость затрат на реализацию программы): цена программы х 100
После оценки можно точно определить, получило ли предприятия финансовую выгоду от обучения сотрудников.
Подведем итоги
Используя современные методы оценки эффективности обучения, компания заметно снизит затраты на организацию учебного процесса за счет отказа от непродуктивных инструментов.
Сотрудники смогут улучшить показатели усвоения материала и сосредоточить внимание на главных задачах. Оценка эффективности обучения персонала требует дополнительных затрат, но они окупятся в средне- и дальнесрочной перспективе.
