Конструирование квалификационных тестов

Каждый кандидат, претендующий на вакансию в компании, имеет некоторый объективный уровень знаний, который требуется определить. Суть метода тестирования состоит в оценке уровня компетентности испытуемого (впрочем, всегда присутствует стандартная погрешность измерения). Позднее, во время испытательного срока, можно определить степень соответствия профессиональных качеств специалиста требованиям идеальной модели и сделать вывод о достоверности оценки в процессе подбора.

Если компания обладает эффективной тестовой методикой, то провести первичную оценку уровня профессионализма сможет и сотрудник, не владеющий специальными знаниями (что позволяет облегчить работу HR-менеджера, который при массовом рекрутинге должен закрывать множество специфичных вакансий). Рассмотрим стадии разработки квалификационных тестов.

Требования к свойствам методики

Любые тестовые методики, чтобы считаться эффективными, должны обладать следующими качествами:

1. Надежность – это устойчивость результатов теста к действию случайных посторонних факторов при проведении повторного тестирования.
2. Дискриминативность – способность теста дифференцировать испытуемых относительно максимального и минимального результатов теста, ранее полученных на выборке, а также дифференцировать отдельных испытуемых по уровню выполнения задания.
3. Валидность – комплексная характеристика, определяющая меру соответствия того, насколько методика соответствует поставленным задачам.
4. Стандартизированность – возможность получения нормативных показателей оценки.

При формулировании заданий следует придерживаться ряда рекомендаций.

• Лучше использовать в одном тесте разнообразные задания, поскольку это снижает утомление респондента и уменьшает влияние навыка отвечать на задания определенного типа.
• Нужно конструировать вдвое больше заданий, чем необходимо для окончательного варианта теста, так как впоследствии часть из них будет отсеяна.
• Задания в тесте желательно располагать от простого к сложному, поскольку сложные вопросы в начале теста не дают возможности среднему испытуемому набрать нужное количество баллов, а это снижает достоверность результатов.
• Тест должен быть сконструирован таким образом, чтобы время выполнения заданий не превышало 1–1,5 часа (это норма непрерывного тестирования уровня знаний взрослого человека).
• Задания должны быть валидными. При конструировании тестов для проверки профессиональных знаний важны очевидная и содержательная валидность.

При очевидной валидности теста у испытуемых не возникает сомнений в том, что все задания направлены на оценку указанного свойства или компетенции.

При содержательной валидности требуется глубокое обоснование того, что задания теста отражают все аспекты исследуемой области поведения или знаний. Оценку содержательной валидности проводят внешние и внутренние эксперты.

Формирование выборки испытуемых и пилотное тестирование

При формировании выборки следует учитывать две важные переменные: объем и репрезентативность. Репрезентативность – свойство выборочной совокупности представлять характеристики генеральной совокупности. Выборка должна точно отражать категорию лиц, для которых предназначен тест.

С объемом выборки часто возникают проблемы. Чтобы квалификационный тест был эффективным, в выборке должно участвовать, по разным оценкам, от 200 до 500 испытуемых. На практике это правило трудно реализовать, поскольку HR-менеджер обычно ограничен в ресурсах. Но даже маленькая репрезентативная выборка лучше, чем полное отсутствие проверки теста.

Анализ, оценка и выбор заданий

Цель данного этапа – отбор эффективных заданий для измерения необходимого параметра. Рекомендуется использовать два показателя:

1) доля испытуемых, давших правильные (ключевые) ответы, – P;
2) величина корреляции заданий с общим показателем по тесту – r.

Окончательный выбор заданий для тестовой методики осуществляется в соответствии со следующими рекомендациями:

1. Чем выше корреляция r, тем лучше задание. В идеале все задания должны иметь корреляцию с общим показателем не ниже 0,2.
2. Удовлетворительными считаются задания со значением Р от 0,2 до 0,8. Однако в некоторых случаях в тесте можно оставить задания с показателем Р ниже 0,2, чтобы отследить наиболее успешно тестируемых по данному качеству.

Если количество отобранных заданий соответствует запланированному, осуществляется переход к следующему этапу. В противном случае необходимо сформулировать новые задания и повторить процедуру анализа, оценки и выбора.

Определение коэффициента надежности

Существует несколько способов расчета коэффициента надежности. Если его значение невысокое, то можно порекомендовать добавить к тесту задания из тех, что отсеялись на предыдущем этапе, но имеют наи­лучшие показатели по статистическим критериям. Затем коэффициент надежности пересчитывается.

Если тест удовлетворяет критериям, обозначенным выше, можно сказать, что был сконструирован однородный, надежный тест. Однако этих характеристик недостаточно для того, чтобы тест был признан эффективным. Представьте надежный тест, по которому все испытуемые показали одинаковые результаты. Будет ли такая методика полезна для компании? Поэтому следующим шагом определяется дискриминативность теста.

Дискриминативность теста

Рассмотрим эту процедуру по шагам. Первый шаг – определение частоты встречаемости показателей для данного теста (f_i).

Например, в тесте пять заданий, а выборка включает 20 испытуемых. Предположим, что 5 баллов (правильные ответы на все задания теста) набрали три человека, 4 балла – девять человек, 3 балла – шесть человек, 2 балла – один человек, 1 балл – один человек, 0 баллов – ноль человек. Таким образом, f₁=3, f₂=9, f₃=6, f₄=1, f₅=1, f₆=0.

Второй шаг – определение дискриминативности (Фергюсона) теста. Рассчитаем ее по формуле:

n – число заданий;
f_i – частота встречаемости каждого показателя.

Если значение превышает 0,9, то с уверенностью можно сказать, что тест является дискриминативным. Если показатель низкий, то это означает, что в тесте слишком много простых и слишком мало трудных заданий. Тогда для данных уровней трудности могут потребоваться новые задания.

Стандартизация оценок

Под стандартизацией понимается процедура получения норм оценок показателей. Рассмотрим наиболее распространенный способ стандартизации.

Показатель Z – это отклонение первичного, необработанного показателя M_i от среднего значения по выборке M_T, деленное на стандартное отклонение распределения :

Z-показатели принимают значения от -3 до +3 и имеют среднее значение 0.

Средняя норма – -1…1. В этот диапазон попадают около 70% испытуемых.

Высокая норма – выше 1 (приблизительно 15% испытуемых).

Низкая норма – ниже 1 (примерно 15% испытуемых).

Представленная технология на первый взгляд кажется сложной. Однако конструирование методики в соответствии с предложенными рекомендациями позволяет разработать уникальный корпоративный тест профессиональных знаний, удовлетворяющий требованиям валидности, надежности, дискриминативности, стандартизированности.

Для удобства расчетов можно воспользоваться компьютерными программами (например, Excel). В некоторых компаниях даже разрабатываются компьютерные версии тестов. Это облегчает не только обработку результатов, но и проведение тестирования. Однако следует учесть, что перевод теста из «бумажной» версии в компьютерную требует повторного исследования всех его важных характеристик.

Данная технология позволяет разработать не только квалификационные тесты по специальностям, но и тесты оценки уровня владения специализированной деловой лексикой (в т. ч. на иностранном языке), знания продуктов фирмы, особенностей бизнеса компании, усвоения корпоративных правил и стандартов, правовых норм, регламентирующих работу персонала, и пр.

Авторы:

Никифорова Л.Х.,
канд. экон. наук, директор по развитию КБ «Протеко», бизнес-консультант и бизнес-тренер, г. Москва

Казанцева В.В.,
директор по персоналу ЗАО «Актион-Медиа», г. Москва

Источник: http://kadrovik.ru/modules.php?op=modload&name=News&file=article&sid=10724