Вступление

Данная заметка адресована людям, которые регулярно организуют тесты в процессе учебной диагностики.

Тесты в обучении могут иметь различные цели. Нередко в корпоративной среде тестирование проводится для диагностики и анализа. При этом результаты тестирования призваны помочь ответить на вопросы вроде:

1. Насколько хорошо сотрудники знают / делают определенные вещи?
2. Требуется ли назначить определенным сотрудникам соответствующее обучение (или, как вариант — каким сотрудникам следует назначить обучение)?
3. Требуется ли разработка / поиск на рынке новых учебных программ в этой области?
4. Может ли недостаток знаний, умений, навыков у сотрудников быть существенной причиной низкой эффективности в некоторой области деятельности компании?

И т.д.
Когда ко мне обращаются с подобными запросами, я обычно рекомендую вместо теста провести опрос (либо тест в сочетании с опросом).
 

Отличие теста от опроса

Под тестом и опросом я здесь подразумеваю следующее.

В тесте сотруднику задаются вопросы и дается несколько вариантов ответа. Подразумевается, что среди них есть правильные и неправильные. Сотрудник отмечает те, которые он считает правильными. После этого в автоматическом или ручном режиме происходит сверка ответов сотрудника с эталонами, задаваемыми разработчиками теста.

Также в тесте могут быть вопросы, подразумевающие ответ в свободной форме, ранжирование и т.д. Но все равно правильность ответа определяется по степени расхождения с заданным разработчиком эталоном.

Опрос же не предполагает наличия правильных и неправильных вариантов ответа. Вместо этого в опросе сотруднику предлагается самостоятельно оценить свою подготовку в той или иной области.

Пример теста и опроса

Предположим, что нам необходимо проанализировать уровень владения сотрудниками текстовым редактором Word.

Чтобы узнать, умеет ли сотрудник работать в режиме правки, мы можем сделать несколько тестовых вопросов, например:

1. В какой панели включается режим правки?
2. Что произойдет, если в режиме правки удалить текст, написанный другим сотрудником?
3. Как показать итоговую версию документа с учетом всех правок, без выделения в нем самих правок?

И т.д.

При желании мы можем даже сделать несложную симуляцию: предъявить сотруднику скриншот программы MS Word и попросить щелкнуть в то место на скриншоте, которое позволит добиться нужного результата, или сделать серию щелчков и т.д. Это тоже можно назвать своеобразным тестом.

Если же мы проводим опрос, направленный на самооценку, то вопросы будут несколько другими. В этом случае мы спросим, например:

1. Умеете ли Вы работать в режиме правки?
2. Как часто Вам случалось работать в режиме правки?
3. Какие сложности у Вас возникают при работе в режиме правки?

И т.д.

 

Преимущества опроса перед тестом

1. Возможность легко признать отсутствие знаний, навыков
При диагностическом тестировании может возникнуть такая ситуация: человек не знает ответа на какой-то вопрос или вообще плохо разбирается в теме, по которой проводится тестирование. Он мог бы признать это и отказаться отвечать на вопрос / тест. Он и без ответа на тест мог бы согласиться, что ему необходимо обучение / развитие. Либо выразить мнение, что ему и не нужно это знать, поэтому и обучение не нужно.

Если он формально произведет такой отказ и информация об этом сохранится в виде, подходящем для последующего анализа, это полностью удовлетворит наши диагностические цели, ради которых мы хотели провести тест.

Но формат теста, как правило, не дает возможности отказаться от ответа на вопрос. Тестируемый обычно вынужден выбрать один из предложенных в тесте вариантов, даже если он и понятия не имеет, какой из них правильный. Приходится гадать.

Также немаловажно, что человек часто нервничает и переживает, что сделает ошибку и получит низкий балл. Школа нас всех приучила бояться плохих оценок. В результате человек часто пытается обмануть, списать, подсмотреть ответ соседа и т.д., лишь бы не получить низкую оценку.

Таким образом, если человек не разбирается в некоторой области, но вынужден проходить тест, то он может списать, угадать, выучить только те вопросы, которые есть в тесте и т.д. Оценка за тест может быть существенным завышением его реальных знаний, умений, навыков. Если же он проходит опрос, не разбираясь в предметной области, то шансы на то, что он честно ответит, что не разбирается в ней, гораздо выше.

2. Атмосфера доверия
Люди часто не любят, когда их оценивают. А вот предоставление им возможности самооценки, интерес к их собственному мнению, создают доверие. А доверие всегда является прекрасной мотивацией к сотрудничеству. Если человек Вам доверяет, он гораздо лучше усвоит материал Ваших курсов, будет относиться к ним серьезно, внимательно, вдумчиво. Если не доверяет, то будет пропускать все мимо ушей, относиться к обучению как к неприятной формальности, с высокой вероятностью будет готов пойти на обман при контрольном тестировании.

Доверие не рождается само, его нужно целенаправленно строить. Уменьшение доли авторитарной оценки за счет увеличения доли самооценки — хороший шаг в сторону повышения уровня взаимного доверия.

3. Опрос разработать проще, чем тест
Хотя разработку опроса нельзя назвать элементарной задачей, она все-таки проще, чем разработка теста.

Во-первых, в плане адекватности. При составлении теста довольно тяжело добиться того, чтобы его результаты действительно отражали реальные знания тестируемого. Человек может неплохо разбираться в MS Office, но на конкретные вопросы не суметь ответить, так как он не пользуется некоторыми функциями, пользуется ими неосознанно или не считает важным то, на что в тесте делается акцент. Возможно и обратное: человек хорошо отвечает на тест, имея при этом существенные пробелы в знаниях предметной области. Этому было множество примеров, связанных с ЕГЭ.

Адекватности теста добиться можно, но задача это довольно трудоемкая. Необходимо грамотно формализовать предметную область, после чего на основе полученной модели правильно составить тест.

Опрос требует менее высокого уровня формализации предметной области, поэтому его проще сделать адекватным.

Во-вторых, в плане трудоемкости разработки. Из более низкого уровня формализации следуют меньшие временные затраты на разработку.

В-третьих, в плане требуемой квалификации разработчиков. Неопытный разработчик может допустить критичные ошибки, которые помешают успешному достижению целей анализа, как при составлении теста, так и при составлении опроса.

Тем не менее, научиться составлять опросы проще, чем тесты:

• Существуют стандартные вопросы, которые почти всегда стоит включать.
• Возникает меньше сложностей с придумыванием альтернативных вариантов ответа.
• Неудачные вопросы могут быть скомпенсированы более общими вопросами со свободным вводом ответа.

4. Получение дополнительной информации
Проводя опрос, мы можем узнать дополнительную информацию о нашей целевой аудитории. Часто бывает удобным вместе с вопросами об уровне знаний и развитости навыков и умений включить в опрос и вопросы такого рода:

• Какой у Вас опыт работы с анализируемой предметной областью?
• Какие трудности возникают при работе?
• Какие возникают организационные сложности?
• Есть ли у Вас идеи по улучшению работы?
• Есть ли методы работы, которые Вы используете в своей практике и которые помогают Вам улучшить результаты?

И т.д., вплоть до некоторых элементов коучинга.

В ситуациях, когда необходима диагностика знаний, умений и навыков, дополнительная информация такого рода обычно также является весьма полезной.

5. Осознание потребностей целевой аудитории
В конце опроса можно вставить вопросы вроде:

• Что, на Ваш взгляд, можно сделать для улучшения результатов работы?
• Требуется ли Вам обучение в этой предметной области? Если да, то что бы Вы хотели увидеть в этом обучении? Какая из предложенных учебных программ Вам могла бы подойти?

Сформулированная осознанная потребность в обучении значительно повышает его эффективность. Если человек заранее решит, что обучение ему необходимо, то он получит больше пользы во время прохождения учебной программы.

Сочетание опросов и тестов

В некоторых ситуациях опросы могут быть полноценной заменой тестам. В других имеет смысл использовать сочетание опросов и тестов.

Если человек указал в опросе, что он хорошо разбирается в определенных темах, то можно затем дать ему тест по этим темам. Если же по некоторым темам он не слишком высоко оценил свои знания, то сразу же проводить тестирование по таким темам нет смысла. Нужно предварительно провести обучение.

Сочетание опросов и тестов можно использовать не только в ситуациях диагностики, но и в учебных курсах — ставить перед контрольным тестированием блок самооценки.

 

Резюме

С моей точки зрения, в большинстве практических ситуаций, требующих диагностики знаний, опросы дают лучший результат, чем тесты, при меньших затратах. Также они могут быть успешно применены и в ряде других ситуаций.

Если Вы не пробовали проводить опросы при диагностике знаний, рекомендую попробовать. Если есть сомнения в том, что это хорошо сработает, то начните с сочетания опроса с тестом, как было описано выше. В этом варианте Вы в любом случае ничего не теряете.