Эффективным можно назвать тест, который лучше, чем другие тесты, измеряет знания студентов интересующего уровня подготовленности, с меньшим числом заданий, качественнее, быстрее, дешевле, и все это — по возможности, одновременно.
Проблема эффективности педагогических тестов и тестовых заданий является частью общей проблемы эффективности форм и методов педагогической деятельности. Естественно поставить вопрос — почему тестирование относятся к эффективной форме организации контроля знаний студентов высшей школы, а сам тест считается также эффективным и объективным методом диагностики уровня и структуры знаний? Краткий ответ на этот вопрос заключается в том, что настоящий тест разрабатывается на научной основе, он технологичен, не только легко поддается автоматизации, но и является, в сущности, основным средством автоматизации контроля; он экономичен, потому что не требует тех больших затрат живого труда преподавателей. Тест объективен в той мере, в какой удается ограничить процесс тестирования от субъективизма, а порой и от произвола некоторых преподавателей за счет предоставления одинакового времени, одинаковых условий и правил оценки для всех испытуемых, без исключения. И наконец, тест рефлексивен в смысле возможностей оценки качества тестовых результатов: без оценки погрешности измерения и адекватности тестовых данных поставленной задачи результаты не признаются как тестовые, т.е. заслуживающими доверия.
Эффективность определяется как понятие, производное от результата (эффекта). Поскольку эффект относится к числу измеряемых понятий, имеющим четко выделенный состав эмпирических референтов, то и эффективность, получаемая обычно от деления эффекта на затраты, время, ресурсы и т.п., тоже относится к числу измеряемых понятий.
Эффективным можно назвать тест, который лучше, чем другие тесты, измеряет знания студентов интересующего уровня подготовленности, с меньшим числом заданий, качественнее, быстрее, дешевле, и все это — по возможности, одновременно. С понятием «эффективность» сопряжено и близкое к нему по содержанию понятие «оптимальность». Последнее трактуется как наилучшее из возможных вариантов, с точки зрения удовлетворения нескольким критериям, взятым поочередно или вместе.
В определении эффективности теста обращается внимание на два ключевых элемента — это число заданий теста и уровень подготовленности студентов. Если из какого-либо теста с большим числом заданий сделать оптимальный выбор меньшего числа, то может образоваться система, не уступающая заметно по своим свойствам тесту со сравнительно большим числом заданий. Тест с меньшим числом заданий в таком случае можно называть сравнительно более эффективным.
Помимо этого, эффективность теста можно оценить с точки зрения соответствия уровня его трудности уровню подготовлен¬ности тестируемых в данный момент студентов. Эту оценку в литературе нередко относят к валидности, имея в виду идею валидности теста, так сказать, по уровню. Поскольку такого рода частных идей, размывающих концепцию валидности, оказа¬лось немало, ощущается необходимость обогатить их методами обоснования и объединить концепцией эффективности.
Одно из основных требований объективности тестирования — давать всем студентам одинаковый набор заданий и одинако¬вое время на выполнение. Но вместе с тем легко понять прак¬тическую бесполезность того, чтобы давать слабым студентам трудные задания; большинство студентов, вероятнее всего, не сумеют правильно на них ответить. Так же обстоит дело и с легким тестом: его бесполезно (неэффективно) давать знающим студентам, потому что и здесь высока вероятность, но теперь уже правильных ответов, и потому практически все испытуемые получат по тесту одинаково высокий балл. И в том, и в другом случае студенты не будут различаться между собой. Измерение, таким образом, не состоится по причине несоответствия уровня трудности теста уровню подготовленности студента.
Из этих соображений легко предположить, что самый эффективный тест — это тест, точно соответствующий по трудно¬сти заданий уровню подготовленности испытуемых. Так же легко предположить, что ни один заранее сделанный тест никогда не бывает в точности соответствующим уровню подготовленности конкретных испытуемых. Они все разные, и потому для эффек¬тивного измерения требуются тесты разного уровня трудности.
Соответствие уровня трудности теста уровню подготовленности студентов можно попытаться оценить показателем количества информации, получаемой в процессе измерения. Поскольку в реальной практике студенты заметно различаются по своим знаниям, то вопрос об эффективности тестирования каждого студента определенным набором заданий, в зависимости от уровня его подготовленности, становится одним из главных вопросов в современной теории и практике тестирования. Вот почему в современных тестовых системах моделируется адаптив¬ный тест, задания которого подбираются в зависимости от те¬кущих ответов испытуемого.
Эффективность теста можно попытаться оценить с точки зрения его дифференцирующей способности; последняя тем выше, чем лучше видны различия между тестовыми баллами студентов. В качестве одного из возможных показателей дифференцирующей способности теста можно использовать дисперсию.
Если, например, имеются два теста по одной и той же учебной дисциплине и один из них имеет большую дисперсию, чем второй (в той же самой группе), то при прочих равных условиях тест с большей дисперсией можно считать эффективней теста с меньшей дисперсией. Отношение большей дисперсии к меньшей при одинаковом, например, числе заданий, с последующим умножением на сто, может служить в качестве одного из показателей сравнительной эффективности теста с позиции его дифференцирующей способности.
И, наконец, эффективность теста можно попытаться оценить с точки зрения дифференцированной точности измерения знаний студентов различного уровня подготовленности. Это, по сути, идея уровневой дифференцированной надежности теста, которая может быть методически реализована только в новой теории тестов. В классической теории тестов мы имели дело с усредненным показателем точности измерения. Между тем, даже из самых общих соображений можно сказать, что ошибка измере¬ния должна зависеть от соответствия уровня трудности теста уровню знаний студента. Чем меньше такое соответствие, тем большей должна быть ошибка измерения. Иначе говоря, для ка¬чественного измерения знания студента нужен тест соответст¬вующего ему уровня трудности.