Дефекты в задании "Яблони" программы PISA. Автор: Тамара Михайловна Смирнова, старший научный сотрудник Института системного анализа РАН. Отрывок из статьи: " Россия в свете международного мониторинга образовательных достижений". Приложение 1: Международная программа PISA-2000. Группа заданий "Яблони".

Тамара Михайловна Смирнова

Дефекты в задании "Яблони" программы PISA

Отрывок из статьи "Россия в свете международного мониторинга образовательных достижений"

Т.М. Смирнова. Россия в свете международного мониторинга образовательных достижений. Россия: тенденции и перспективы развития. – М.: ИНИОН РАН, 2015. Страницы 592-600. Предпечатная электронная публикация: URL: http://www.rim.inion.ru/files/download/100033903/смирнова_25_00_ИТР_РСМ_РУ.doc.

Примером многочисленных дефектов как в формулировке задания, так и в критериях оценки, может служить группа заданий «Яблони» :

«Фермер на садовом участке высаживает яблони в форме квадрата, как показано на рисунке. Для защиты яблонь от ветра он сажает по краям участка хвойные деревья.

На рисунке изображены схемы посадки яблонь и хвойных деревьев для нескольких значений n, где n – количество рядов высаженных яблонь. Эту последовательность можно продолжить для любого числа n.

Вопрос 1. Заполните таблицу.

Вопрос 2. В рассмотренной выше последовательности количество посаженных яблонь и хвойных деревьев подсчитывается следующим образом:

количество яблонь = n²,
количество хвойных деревьев = 8n,
где n – число рядов высаженных яблонь.

Для какого значения n число яблонь будет равно числу посаженных вокруг них хвойных деревьев?

Запишите решение.

Вопрос 3. Предположим, что фермер решил постепенно увеличивать число рядов яблонь на своем участке. Что при этом будет увеличиваться быстрее: количество высаживаемых яблонь или количество хвойных деревьев?
Запишите объяснение своего ответа».

Очевидно, что эта группа заданий не имеет практического смысла, а представляет собой лишь неуклюжую попытку придать практическую интерпретацию чисто математической задаче. Из-за наличия подобных заданий претензия на возможность теста PISA оценить способности к практическому применению полученных в школе знаний и умений, по меньшей мере, не вполне обоснована.

В формулировке вопроса 2 содержится явная подсказка к ответу на вопрос 1 (за правильное заполнение всех пустых ячеек начисляется 548 баллов, то есть это задание имеет средний уровень трудности). Таким образом, и тот, кто пропустил вопрос 1 из-за неспособности на него ответить, и тот, кто при чтении задания сразу разглядел подсказку и воспользовался ею, получают преимущество перед учеником, потратившим время на самостоятельный поиск закономерности.

Полный балл за вопрос 2 (655 баллов) начисляется за явно неравноценные ответы:

– правильный ответ (n=8), для которого показано, что он был получен путем решения уравнения n²=8n с последующим исключением корня, не имеющего смысла в условиях данной задачи (n=0);

– решение, в котором приведены оба корня уравнения: n=8 и n=0;

– правильный ответ (n=8), для которого, вопреки условию, не приведен способ, которым он был получен, но путем подстановки показано, что он удовлетворяет уравнению n²=8n.

Одинаковая оценка для ответов, полученных как путем использования математических методов, так и путем подбора или просто угаданных, применяется и в других заданиях PISA. Едва ли можно считать такой подход к оценке математической подготовки корректным.

Максимальная оценка за вопрос 3 (723 балла) присваивается за ответ «Число яблонь», если он сопровождается объяснениями типа: «Число яблонь увеличивается быстрее, так как это число возводится в квадрат, а не умножается на 8» или «Число яблонь квадратично. Число хвойных деревьев – линейно. Таким образом, число яблонь возрастает быстрее». Эти объяснения нельзя считать верными, поскольку они демонстрируют непонимание того, что квадратичная функция растет быстрее линейной не при любых значениях аргумента (а в определенной области значений и убывает).

Ответы: «Число яблонь при n > 8» или «После 8 рядов число яблонь будет увеличиваться быстрее, чем число хвойных деревьев» оцениваются в 672 балла как частично правильные, поскольку они не содержат объяснения.

В том, что эти ответы сами по себе неверны, можно убедиться, заполняя (самостоятельно или с помощью подсказки из вопроса 2) таблицу к вопросу 1: в 5-м ряду число яблонь увеличивается на 9, а число хвойных деревьев – на 8. Правильный же ответ – число яблонь увеличивается быстрее числа хвойных деревьев при увеличении числа рядов, начиная с 4, вместе с правильным объяснением, основанным на формулах прироста числа яблонь и хвойных деревьев, в описании критериев оценки для этого задания не указан вовсе.

А.В. Краснянский выявил в опубликованных примерах заданий PISA десятки некорректных, содержащих логические и фактические ошибки. По его мнению, использование некорректных заданий исключает возможность получения объективной информации о знаниях и умениях учащихся. Следовательно, анализировать результаты тестирования учащихся с помощью этой программы не имеет смысла. Сильно смягчая эту формулировку, можно сказать, что любые выводы, полученные на основании анализа результатов тестов PISA, являются не более чем гипотезами, требующими подтверждения на основе более надежных данных.

————

Краснянский А.В. Системный анализ заданий международной программы по оценке образовательных достижений. URL: https://avkrasn.ru/category-2.html

Наличие заданий с неверным критерием оценки может привести как к искажению средних баллов PISA для участников, которым такие задания достались, так и к снижению точности даже усредненных результатов отдельных стран. Таким образом, исследования PIRLS, TIMSS и PISA далеко не равноценны с точки зрения их использования для анализа динамики образовательных достижений и межстрановых сравнений.

Данные PISA можно использовать, не опасаясь искажения выводов, только в случае предварительного исключения результатов, относящихся к некорректным заданиям. Однако в настоящее время система доступа к базе данных этого исследования не обеспечивает такой возможности.

Приложение 1

Международная программа PISA-2000

Группа заданий "Яблони"

Международная программа PISA-2000. Примеры заданий по чтению , математике и естествознанию Составители: кандидаты педагогических наук: Г.С. Ковалева, Э.А. Красновский, К.А. Краснянская, кандидат физико-математических наук Л.П. Краснокутская. РАО, Институт общего среднего образования, Центр оценки качества образования. URL: http://window.edu.ru/resource/356/60356/files/PISA_2000.pdf

Приложение 2

Сведения о публикации статьи Тамары Михайловны Смирновой "Россия в свете международного мониторинга образовательных достижений" в Научной электронной библиотеке

Скриншоты сделаны 23 ноября 2017 года. URL: https://elibrary.ru/item.asp?id=26618441

Приложение 3

Сведения о публикации статьи Тамары Михайловны Смирновой "Россия в свете международного мониторинга образовательных достижений" на сайте Института системного анализа РАН

URL: http://www.isa.ru/index.php?option=com_content&view=article&id=323%3A-10-2&Itemid=79&lang=ru

Скриншот № 1, сделан 23 ноября 2017 года.