Anti-PISA. Анатолий Краснянский. Безграмотные задания программы PISA-2003. Дефекты в группе заданий по математике "Походка". Приложение 1: Максимальные скорости самолетов и ракет. Приложение 2: Общие рекомендации по решению задач по физике. Приложения 3 и 4 - скриншоты группы заданий "Походка" на русском и английском языках.

Anti-PISA

Анатолий Краснянский

Безграмотные задания программы PISA-2003

Дефекты в группе заданий по математике "Походка".

Статья не закончена!

Системный анализ группы заданий по математике "Походка" программы PISA-2003

1. Введение

Международное тестирование учащихся (PISA, Programme for International Student Assessment) осуществляется Организацией Экономического Сотрудничества и Развития ОЭСР (OECD – Organization for International Cooperation and Development). Испытания проводятся раз в три года.

Программа ПИЗА-2003 осуществлялась консорциумом, состоящим из ведущих международных научных организаций при участии национальных центров и организации ОЭСР. Руководил работой консорциума Австралийский Совет педагогических исследований (The Australian Council for Educational Research – ACER). В Консорциум входили также следующие организации: Нидерландский Национальный институт измерений в области образования (Netherlands National Institute for Educational Measurement – CITO); Служба педагогического тестирования США (Educational Testing Service, ETS); Японский Национальный институт исследований в области образования (National Institute for Educational Research, NIER); Американская организация ВЕСТАТ (WESTAT), выполняющая различные исследования по сбору статистической информации [1].

В 2003 году приняло участие более 250 тысяч 15-летних подростков из 41 страны; в России почти 6 тысяч человек (212 школ) из 46 районов. Каждый ученик должен был за 2 часа письменно ответить на 50-60 вопросов по математике, чтению, естествознанию и решению проблем. Российские школьники заняли 29-31 место по математике, 24 по естественным наукам и по грамотности чтения 32 место [1].

Ректор МГУ имени М.В. Ломоносова академик РАН Виктор Антонович Садовничий и академик РАН Виктор Анатольевич Васильев рассмотрели несколько заданий по математике и естествознанию программы PISA-2003 и подвергли их жесткой критике (см. сайт). Ответом было полное молчание российских педагогов. Более того, часть нашей педагогической элиты (точнее – «элиты»), вместо того, чтобы провести анализ заданий (как поступили бы настоящие ученые), оживленно обсуждает результаты тестирования российских учащиеся и на основе этих результатов предлагает реформировать российское образование.

2.1. Задание 1

На рисунке изображены следы идущего человека. Длина шага P — расстояние от конца пятки следа одной ноги до конца пятки следа другой ноги.

Для походки мужчин зависимость между n и P приближенно выражается формулой n/P = 140, где n — число шагов в минуту, P — длина шага в метрах.

Вопрос 1

Используя данную формулу, определите, чему равна длина шага Сергея, если он делает 70 шагов в минуту. Запишите решение.

Оценка выполнения:

Ответ принимается полностью (трудность — 611) — 2 балла.

Процент учащихся, набравших данный балл: 54,1 (Россия) 36,4 (средний по ОЭСР) 62,2 (максимальный, Гонконг)

Код 2: 0,5 м или 50 см, 1/2 (единицы измерения указывать не требуется)

Ответ № 1: 70/P = 140; 70 = 140 P; P = 0,5.
Ответ № 2 70/140.

Ответ принимается частично — 1 балл.
Процент учащихся, набравших данный балл: 11,7 (Россия) 21,8 (средний по ОЭСР) 48,3 (США)

Код 1: Правильно подставлены в формулу значения переменных, но дан неверный ответ или ответ не указан совсем.

Ответ № 3: 70/P = 140 [в формулу подставлены только значения переменных].
Ответ № 4: 70/P = 140 70 = 140 P P = 2. [правильно подставлены в формулу значения переменных, но последующие вычисления неверные].
ИЛИ
Правильно преобразована исходная формула в формулу P = n/140, но последующие действия неверные.
Ответ не принимается:
Код 0: Другие ответы.
Ответ № 5: 70 см.
Код 9: Ответ отсутствует.
Задание проверяет: 1-ый уровень компетентности – воспроизведение простых математических действий, приемов, процедур
Область содержания: изменение и отношения
Ситуация: личная жизнь

2.2. Анализ задания № 1

2.2.1. Анализ формулы: n/P = 140 (*). Эта формула записана неправильно: размерность выражения в левой части уравнения не совпадает с размерностью выражения в правой части уравнения. Доказательство. Что такое шаг? Шаг – движение ногой при ходьбе [2]. Движения ног при ходьбе – периодический процесс. Шаг – это один цикл периодического процесса. Частота – один из параметров периодического процесса [3]. Частота n в данном случае измеряется числом шагов в минуту: n = 70 шагов/мин и длина шага P – в метрах. Размерность n/P – выражения, находящегося в левой части формулы (*) – равна T^-1L^-1. Правая часть уравнения – число 140 – безразмерная величина.

2.2.2. Правильно записанная формула: n/P = k, где n = 70 мин^-1, k = 140 мин^-1м^-1, P – длина шага (м).

2.2.3. Анализ кода 2. Код 2: «0,5 м или 50 см, 1/2 (единицы измерения указывать не требуется». Длина (шага – в данном случае) – физическая величина. Длина характеризует протяженность, удаленность и перемещение тел или их частей вдоль заданной линии, размерность L, единица измерения – метр (м) [3]. В науке принято при указании значения физической величины всегда указывать единицу измерения; в противном случае неизбежны ошибки и недоразумения. Требовать указания единицы измерения – разумное требование. Не требовать указания единицы измерения – неразумно, неправильно. Поэтому один из ответов по коду 2, а именно: «Длина шага равна 1/2 не является правильным ответом, поскольку указано число, а не значение физической величины. Правильный ответ: «Длина шага равна ½ м».

2.2.4. Решение первой задачи (ответ на вопрос 1), записанное в виде последовательности операций:

n/P = k —> P = n/k —> P = 70 мин^-1/ 140 мин^-1м^-1 —> P = 0,5 м

2.2.5. Анализ «правильных» ответов по коду 2. Авторы вопроса 1 указывают в качестве правильных следующие ответы: «Ответ № 1: 70/P = 140; 70 = 140 P; P = 0,5. Ответ № 2: 70/140». Исходная ошибка авторов заданий состоит в том, что они разрешают не указывать единицы измерения физических величин. В этих ответах указаны числа, а не значения физической величины (длины). Смысл выражения: «Длина шага равна 0,5 (или 70/140)» неясен, так как не указана единица измерения длины шага. В качестве правильных ответов нельзя принимать неясные суждения. Тем более, за эти ответы нельзя давать максимальный балл. Правильные ответы: P = 0,5 м; P = 50 см.

2.2.6. О ситуации, к которой якобы имеет отношение задание 1. Авторы утверждают, что задание 1 относится к личной (частной) жизни: «Ситуация: личная жизнь». Задание 1 – это задача по кинематике (движение с постоянной скоростью). В задании используются антропометрические данные – длина шага человека, число шагов в минуту и связь между ними. Однако эти величины не относится к личной (частной) жизни, к тем персональным сведениям о человеке, тайну которых охраняет закон о неприкосновенности частной жизни.

2.3. Задание 2

Вопрос 2

Павел знает, что длина его шага равна 0,80 м. Используя данную выше формулу, вычислите скорость Павла при ходьбе в метрах в минуту (м/мин), а затем в километрах в час (км/ч). Запишите решение.

Оценка выполнения:
Ответ принимается полностью (трудность – 723) – 3 балла.
Процент учащихся, набравших данный балл: 7,8 (Россия); 7,9 (средний по ОЭСР) 18,7 (максимальный, Гонконг).
Код 31: Даны оба верных ответа (единицы измерения указывать не требуется) в м/мин и в км/ч:
n = 140 x 0,80 = 112.
За минуту он проходит 112 x 0,80 = 89,6 м.
Его скорость – 89,6 м/мин.
Таким образом, его скорость – 5,38 или 5,4 км/ч.
Если указаны оба верных ответа (89,6 и 5,4), ответ кодируется кодом 31 независимо от того, записано ли решение или не записано. Имейте в виду, что ответ принимается, если допущены ошибки в округлении, например, дан ответ 90 м/мин и 5,3 км/ч (89 х 60).
Ответ № 1: 89,6; 5,4
Ответ № 2: 90; 5,376 км/ч
Ответ № 3: 89,8; 5376 м/ч [имейте в виду, что если второй ответ дан без указания единиц
измерения, то ответ ученика кодируется кодом 22].

Ответ принимается частично (трудность – 666) – 2 балла.
Процент учащихся, набравших данный балл: 9,4 (Россия); 8,9 (средний по ОЭСР); 29,5 (максимальный, Гонконг).
Код 21: Выполнено первое действие, отвечающее коду 31, но затем не выполнено умножение на 0,80, т.е. ученик не выразил число шагов в минуту в метрах.
Например, указал скорость 112 м/мин и 6,72 км/ч.
Ответ № 4: 112; 6,72 км/ч.
Код 22: Верно указана скорость в метрах в минуту (89,6 м/мин), но указана неверно
или совсем не указана скорость в км/ч.
Ответ № 5: 89,6 м/мин, 8960 км/ч.
Ответ № 6: 89,6; 5376
Ответ № 7:   89,6; 53,76
Ответ № 8:   89,6; 0,087 км/ч
Ответ № 9:   89,6; 1,49 км/ч
Код 23: Явно продемонстрирован верный способ решения, но допущены незначительные вычислительные ошибки, не учитываемые кодами 21 и 22. Ни один из ответов не является верным.
Ответ № 10:   n=140 x 0,8 = 1120; 1120 x 0,8 = 896. Его скорость: 896 м/мин, 53,76 км/ч.
Ответ № 11:   n=140 x 0,8 = 116; 116 x 0,8 =92,8. 92,8 м/мин → 5,57 км/ч.
Код 24: Указана скорость только 5,4 км/ч. Не приведены далее промежуточные вычисления и не указана скорость 89,6 м/мин.
Ответ № 12:   5,4
Ответ № 13:   5,376 км/ч
Ответ № 14:   5376 м/ч

Ответ принимается частично (трудность – 605) – 1 балл.
Процент учащихся, набравших данный балл: 22,8 (Россия); 19,9 (средний по ОЭСР); 34,8 (максимальный, США).

Код 11: n = 140 x 0,80 = 112. Далее либо записаны неверные действия, либо вообще
ничего не записано.
Ответ № 15:   112
Ответ № 16:   n=112; 0,112 км/ч
Ответ № 17:   n=112; 1120 км/ч
Ответ № 18:   112 м/мин; 504 км/ч

Ответ не принимается:
Код 00: Другие ответы.
Код 9: Ответ отсутствует.
Задание проверяет: 2-ой уровень компетентности – установление связей (между данными из условия задачи при решении стандартных задач)
Область содержания: изменение и отношения
Ситуация: личная жизнь

2.4. Анализ задания 2

2.4.1. Анализ кода 31. Во-первых, решение задачи записано нерационально. Рациональное решение в данном случае включает два этапа: 1. Вывод формулы, связывающую скорость человека с величинами, указанными в задаче. 2. Подстановка в эту формулу значений этих величин и проведение расчетов. Во-вторых, авторы задания разрешают не указывать единицы измерения скорости. Скорость – физическая величина. Авторы заданий «Походка» делают ошибку, разрешая не указывать единицы измерения физических величин.
Рациональное решение. 1. Вывод формулы. Если человек делает n шагов в минуту при длине шага P (м), то nP – это не что иное, как скорость (м/мин) человека: v = nP (1). Из формулы n/P = k получаем: n = kP (2). Из формулы (1) и формулы (2) получаем: v = kP² (3). 2. Подставляем значения k и P в формулу (3): v = 140 мин^-1м^-1 (0,80 м)² и получаем: v = 89,6 м/мин. Чтобы выразить скорость в км/час, нужно скорость, выраженную в м/мин, умножить на 60 и разделить на 1000, в итоге получаем: v = 5,38 км/час.

2.4.2. Анализ кода 21. Код 21: «Выполнено первое действие, отвечающее коду 31, но затем не выполнено умножение на 0,80, то есть ученик не выразил число шагов в минуту в метрах». Авторы кода 21 требуют от учащихся невозможного. Дело в том, что ни один физик, в том числе любой лауреат Нобелевской премии по физике, не сможет выразить число шагов в минуту (частоту периодического процесса) в метрах (в единицах измерения длины). Деятели международной программы PISA не знают, что частоту невозможно выразить в метрах. Частота периодического процесса и длина – это разные физические величины. Невозможно, например, массу выразить в метрах, а длину – в килограммах.

2.4.3. Анализ некоторых ответов. 2.4.3.1. «Ответ № 1: 89,6; 5,4». Здесь учащийся не указал единицы измерения скорости (с разрешения деятелей программы PISA). Скорость – физическая величина, следовательно, в ответе должна быть указаны единицы измерения скорости

2.4.3.2. «Ответ № 2: 90; 5,376 км/ч (код 31)». Этот ответ оценивается как максимальный (3 балла); хотя вместо скорости стоит число: 90.

2.4.3.3. «Ответ № 5: 89,6 м/мин, 8960 км/ч (код 22)». За этот ответ дают 2 балла. Из ответа видно, что учащийся не представляет себе реальные скорости, не понимает, что скорость человека не может быть равна 8960 км/ч. Даже скорости военных самолетов и многих боевых ракет меньше 8960 км/ч (см. приложение 1). За такие ответы надо не добавлять, а вычитать баллы.

2.4.3.4. «Ответ № 17: n=112; 1120 км/ч» (код 11)». За этот ответ дают 1 балл (из трех). За что один балл? За то, что написал: n = 112? Однако n – это физическая величина (частота периодического процесса) и поэтому должна быть указана единица измерения. Из ответа видно также, что ученик не в состоянии рассчитать скорость человека по известным ему данным. Он тоже (см. ответ № 5) не представляет себе реальные скорости объектов: скорость движения человека у него выше 1000 км/ч, то есть выше максимальной скорости штурмовика Су-25 (970 км/ч) и стратегического бомбардировщика Ту-95МС (830 км/ч) (см. приложение 1).

2.4.4. О ситуации, к которой якобы имеет отношение задание 2. Авторы снова ошибаются (см. пункт 2.2.6.), когда пишут: «Ситуация: личная жизнь». Задание 2, также как и задание 1, не относится к личной (частной) жизни. Задание 2 – это задача по кинематике (движение с постоянной скоростью). В задании используются антропометрические данные – длина шага человека и число шагов в минуту. Однако эта информация не относится к личной (частной) жизни, к тем персональным сведениям о человеке, тайну которых охраняет закон.

3. Выводы

1. Формула в задании 1 группы заданий по математике «Походка» международной программы PISA-2003 содержит ошибку в размерности.

2. Авторы заданий не знают, что частоту периодического процесса невозможно выразить в метрах.

3. В качестве правильных ответов в большинстве случаев принимаются не значения физических величин (длины, скорости движения), а числа – без указания единиц измерения длины и скорости движения.

4. В качестве «частично правильных» ответов принимаются ответы, в состав которых входят такие суждения: «Скорость человека равна 8960 км/ч (или 1120 км/ч).

5. Задания «Походка» ни в коем случае нельзя использовать в учебном процессе, так как они содержат ошибки и дают искаженное представление о том, как нужно решать задачи по физике.

4. Источники информации

[1] Основные международного исследования образовательных достижений учащихся ПИЗА-2003. Москва. Центр оценки качества образования ИСМО РАО, Национальный фонд подготовки кадров, 2004.

[2] С.И Ожегов. Словарь русского языка. Издание 5-е, стереотипное. Москва. Государственное издательство иностранных и национальных словарей. 1963.

[3] Физические величины. Справочник. Под редакцией И.С. Григорьева, Е.З. Мейлихова. Москва. Энергоатомиздат. 1991.

Статья не закончена!

Приложение 1

Источники информации:

http://www.kommersant.ru/doc-rss.aspx?DocsID=1014565
http://www.arms-expo.ru/site.xp/049051048057124051054054.html
http://www.kapyar.ru/index.php?pg=243
http://warfare.ru/rus/?lang=rus&linkid=2512&catid=346

Максимальные скорости самолетов и ракет

*Самолет (или ракета)*	*Максимальная скорость*
Фронтовой истребитель МиГ-29	2450 км/ч
Истребитель Су-27	2500 км/ч
Истребитель-перехватчик МиГ-31	3000 км/ч
Разведчик-бомбардировщик МиГ-25РБ	3000 км/ч
Штурмовик Су-25	970 км/ч
Фронтовой бомбардировщик Су-24М	1700 км/ч
Дальний бомбардировщик Ту-22М3	2300 км/ч
Стратегический бомбардировщик Ту-95МС	830 км/ч
Стратегический бомбардировщик Ту-160	2200 км/ч
Твердотопливная одноступенчатая ракета 9М38 (Зенитно-ракетный комплекс «Бук»)	3600 км/час.
Тердотопливная одноступенчатая ракета 48Н6Е (Зенитно-ракетный комплексе С-300 ПМУ-1)	Свыше 7200 км/ч
Неуправляемая авиационная ракета С-8КОМ (боеприпас для вертолетов)	2200 км/ч

Приложение 2

Общие рекомендации по решению задач по физике

URL: http://www.afportal.ru/physics/advice

Следует помнить, что задачи по физике в моделях отражают физическую реальность окружающего мира. Приступая к решению очередной задачи, пусть даже самой простой, попытайтесь распознать явление, представить его мысленно, обсудить его протекание (если есть с кем), а уж затем приступать к поиску ответа на поставленный вопрос задачи.

Если Вам трудно представить себе, как протекает физическое явление, попробуйте посмотреть интерактивные модели по физике. Это flash-анимация, которая помогает глубже понять суть явления и смоделировать его при разных условиях.

1. Оформление задачи

1.1. Краткая запись условия, где необходимо отразить не только данные числовые значения, но и все дополнительные условия, которые следуют из текста задачи (хотя, это не всегда очевидно, а возникает по ходу решения). Неизменность или кратность каких-либо параметров, их граничные значения, условия, которые определяются физическим содержанием задачи (например, отсутствие трения, постоянство ускорения и т. п.).

1.2. Оформление задачи рисунком: сделать к задаче рисунок, на котором отображается ситуация описанная в задаче, нанести все данные условия задачи, и сформулировать вопрос задачи. Рисунок особенно необходим, если используемые уравнения заданы в векторной форме. В этом случае надо нарисовать систему координат, относительно которой следует записать векторное уравнение в проекциях. Рисунок в большинстве случаев сильно облегчает процесс решения любой задачи, не только по физике. Рисунок также необходим, если тело движется или находится под углом.

1.3. Очень важно правильно поставить вопрос к задаче. Возможны следующие варианты:

1.3.1. Вопрос задачи сформулирован четко и понятно, например, найти значение какого-либо параметра (при постановке такого вопроса трудностей не возникает);
1.3.2. На сколько или во сколько одна величина отличается от другой. Здесь надо найти разность двух значений одного параметра (скорости, силы и т. д.) или найти отношение физических величин.
1.3.3. Если стоит вопрос: «Как изменился какой-либо параметр?», то нужно самому выбрать НА СКОЛЬКО или ВО СКОЛЬКО (во сколько раз.. ?) в зависимости от данных задачи. Если изменение относительно небольшое, выбирайте на сколько. Если параметр может отличаться в несколько раз, лучше выбрать во сколько раз.

1.4. Надо проверить, все ли заданные величины в задаче находятся в одной системе единиц (СИ, СГС и других). Если величины даны в разных системах, их следует выразить в единицах системы, принятой Вами для решения. Предпочтение отдается системе СИ, но не всегда.

2. Решение задачи

2.1. Обдумываем физическое содержание задачи, выясняем, к какому разделу она относится, и какие законы в ней надо использовать. Задачи могут быть комбинированные, решение их требует использования законов нескольких разделов физики. В задачах механики обычно первый вопрос, который надо поставить перед собой: каков характер движения?

2.2. Далее следует записать формулы, соответствующие используемым в задаче законам, не следует сразу искать неизвестную величину; надо посмотреть, все ли параметры в формуле известны. Если число неизвестных больше числа уравнений, надо добавить уравнения, следующие из условия и рисунка. Общий принцип: сколько неизвестных, столько должно быть и формул. Далее останется только решить систему уравнений, то есть свести задачу от физической к математической.

Распространенная ошибка: неполное понимание смысла параметров в формуле. Школьники вполне могут решить задачу по физике, но зачастую путаются в своих обозначениях.

2.3. Решение задачи чаще всего следует выполнять в общем виде, то есть в буквенных обозначениях.

2.3.1. Решение «по действиям» может не получиться, так как некоторые неизвестные побочные параметры могут сократиться лишь при решении до конца в общем виде.

2.3.2. Еще одна из причин общего (буквенного решения) состоит в том, что при решении по действиям возникает погрешность конечного результата, что, особенно в тестах, может сослужить плохую службу. И решил задачу, а ответ выбрал неверный. Поэтому не надо бояться вводить параметры, не фигурирующие в условии задачи. Если же преобразования очень громоздки, то можно произвести промежуточные числовые расчеты, при этом стараться уходить от округлений, а оставлять в дробях, таким образом, удастся избежать погрешностей.

А. Получив решение в общем виде, нужно проверить размерность полученной величины. Для этого в формулу подставить не числа, а размерности входящих в нее величин. Ответ должен соответствовать размерности искомой величины, это гарантия правильного решения задачи. После проверки формулы на размерность следует подставить численные значения входящих в нее величин и произвести расчет.

Б. Проверять размерность следует после длинных сложных преобразований, где легко ошибиться. По разным размерностям вы быстро увидите неправильный ответ, но (учтите!) совпадение размерностей не гарантирует, что задача решена правильно.

2.4. Далее нужно проанализировать и сформулировать ответ. Если спрашивалось «как изменилось…», то нужно указать и направление изменения (увеличилось, уменьшилось, замедлилось и т.д.)

Текст приводится с изменениями и сокращениями – А.К.

Приложение 3

Скриншоты

Примеры заданий по математике программы PISA-2003. Группа заданий "Походка"