Anti-PISA. Anatoly Krasnyansky: Errors in PISA tasks. Программа PISA — международный лохотрон? Аргумент 12. Ошибки в группе заданий по математике «Увеличение роста».

Выводы: 1. Результаты тестирования учащихся на основании группы заданий "Увеличение роста" не имеют никакой ценности. 2. Группу заданий «Увеличение роста» можно использовать в качестве задания по логике в следующей формулировке: «Найдите логические ошибки и нерелевантные ответы в группе заданий «Увеличение роста» международной программы PISA-2003".

 

Анатолий Краснянский

Программа PISA — международный лохотрон? Аргумент 12

Ошибки в группе заданий по математике "Увеличение роста"  программы PISA-2003

 

 

Предварительная информация

 

Лохотрон – это  действия или мероприятия, направленные на получение какой-либо выгоды путем обмана. Исходя из этого определения, можно указать два существенных признака лохотрона: 1) получение какой-либо выгоды; 2) наличие обмана.

PISA   – Международное тестирование учащихся (PISA, Programme for International Student Assessment) осуществляется Организацией Экономического Сотрудничества и Развития ОЭСР (OECD – Organization for International Cooperation and Development). Испытания проводятся раз в три года, начиная с 2000 года.

Например, программа ПИЗА-2003 осуществлялась консорциумом, состоящим из ведущих международных научных организаций при участии национальных центров и организации ОЭСР.

Руководил работой в 2003 году консорциум Австралийский Совет педагогических исследований (The Australian Council for Educational Research – ACER). В Консорциум входили также следующие организации:

Нидерландский Национальный институт измерений в области образования (Netherlands National Institute for Educational Measurement – CITO);

Служба педагогического тестирования США (Educational Testing Service, ETS);

Японский Национальный институт исследований в области образования (National Institute for Educational Research, NIER);

Американская организация ВЕСТАТ (WESTAT), выполняющая различные исследования по сбору статистической информации [1].

Российский филиал  PISA  (2003 год):

Министерство образования РФ: Филиппов В.М., Болотов В.А., Киселев А.Ф., Баранников А.В., Иванова С.В., Суматохин С.В., Разумовская О.В.

Институт средств и методов обучения РАО: Рыжаков М.В., Суворова С.Б., Кузнецова Л.В., Корощенко А.С., Резникова В.З., Дюкова С.В., Цыбулько И.П., Нурминский И.И., Нурминский А.И.

Центр оценки качества образования ИСМО РАО: Ковалева Г.С., Красновский Э.А., Краснокутская Л.П., Краснянская К.А., Баранова В.Ю., Кошеленко Н.Г., Нурминская Н.В., Смирнова Е.С. 

   В 2003 г  приняло участие более 250 тысяч 15-летних подростков из 41 страны; в России почти 6 тысяч человек (212 школ) из 46 районов. Каждый ученик должен был за 2 часа письменно ответить на 50-60 вопросов по математике, чтению, естествознанию и решению проблем. Российские школьники заняли 29-31 место по математике,  24  по естественным наукам и  по грамотности чтения 32 место [1].

Цель работы.  Целью данной и последующих работ является доказательство тезиса:  "PISA — международный лохотрон".

Актуальность работы.   В течение последних десяти лет в системе образования проводят радикальные реформы ("модернизацию"). "Модернизация" — это разрушение советской системы образования. Для разрушения системы было необходимо убедительное обоснование. Для этого использовали  данные программы PISA. Это программа "показала", что наши пятнадцатилетние учащиеся якобы не умеют применять свои знания.

Очень важно, что "модернизаторы", начиная ломать советскую систему образования, проигнорировали факт: 

десятки, сотни тысяч наших соотечественников устраивались в странах Западной Европы, в США и в Канаде по специальности.  То есть наша (советская) система образования была конкурентноспособной.

Зачем же ее надо было разрушать? Советскую систему образования не надо было уничтожать, ее надо было развивать, совершенствовать.

Следует обратить внимание на то, что руководители в области образования проигнорировали факт, но поверили результатам программы PISA. Объективных (не зависящих от воли и желания) способов "измерения" знаний и умений нет и  быть не может (смотрите, например,  https://avkrasn.ru/article-192.html ). 

Помимо программы PISA оценку эффективности системы образования проводят TIMSS и PIRLS.

TIMSS (Trends in Mathematics and Science Study) – эта международная программа оценки, применяемая для оценки качества среднего образования по математике и естественным наукам. Реализуемая с 1995 года программа осуществляется среди учащихся IV и VIII классов каждые 4 года. Российские школьники показывают неплохие результаты.

PIRLS (Progress in International Reading Literacy Study) – эта международная программа оценки, исследующая качество чтения и усвоения. Программа реализуется Международной Ассоциацией по оценке образовательных достижений учащихся (IEA). Российские школьники занимают первые места. 

Таким образом, программа PISA является единственным обоснованием для разрушения советской системы образования. В связи с этим очень важно показать, что Программа дает недостоверные результаты по оценке знаний и умений учащихся.

Ректор  МГУ имени М.В. Ломоносова академик  РАН Виктор Антонович Садовничий и академик РАН Виктор Анатольевич Васильев рассмотрели несколько заданий по математике и естествознанию программы PISA-2003 и подвергли их жесткой критике.

Структура доказательства.   Ранее были указны два существенных признака лохотрона: 1) получение какой-либо выгоды; 2) наличие обмана. Обман — умышленное введение в заблуждение. Получение выгоды доказывать не нужно, поскольку работа в программе PISA хорошо оплачивается, недаром в ней (всегда?)   участвует верхушка министерства и видные (в смысле — "все время на виду") придворные ученые. 

Следовательно, чтобы доказать тезис: PISA — международный лохотрон" необходимо:

1.  Доказать,  что программа  PISA  вводит в заблуждение, то есть не дает объективную информацию о знаниях и умениях учащихся. Для  этого достаточно доказать, что 30 % заданий  содержат ошибки.  

2. Доказать, что деятели программы PISA умышленно ввели в заблуждение сотни миллионов людей, то есть имеет место обман

 

 Анатолий Владимирович Краснянский

Системный анализ группы заданий по математике «Увеличение роста» международной
программы PISA-2003

1. Введение


     Международное тестирование учащихся (PISA, Programme for International Student Assessment) осуществляется Организацией Экономического Сотрудничества и Развития ОЭСР (OECD – Organization for International Cooperation and Development). Испытания проводятся раз в три года.

Программа ПИЗА-2003 осуществлялась консорциумом, состоящим из ведущих международных научных организаций при участии национальных центров и организации ОЭСР. Руководил работой консорциума Австралийский Совет педагогических исследований (The Australian Council for Educational Research – ACER). В Консорциум входили также следующие организации: Нидерландский Национальный институт измерений в области образования (Netherlands National Institute for Educational Measurement – CITO); Служба педагогического тестирования США (Educational Testing Service, ETS); Японский Национальный институт исследований в области образования (National Institute for Educational Research, NIER); Американская организация ВЕСТАТ (WESTAT), выполняющая различные исследования по сбору статистической информации [1].

   В 2003 г  приняло участие более 250 тысяч 15-летних подростков из 41 страны; в России почти 6 тысяч человек (212 школ) из 46 районов. Каждый ученик должен был за 2 часа письменно ответить на 50-60 вопросов по математике, чтению, естествознанию и решению проблем. Российские школьники заняли 29-31 место по математике,  24  по естественным наукам и  по грамотности чтения 32 место [1]. 

  Ректор  МГУ имени М.В. Ломоносова академик  РАН Виктор Антонович Садовничий и академик РАН Виктор Анатольевич Васильев рассмотрели несколько заданий по математике и естествознанию программы PISA-2003 и подвергли их жесткой критике (см. сайт). Ответом было полное молчание российских педагогов. Более того, часть нашей педагогической элиты (точнее –  «элиты»), вместо того, чтобы провести анализ  заданий (как поступили бы настоящие ученые), оживленно обсуждает результаты тестирования  российских учащиеся и  на основе этих результатов предлагает реформировать российское образование. 

   Группа заданий по математике «Увеличение роста» международной программы PISA-2003 содержит три вопроса. В приложении  1 читатель может ознакомиться с анализом третьего задания, проведенным академиком РАН В.А. Васильевым. 
 


 

  

 

 

Таким образом, график,  который показывает средний рост девушек (и юношей) различного возраста в 1998 году, некорректно использовать для определения скорости роста детей с 1988 года по 1998 год.  Однако с учетом высказанных замечаний этот график можно использовать для грубой оценки скорости роста.  Из графика следует, что скорость роста как девушек,  так и юношей проходит через максимум. У девушек, согласно графику, средние скорости роста от 10 лет до 11 лет составляет около 4 см/год, от 11 лет до 12 лет – 11 см/год, от 12 лет до 13 лет – 6 см/год. Это согласуется с  исследованиями скорости роста американских детей [2].    
 Авторы сделали логическую ошибку: подмена одного понятия другим. «Зависимость среднего роста нидерландских девушек от возраста (с 1988 года по 1998 год») и    «средний рост нидерландских девушек разного возраста в 1998 году» – это разные понятия. Поскольку вопрос 3 содержит логическую ошибку, то это – логически некорректный вопрос. На логически некорректные вопросы нет правильных (истинных) ответов. Однако все же имеет смысл  провести анализ ответов, отвлекаясь от того, что график, который учащиеся использовали при ответе, дает только весьма приблизительную информацию о том, как росли нидерландские девушки с 1988 по 1998 год.

 
2.3. Фрагмент   № 2


Оценка выполнения вопроса 3.
Ответ принимается полностью (трудность – 574) – 1 балл.
Процент учащихся, набравших данный балл: 37, 3 (Россия),  44,8 (средний по ОЭСР) 77,7 (максимальный, Нидерланды).
   Главное, чтобы в ответе упоминалось «изменение» наклона графика роста девушек. Это может быть указано явно или подразумеваться. Код 11 и код 12 кодируют ответы с явным упоминанием кривизны графика, а код 13 кодирует ответ, в котором  проводится сравнение конкретных значений увеличения роста девушек до 12 лет и после 12 лет.
Код 11: Кодирует ответы, в которых говорится об уменьшении кривизны кривой после 12 лет и далее, используя повседневный язык, а не математический.
№ 1:  Она более не поднимается прямо вверх, а выпрямляется.
№ 2:  Кривая выравнивается.
№ 3:  Она более плоская после 12 лет.
№ 4:  Линия девушек начинает выравниваться, а линия мальчиков поднимается еще выше.
№ 5   Она выпрямляется, а график мальчиков продолжает подниматься.
Код 12: Используя математический язык, делается ссылка на то, что кривизна кривой после 12 лет и далее уменьшается.
№ 6:  Вы можете видеть, что наклон уменьшается.
№ 7:  Скорость изменения графика уменьшается после 12 лет и далее.
№ 8:  [Ученик подсчитывает значения углов наклона кривой к оси х до 12 лет и после 12 лет.]
   В общем, в ответах математически грамотно использованы такие слова, как «градиент», «наклон», «кривизна» или «скорость изменения».
Задание проверяет: 2-ой уровень компетентности – установление связей (между данными из условия задачи при решении стандартных задач)
Область содержания: изменение и отношения
Ситуация: научная


2.6. Анализ фрагмента №3 


  Анализ вопроса 2.  Вопрос 2: 
«Пользуясь графиком, определите, в каком возрасте девушки в среднем выше юношей того же возраста». Авторы вопроса принимают в качестве частичного ответа следующие ответы: ответ № 8: 13 лет; ответ № 9: 11 лет. Но из графика следует, что девочки в среднем выше мальчиков, когда их возраст больше 11 лет и меньше 13 лет:   11 < t < 13.  В 11 лет и в 13 лет рост средний рост девочек  в среднем равен среднему  росту мальчиков. Следовательно,  ответы № 8 и № 9 являются ответами не на вопрос 2, а на другой вопрос: «В каком возрасте средний рост девочек равен среднему росту мальчиков?». Ответы не на поставленный вопрос, а на какие-то другие вопросы, называют нерелевантными ответами (см. [6], стр. 67). Нерелевантные ответы не могут быть признаны ни правильными, ни «частично правильными» — ведь это ответы не на поставленный вопрос!    


2.7. Фрагмент   № 4

Вопрос 1

   По сравнению с 1980 годом средний рост 20-летних девушек в 1998 году увеличился на 2,3 см и стал равным 170,6 см. Чему был равен средний рост 20-летних девушек в 1980 году?  (Напоминаю, что это задача международной программы PISA-2003 для пятнадцатилетних учащихся – А.К.)


2.8. Анализ фрагмента   № 4

   Решение задачи (вопроса 1) по математике международной программы PISA-2003 для пятнадцатилетних учащихся: 170,6 — 2,3 = 168,3. Ответ: 168, 3 см.    Вопрос относится  к заданиям, общую структуру которых можно выразить следующим образом: «Известна сумма двух слагаемых и одно из слагаемых. Рассчитайте другое слагаемое». По структуре эта задача и ее решение соответствует задачам и их решениям для семилетних учащихся   в российской школе  (см. учебник для 1-го класса, первое полугодие [7]. В задании № 3  (стр. 24) этого учебника есть такие задачки:  5 + ? =7; ? + 6 = 7.   Отличие задачи международной программы от задачи для первого класса состоит только в том, что в «международной» задаче сумма и одно из слагаемых – дробные числа.   Дробные числа  в 1990 году проходили в 5 классе [9]. Интересно, что  в учебнике 2-го класса [8]  есть задачи, которые  сложнее, чем вопрос по математике  программы PISA-2003, например: «В бочке 50 л бензина. Когда из бочки перелили какое-то количество бензина в бак, то в баке и бочке стало по 35 л бензина. Сколько литров бензина было в баке первоначально?»  (см. стр. 108, задача № 8). 

     На вопрос 1 задания «Увеличение роста» правильно ответили 77,7 %  (78 из 100) российских учащихся. Исключено, что 22  из  100 пятнадцатилетних учащихся техникумов, колледжей и учеников 9 – 10 классов средней школы не могут решать задачи , структура которых соответствует заданиям для 1-го класса, то есть в данном случае деятели программы PISA получили ложные результаты по тестированию российских пятнадцатилетних учащихся.  Как это можно объяснить? Во-первых,   при тестировании по программе PISA каждому ученику дают 50 – 60 заданий по грамотности чтения,  математике, естествознанию (а в программе PISA-2003   были еще задания, определяющие компетенцию в решении проблем). Деятели международной программы устроили гонку. На выполнение 50 – 60 заданий они  дают всего 2 часа!  Чем быстрее человек выполняет задание, тем ниже точность его действий. [10]. Во-вторых,  часть заданий являются логически некорректными. Эти задания не имеют правильных (истинных) ответов. Следовательно, учащиеся могли потерять много времени на поиск  ответов на логически некорректные вопросы.    


3. Дефекты в группе заданий "Увеличение роста"

А.  Третий вопрос группы заданий по математике «Увеличение роста»  международной программы PISA-2003 содержит логическую ошибку: «подмена одного понятия другим».

Б. Один из кодов «правильных ответов» на третий вопрос содержит логическую ошибку «подмена одного понятия другим».

В.  Среди «правильных» ответов на второй и третий вопросы есть нерелевантные ответы.

4. Выводы

1.  Результаты тестирования учащихся на основании  группы заданий "Увеличение роста" не имеют никакой ценности.

2. Группу заданий «Увеличение роста» можно использовать в качестве задания по логике  в следующей формулировке: «Найдите логические ошибки и нерелевантные ответы в группе заданий «Увеличение роста»  международной программы PISA-2003.

5. Источники информации


[1] Основные международного исследования образовательных достижений учащихся ПИЗА-2003. Москва. Центр оценки качества образования ИСМО РАО, Национальный фонд подготовки кадров, 2004.  

[2]. http://lekmed.ru/info/diagnoz/zaderzhka-rosta.html

[3]    http://elib.ispu.ru/library/math/sem1/kiselev1/node72.html

[4] С.И.Ожегов. Словарь русского языка. 5-е издание, стереотипное. Москва. Государственное издательство иностранных и национальных словарей. 1963.

[5]  http://mathematics.ru/courses/function/content/chapter3/section2/paragraph3/theory.html  

[6]  Ю.В. Ивлев. Логика. Издание третье, переработанное и дополненное. Москва. «Проспект». 2004.

[7] Б.П. Гейдман, Т.В. Ивакина, И.Э. Мишарина. Математика. Учебник — тетрадь № 3 для первого класса начальной школы. Первое полугодие. Научный редактор И.В. Ященко.  Москва. «Просвещение». «ЧеРо». Издательство МГУ. 2004.

[8]  Б.П. Гейдман, Т.В. Ивакина, И.Э. Мишарина. Математика. Учебник для второго класса начальной школы. Второе полугодие. Научный редактор И.В. Ященко.  Москва. «Просвещение». «ЧеРо». Издательство МГУ. 2006.

[9]  Э.Р. Нурк, А.Э. Тельгмаа. Математика. Учебник для пятого класса начальной школы. Утверждено Государственным комитетом СССР по народному образованию. 2-е издание.  Москва. «Просвещение». 1990.

[10] Грегори А. кимбл. Как правильно пользоваться статистикой. Москва. "Финансы и статистика". 1982. С. 175.
 

 

Статья не закончена!

 

Приложение 1

Источник информации: http://www.ng.ru/science/2005-06-08/14_ispytanie.html

Академик Российской академии  наук Виктор Анатольевич Васильев.  Статья:  Испытание "П"

Независимая газета  , № 114 (3510)
Дата публикации в источнике: 08.06.2005

(Фрагмент статьи о группе заданий  по математике  "Увеличение роста" международной программы PISA-2003.)

На графике показан средний рост девушек и юношей в Нидерландах в 1998 году. (Действительно, нарисован график двух функций, сопоставляющих каждому возрасту от 10 до 20 лет средний рост девушек и юношей такого возраста в некоторый момент 1998 года.) Вопрос: объясните, как можно по данному графику определить, что увеличение роста девушек в среднем замедляется после 12 лет.
 
Правильный ответ: никак. Этот график почти ничего не говорит о том, как росли все эти девушки до 1998 года, и совершенно ничего не говорит о том, как они будут расти после. В частности, он ничего не говорит о том, когда замедлили свой рост те из них, с которыми это уже произошло, и когда замедлят те, которым это еще предстоит. По-видимому, авторы перепутали срез данных 1998 года по девушкам разных возрастов с графиком роста по годам некоторой абстрактной усредненной девушки.
 
Ради занудной объективности отмечу, что в абсолютно статичном обществе такая подмена все же может использоваться для очень приблизительного анализа, но для этого надо знать дополнительно кучу вещей: что Нидерланды в предыдущие 20 лет не воевали, что в этот период не было (?) всплеска иммиграции из стран с низкорослым населением, демографических скачков, революции на рынке витаминов или наркотиков и невесть чего еще.
 
По-моему, если испытуемый в этой задаче не понимает, что это не тот график, и решительно пишет некоторый набор слов в обоснование вывода (а этого достаточно для получения полного балла), то это – чистый минус; если же он застыл с раскрытым от изумления ртом, то не все еще потеряно.

 


 

 

Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: