Anti-PISA. Анатолий Краснянский. Ложные результаты программы PISA-2003. Задание по математике "Кубики". Приложение 1: Примеры заданий по математике. Приложение 2: PISA RELEASED ITEMS - MATHEMATICS. Скриншоты. Приложение 3: Примеры заданий по математике для учеников 3-го класса (РСФСР, 1992 год).

Anti-PISA

Анатолий Краснянский

Ложные результаты программы PISA-2003

Задание по математике "Кубики".

Содержание

1. Анатолий Владимирович Краснянский. Системный анализ "шедевра" западной педагогической мысли — группы заданий по математике "Кубики" программы PISA-2003.

2. Скриншоты.

Приложение 1. Примеры заданий по математике. PISA-2003.

Приложения 2: PISA RELEASED ITEMS — MATHEMATICS.

Приложение 3. Примеры заданий по математике для учеников 3-го класса (РСФСР, 1992 год).

Системный анализ задания по математике «Кубики» программы PISA-2003

1. Введение

1.1. Предварительная информация

PISA (пиза) – Международное тестирование учащихся (PISA, Programme for International Student Assessment) осуществляется Организацией Экономического Сотрудничества и Развития ОЭСР (OECD – Organization for International Cooperation and Development). Испытания проводятся раз в три года, начиная с 2000 года: в 2000, 2003, 2006 и 2009 годах.

Программа ПИЗА-2003 осуществлялась консорциумом, состоящим из ведущих международных научных организаций при участии национальных центров и организации ОЭСР.

Руководил работой консорциума Австралийский Совет педагогических исследований (The Australian Council for Educational Research – ACER). В Консорциум входили также следующие организации:

Нидерландский Национальный институт измерений в области образования (Netherlands National Institute for Educational Measurement – CITO);

Служба педагогического тестирования США (Educational Testing Service, ETS);

Японский Национальный институт исследований в области образования (National Institute for Educational Research, NIER);

Американская организация ВЕСТАТ (WESTAT), выполняющая различные исследования по сбору статистической информации [1].

Российский филиал PISA (2003 год):

Министерство образования РФ: Филиппов В.М., Болотов В.А., Киселев А.Ф., Баранников А.В., Иванова С.В., Суматохин С.В., Разумовская О.В.

Институт средств и методов обучения РАО: Рыжаков М.В., Суворова С.Б., Кузнецова Л.В., Корощенко А.С., Резникова В.З., Дюкова С.В., Цыбулько И.П., Нурминский И.И., Нурминский А.И.

Центр оценки качества образования ИСМО РАО: Ковалева Г.С., Красновский Э.А., Краснокутская Л.П., Краснянская К.А., Баранова В.Ю., Кошеленко Н.Г., Нурминская Н.В., Смирнова Е.С.

В 2003 г приняло участие более 250 тысяч 15-летних подростков из 41 страны; в России почти 6 тысяч человек (212 школ) из 46 районов. Каждый ученик должен был за 2 часа письменно ответить на 50-60 вопросов по математике, чтению, естествознанию и решению проблем. Российские школьники заняли 29-31 место по математике, 24 по естественным наукам и по грамотности чтения 32 место [1].

1.2. Цель работы. Целью данной и последующих работ является доказательство тезиса: Результаты программы PISA не имеют накакой ценности

1.3. Актуальность работы. В течение последних десяти лет в системе образования проводят радикальные реформы ("модернизацию"). "Модернизация" — это разрушение советской системы образования. Для разрушения системы было необходимо убедительное обоснование. Для этого использовали данные программы PISA. Это программа "показала", что наши пятнадцатилетние учащиеся якобы не умеют применять свои знания.

Очень важно, что "модернизаторы", начиная ломать советскую систему образования, проигнорировали факт:

десятки, сотни тысяч наших соотечественников устраивались в странах Западной Европы, в США и в Канаде по специальности. То есть наша (советская) система образования была конкурентноспособной.

Зачем же ее надо было разрушать? Советскую систему образования не надо было уничтожать, ее надо было развивать, совершенствовать.

"Модернизаторы" проигнорировали факт, но поверили результатам программы PISA. Объективных (не зависящих от воли и желания) способов "измерения" знаний и умений нет и быть не может (смотрите, например, https://avkrasn.ru/article-192.html ).

PISA является единственным "обоснованием" для разрушения советской системы образования. В связи с этим очень важно доказать, что PISA дает недостоверные результаты по оценке знаний и умений учащихся. Ректор МГУ имени М.В. Ломоносова академик РАН Виктор Антонович Садовничий и академик РАН Виктор Анатольевич Васильев рассмотрели несколько заданий по математике и естествознанию программы PISA-2003 и подвергли их жесткой критике.

( https://avkrasn.ru/article-51.html , https://avkrasn.ru/article-54.html ).

1.4. Структура доказательства.

Тезис: Результаты программы PISA не имеют накакой ценности (PISA вводит в заблуждение, то есть не дает объективную информацию о знаниях и умениях учащихся).

Для этого достаточно доказать, что 30 % заданий или содержат ошибки в заданиях (являются логически некорректными) и (или) ошибки сделаны при оценке ответов и (или) сделаные какие-либо другие ошибки, связанные с нарушением требований к тестовым заданиям.

Примечание

Ректор МГУ имени М.В. Ломоносова академик РАН Виктор Антонович Садовничий и академик РАН Виктор Анатольевич Васильев рассмотрели несколько заданий по математике и естествознанию программы PISA-2003 и подвергли их жесткой критике (см. сайт). Ответом было полное молчание российских педагогов. Более того, часть нашей педагогической элиты (точнее – «элиты»), вместо того, чтобы провести анализ заданий (как поступили бы настоящие ученые), оживленно обсуждает результаты тестирования российских учащиеся и на основе этих результатов предлагает реформировать российское образование.

2. Задание по математике «Кубики» международной программы PISA-2003

Вопрос

На фотографии видны 6 кубиков, обозначенных буквами от a до f. Для каждого из них выполняется следующее правило: сумма кружков, изображенных на двух противоположных гранях кубика, всегда равна семи.

Ответ не принимается:
Код 0: Другие ответы.
Код 9: Ответ отсутствует.
Задание проверяет: 1-ый уровень компетентности – воспроизведение (простых математических действий, приемов, процедур)
Область содержания: пространство и форма
Ситуация: профессиональная деятельность

3. Анализ задания по математике «Кубики»

1. Вопрос относится к заданиям, общую структуру которых можно выразить следующим образом: «Известна сумма двух слагаемых и одно из слагаемых. Рассчитайте другое слагаемое». Здесь сумма равна 7, одно из слагаемых видно из рисунка (варьируется от 1 до 6). Такие задачи (тема: числа от 0 до 10) даются в первом классе [2,3]. Пример1: 4 + ? = 7; ? + 1 = 4 (задание 3 на стр. 36, [2]). Пример 2 (задание 2, стр. 54, [3]):

Слагаемое

Сумма

В учебнике [2] нет задач с использованием игральных кубиков, зато есть аналогичные задачи с использованием костяшек («костей», «камней») домино (стр. 24 и 38).

На задачу «Кубики» правильно ответили только 57,2 % российских учащихся; 42,8 % (43 из 100) пятнадцатилетних учащихся в России не смогли (?), если верить "объективным" исследованиям программы PISA, решить задачу для 1-го класса. Очевидно, что PISA выдала ложный результат.

Исключено, что российские пятнадцатилетние школьники, в основном учащиеся 8 — 10 классов, не могут вычитать в пределах десяти, то есть не могут от 7 отнять 6, от 7 отнять 2 и так далее.

Как же можно объяснить ложный результат, полученный PISA?

Основной причиной, по-видимому, является системный дефект пизовской программы: ученику дают 50 – 60 заданий по грамотности чтения, математике, естествознанию (в программе PISA-2003 были еще задания, определяющие компетенцию в решении проблем). На выполнение 50 – 60 заданий дают всего 2 часа!

Причем некоторые задания являются логически некорректными, то есть не имеют правильного (истинного) ответа. Очевидно, что на поиски «правильного» (правильного – по мнению авторов задания) ответа на некорректные задания учащиеся могут потратить значительно больше времени, чем две минуты, а остальные задания выполнять в спешке.

Ученику нужно время на переключение внимания, нужно время, чтобы сосредоточиться на новом задании, нужно время, чтобы хотя бы один раз внимательно прочитать задание, нужно время, чтобы найти и записать ответ – и на все дается около 2 минут.

Чем быстрее человеку приходится выполнять задание, тем ниже точность его действий [ 5].

Другой причиной получения ложного результата может быть отсутствие мотивации у российских школьников, которым неинтересно было решать задачу для 1-го класса.

2. Авторы задания «Кубики» утверждают, что содержание задачи относится к пространству и форме, а ситуация отражает профессиональную деятельность. Но это не соответствует действительности.

Во-первых, чтобы ответить на задание «Кубики», нужно просто посчитать число кружочков на игральном кубике (одно из слагаемых), и из суммы, равной 7, отнять это число. Эта задача относится к теме, которую проходят в первом классе (первое полугодие): «Слагаемые. Сумма» [2].

Во-вторых, неясно, почему подсчет числа кружочков на игральном кубике относится к профессиональной деятельности. В какой профессии нужно регулярно рассчитывать число кружочков на нижней (невидимой) грани игрального кубика (или на костяшках домино)? Или речь идет о профессиональных игроках, участвующих в играх, в которых используются игральные кубики? Но игрокам это тоже не нужно!

4. Выводы

1. Задание по математике "Кубики" международной программы PISA-2003 — это задача для первого класса российской школы.

2. Согласно данным программы PISA, 43 % российских пятнадцатилетних учащихся не умеют решать задания «Известна сумма двух слагаемых и одно из слагаемых. Рассчитайте другое слагаемое». Это заведомо ложный результат, поскольку речь идет о целых числах, наибольшее из которых семь.

2. Результаты тестирования российских пятнадцатилетних учащихся по математике с помощью задания "Кубики" не имеют никакой ценности (следствие из пункта 2).

5. Источники информации

[1] Основные результаты международного исследования образовательных достижений учащихся ПИЗА-2003. Москва. Центр оценки качества образования ИСМО РАО, Национальный фонд подготовки кадров, 2004.

[2] Б.П. Гейдман, Т.В. Ивакина, И.Э. Мишарина. Математика. Учебник-тетрадь № 3 для первого класса начальной школы. Первое полугодие. Научный редактор И.В. Ященко. Москва. «Просвещение». «ЧеРо». Издательство МГУ. 2004.

[3] Б.П. Гейдман, Т.В. Ивакина, И.Э. Мишарина. Математика. Учебник для первого класса начальной школы. Второе полугодие. Научный редактор И.В. Ященко. Москва. «Просвещение». «ЧеРо». Издательство МГУ. 2004.

[4] Э.Р. Нурк, А.Э. Тельгмаа. Математика. Учебник для 5 класса средней школы. 2-е издание. Москва. «Просвещение». 1990.

[5] Грегори А. Кимбл. Как правильно пользоваться статистикой. Перевод с английского Б.И. Клименко. Москва. Финансы и статистика. 1982. С. 175.

Работа выполнена по контракту (трудовому договору) № 503 от 26 июня 2007 года с МГУ имени М.В. Ломоносова в лице декана химического факультета МГУ академика РАН, профессора Валерия Васильевича Лунина по теме: "Системный анализ учебной литературы".

Статья не закончена! Последняя редакция: 8 мая 2018 года.

Анатолий Краснянский

Анализ задания «Кубики» международной программы PISA-2003

(Краткое изложение статьи: "Системный анализ задания по математике «Кубики» международной программы PISA-2003)

Есть на сайте — http://pedsovet.org/component/option,com_mtree/task,viewlink/link_id,46407/Itemid,343/

Задание содержит фотографию шести кубиков, на которых видно число кружочков на верхних гранях кубиков. Кубики обозначены буквами от a до f. Указывается, что для каждого из них выполняется следующее правило: сумма кружков, изображенных на двух противоположных гранях кубика, всегда равна семи. Задание заключается в том, чтобы вычислить число кружков, которые изображены на нижней грани соответствующего кубика и записать это число в таблицу.

Пример 1. на верхней грани кубика а 6 точек, следовательно, на нижней 7 – 6 = 1. Записываем 1 в квадратик, обозначенный буквой а.

Пример 2. На верхней грани кубика b есть два кружка, следовательно, на нижней 7 – 2 = 5. Записываем 5 в квадратик, обозначенный буквой b. И так для всех шести кубиков.

По мнению деятелей программы ПИЗА, пятнадцатилетний учащийся, который решил это задание, не ошибившись в счете в пределах 10, удовлетворил свою потребность как созидательный, заинтересованный и мыслящий гражданин. Вот только загадка: какую потребность он удовлетворил? Но и это еще не все! Кроме того, в задании «Кубик» деятели программы PISA указали следующие характеристики этого задания: «Задание проверяет: первый уровень компетентности – воспроизведение (простых математических действий, приемов, процедур); область содержания: пространство и форма; ситуация: профессиональная деятельность.

Во-первых, удивительно – правильно сосчитал в пределах 10, а уже соответствуешь первому уровню компетенции.

Во-вторых, непонятно, причем тут пространство и форма, если никаких действий, относящихся к стереометрии, учащийся не произвел.

В-третьих, что за такую профессию придумали пизовские деятели: считать число кружков на противоположной грани игрального кубика? Жаль, что неизвестно, в каком «интеллектуальном» центре (американском, японском, австралийском или нидерландском) сочинили этот опус.

Совершенно ясно, что восьмиклассникам и девятиклассникам дали обычное задание для первого класса, но выдали его за задание, которое проверяет таинственную «математическую грамотность». Неплохой прием, чтобы дурачить людей, в том числе педагогов. Вместо хорошо известных знаний, умений и навыков, пизовцы морочат голову «математической грамотностью», добавляя ней не менее таинственную «компетентность».

Здесь уместно вспомнить известный роман "Мастер и Маргарита" Михаила Афанасьевича Булгакова:

«— Осетрину прислали второй свежести, — сообщил буфетчик.

Голубчик, это вздор!

Чего вздор?

Вторая свежесть — вот что вздор! Свежесть бывает только одна — первая, она же и последняя. А если осетрина второй свежести, то это означает, что она тухлая!»

Нет первого (самого низкого) уровня компетенции, нет второго уровня компетенции, как впрочем, нет третьего или десятого. Человек либо компетентен в данном вопросе, либо некомпетентен. В связи с этим уместно сказать, что пизовские деятели некомпетентны в составлении заданий.

Какие же результаты показали российские школьники. Оказалось, что на задание «Кубики» правильно ответили только 57,2 % российских учащихся; 42,8 % (43 из 100) пятнадцатилетних учащихся в России не смогли, если верить «объективным» исследованиям программы PISA, решить задачу для первого класса. Итак, согласно «открытию» деятелей программы PISA, 43 из 100 росссийских учащихся не могут от 7 отнять 6, от 7 отнять 2 и так далее, а затем результаты вычислений занести в простейшую таблицу. Совершенно очевидно, что даже самые-самые пятнадцатилетние разгильдяи-двоечники в состоянии складывать и вычитать в пределах 10.

Очевидно, что знаменитая программа ПИЗА здесь села в лужу: выдала ложный результат!

Причина получения ложных результатов коренится в системном дефекте программы ПИЗА – недостаток времени на выполнение заданий. Российские учащиеся либо вообще «не дошли» до задания «Кубики», либо выполняли его в такой спешке, что ошиблись в счете до 10, или при заполнении таблицы.

При тестировании по программе ПИЗА каждому ученику дают 50 – 60 заданий по грамотности чтения, математике, естествознанию (в программе PISA-2003 были еще задания, определяющие компетенцию в решении проблем). На выполнение 50 – 60 заданий дают всего 2 часа! Кроме того, значительная доля заданий являются либо логически некорректными, то есть вообще не имеют правильного (истинного) ответа, либо среди предлагаемых ответов нет правильного (истинного ответа). Очевидно, что на поиски «правильного» (правильного – по мнению авторов задания) ответа на некорректные задания учащиеся могут потратить значительно больше времени, чем две минуты, а остальные задания выполнять в спешке. Ученику нужно время, чтобы сосредоточиться, нужно время, чтобы переключить внимание с одного задания на другое, нужно время, чтобы хотя бы один раз внимательно прочитать задание, нужно время, чтобы найти правильный ответ и правильно его записать – и на все дается около 2 минут. Чем быстрее человеку приходится выполнять задание, тем ниже точность его действий].

Приложение 1

Примеры заданий по математике

Международная оценка образовательных достижений учащихся (PISA). Скриншоты сделаны 5 мая 2018 года. URL: http://www.edu54.ru/sites/default/files/images-2/files/pisa-pr-matematika.pdf