Анатолий Краснянский
Программа PISA — международный лохотрон?
Аргумент 5
Ошибки в группе заданий по математике "Цветные конфеты" программы PISA-2003
Статья не закончена!
Предварительная информация
Лохотрон – это действия или мероприятия, направленные на получение какой-либо выгоды путем обмана. Исходя из этого определения, можно указать два существенных признака лохотрона: 1) получение какой-либо выгоды; 2) наличие обмана.
PISA – Международное тестирование учащихся (PISA, Programme for International Student Assessment) осуществляется Организацией Экономического Сотрудничества и Развития ОЭСР (OECD – Organization for International Cooperation and Development). Испытания проводятся раз в три года, начиная с 2000 года: в 2000, 2003, 2006, 2009, 2012, 2015 и 2018 годах.
Программа PISA осуществлялась консорциумом, состоящим из ведущих международных научных организаций при участии национальных центров и организации ОЭСР.
Например, в 2003 году руководил работой консорциум Австралийский Совет педагогических исследований (The Australian Council for Educational Research – ACER). В Консорциум входили также следующие организации:
Нидерландский Национальный институт измерений в области образования (Netherlands National Institute for Educational Measurement – CITO);
Служба педагогического тестирования США (Educational Testing Service, ETS);
Японский Национальный институт исследований в области образования (National Institute for Educational Research, NIER);
Американская организация ВЕСТАТ (WESTAT), выполняющая различные исследования по сбору статистической информации [1].
Российский филиал PISA (2003 год):
Министерство образования РФ: Филиппов В.М., Болотов В.А., Киселев А.Ф., Баранников А.В., Иванова С.В., Суматохин С.В., Разумовская О.В.
Институт средств и методов обучения РАО: Рыжаков М.В., Суворова С.Б., Кузнецова Л.В., Корощенко А.С., Резникова В.З., Дюкова С.В., Цыбулько И.П., Нурминский И.И., Нурминский А.И.
Центр оценки качества образования ИСМО РАО: Ковалева Г.С., Красновский Э.А., Краснокутская Л.П., Краснянская К.А., Баранова В.Ю., Кошеленко Н.Г., Нурминская Н.В., Смирнова Е.С.
В 2003 году приняло участие более 250 тысяч 15-летних подростков из 41 страны; в России почти 6 тысяч человек (212 школ) из 46 районов. Каждый ученик должен был за 2 часа письменно ответить на 50-60 вопросов по математике, чтению, естествознанию и решению проблем. Российские школьники заняли 29-31 место по математике, 24 по естественным наукам и по грамотности чтения 32 место [1].
Цель работы. Целью данной и последующих работ является доказательство тезиса: "PISA — международный лохотрон".
Актуальность работы. В течение последних десяти лет в системе образования проводят радикальные реформы ("модернизацию"). "Модернизация" — это разрушение советской системы образования. Для разрушения системы было необходимо убедительное обоснование. Для этого использовали данные программы PISA. Это программа "показала", что наши пятнадцатилетние учащиеся якобы не умеют применять свои знания.
Очень важно, что "модернизаторы", начиная ломать советскую систему образования, проигнорировали факт:
десятки, сотни тысяч наших соотечественников устраивались в странах Западной Европы, в США и в Канаде по специальности. То есть наша (советская) система образования была конкурентноспособной.
Зачем же ее надо было разрушать? Советскую систему образования не надо было уничтожать, ее надо было развивать, совершенствовать.
Следует обратить внимание на то, что руководители в области образования проигнорировали факт, но поверили результатам программы PISA. Объективных (не зависящих от воли и желания) способов "измерения" знаний и умений нет и быть не может (смотрите, например, https://avkrasn.ru/article-192.html ).
Программа PISA является единственным "обоснованием" для разрушения советской системы образования.
Ректор МГУ имени М.В. Ломоносова академик РАН Виктор Антонович Садовничий и академик РАН Виктор Анатольевич Васильев рассмотрели несколько заданий по математике и естествознанию программы PISA-2003 и подвергли их жесткой критике.
Структура доказательства. Ранее были указны два существенных признака лохотрона: 1) получение какой-либо выгоды; 2) наличие обмана. Обман — умышленное введение в заблуждение. Получение выгоды доказывать не нужно, поскольку работа в программе PISA хорошо оплачивается, недаром в ней всегда участвует верхушка министерства и видные (в смысле — "все время на виду") придворные ученые.
Следовательно, чтобы доказать тезис: PISA — международный лохотрон" необходимо:
1. Доказать, что программа PISA вводит в заблуждение, то есть не дает объективную информацию о знаниях и умениях учащихся. Для этого достаточно доказать, что 30 % заданий содержат ошибки.
2. Доказать, что деятели программы PISA умышленно ввели в заблуждение сотни миллионов людей, то есть имеет место обман.
Анатолий Краснянский
Системный анализ задания «Цветные конфеты» международной программы PISA-2003
1. Введение
Задания по математике международной программы PISA-2003 опубликованы в работе [2].
В статье проведен анализ задания по математике «Цветные конфеты». Статью дополняют два приложения. В приложении 1 представлены фрагменты из отчета «Основные результаты международного исследования образовательных достижений учащихся ПИЗА-2003», содержащие сведения о том, что такое «математическая грамотность». В приложении 2 дан отрывок из статьи «О теории вероятностей в школе» О.С. Ивашева-Мусатова , профессора МГУ имени М.В. Ломоносова.
2. Задание «Цветные конфеты»
Мама Роберта разрешила ему вынуть из коробки одну конфету, не заглядывая в коробку. Число конфет различного цвета в коробке показано на диаграмме.
Какова вероятность того, что Роберт вынет красную конфету?
A 10%
B 20%
C 25%
D 50%
ОЦЕНКА ВЫПОЛНЕНИЯ:
Ответ принимается полностью (трудность – 549) – 1 балл.
Процент учащихся, набравших данный балл 32,4 – Россия; 50,2 – средний по ОЭСР; 76,4 – Исландия (максимальный)
Код 1: B. 20%.
Ответ не принимается:
Код 0: Другие ответы.
Код 9: Ответ отсутствует.
Задание проверяет: 1-ый уровень компетентности – воспроизведение (простых математических действий, приемов, процедур)
Область содержания: неопределенность
Ситуация: личная жизнь
3. Анализ задания «Цветные конфеты»
3.1. «Математическая грамотность» и задание «Цветные конфеты». Под математической грамотностью деятели программы PISA понимают способность учащихся: 1) распознавать проблемы, возникающие в окружающей действительности, которые могут быть решены средствами математики; 2) формулировать эти проблемы на языке математики; 3) решать эти проблемы, используя математические факты и методы; 4) анализировать использованные методы решения; 5) интерпретировать полученные результаты с учетом поставленной проблемы ([1], (см. также приложение 1).
Естественно ожидать, что задания программы PISA – это примеры реальных проблем и примеры их решения с помощью математических методов. В задании «Цветные конфеты» такой проблемы нет. Из шуточного указания мамы Роберта («вынуть из коробки одну конфету, не заглядывая в коробку») не следует необходимость расчета вероятности того, что Роберт вынет из коробки красную или какую-нибудь другую конфету.
Таким образом, в задании «Цветные конфеты» нет проблемы, которую нужно распознать, сформулировать на языке математики и решить с использованием математических методов. Нет проблемы – нет и задачи, определяющей математическую грамотность.
3.2. Некорректная формулировка задания «Цветные конфеты». Чтобы разобраться, какая неточность содержится в задании «Цветные конфеты», сначала прочитаем задачи по теории вероятности из российского учебника [3]:
809. В ящике находится 10 деталей, одна из которых нестандартная. Наугад берут 2 детали. Какова вероятность того, что обе детали окажутся стандартными? Ответ: 0,8.
820. Для украшения елки принесли коробку, в которой находится 10 красных, 7 зеленых, 5 синих и 8 золотых шаров. Из коробки наугад вынимают один шар. Какова вероятность того, что он окажется: а) красным; б) золотым; в) красным или золотым? Ответ: а) 1/3; б) 4/15; в) 3/5.
826. В мешке находится 5 белых шаров и 3 черных. Из мешка наугад вынимают один шар. Его цвет записывают, шар возвращают в мешок и шары перемешивают. Затем снова из мешка вынимают один шар. Какова вероятность того, что оба раза будут вынуты: а) белые шары: б) черные шары? Ответ: а) 25/64; б) 9/64.
830. В вазе 11 гвоздик, из которых 4 красные. В темноте наугад вынимают 3 гвоздики. Какова вероятность того, что хотя бы одна из них будет красной? Ответ: 26/33.
862. В ящике лежит 6 красных шаров и 4 зеленых. Наугад вынимают 3 шара. Какова вероятность того, что 2 шара из них окажутся красными, а один – зеленым? Ответ: 1/2.
С какой целью для читателей этой статьи выделено слово «наугад»? Ответ содержится в статье известного ученого и педагога О.С. Ивашева-Мусатова (см. приложение 2):
«В учебных упражнениях вероятности событий, по вероятностям которых вычисляются искомые вероятности, указываются неявно. Например, в задаче: «Лежат в ящике шары, одинаковые по размеру и на ощупь, один из них отмечен. Наудачу вынимают один шар — какова вероятность вынуть отмеченный шар?» — вероятности некоторых событий указаны условиями «одинаковые по размеру и на ощупь» и «наудачу вынимают один шар». Они говорят о том, что ни один из шаров не имеет большую вероятность быть вынутым, чем любой другой. Если шаров в ящике 20, то вероятность вынуть отмеченный шар равна 1/20».
В задании «Цветные конфеты» сказано, что конфеты отличаются по цвету, но не сказано, что они одинаковы по форме, размеру, массе и другим свойствам и поэтому на ощупь неразличимы. Только в этом случае ни одна из конфет не имеет большую вероятность быть вынутой, чем любая другая и эта вероятность равна 1/30. Если конфеты красного цвета (как и другие конфеты) были неотличимы на ощупь от всех остальных и их было 6, то вероятность вынуть красную конфету равна 6/30 = 1/5. Таким образом, в задании не указано условие, необходимое для обоснованного ответа.
Правильная формулировка задания: «Мама Роберта разрешила ему вынуть из коробки одну конфету, не заглядывая в коробку. Конфеты отличаются только по цвету, и поэтому на ощупь неразличимы. Число конфет различного цвета в коробке показано на диаграмме. Роберт наугад вынимает конфету. Какова вероятность того, что Роберт вынет красную конфету?»
3.3. Анализ результатов тестирования, полученных на основании задания «Цветные конфеты». Выполнили задание только 32,4 % российских пятнадцатилетних учащихся. На самом деле это неплохой результат – с учетом того что пятнадцатилетние российские школьники до 2004 года не изучали элементы теории вероятностей. (Приказ Министерства образова¬ния и науки Российской Федерации № 03-93 ин / 13-03 от 23.09.2003 «О введении элементов комбинаторики, статистики и теории вероятностей в содержание математического образования основной школы»)
4. Выводы
1. Задание по математике «Цветные конфеты» международной программы PISA-2003 не относится к заданиям, определяющим математическую грамотность – это стандартная задача по теории вероятностей.
2. Российские восьмиклассники и девятиклассники до 2004 года не изучали элементы теории вероятностей.
3. Задание «Цветные конфеты» сформулировано некорректно: не указано условие, необходимое для обоснованного ответа на это задание.
4. Результаты тестирования российских школьников на основании задания "Цветные конфеты" не имеют никакой ценности (следствие из пунктов 2 и 3 ).
5. Источники информации
[1] Основные результаты международного исследования образовательных достижений учащихся ПИЗА-2003. Москва. РАО. Институт содержания и методов обучения. Центр оценки качества образования. 2004. Интернет: http://window.edu.ru/window/library?p_rid=60349
[2] Международная оценка образовательных достижений учащихся. (Programme for International Student Assessment – PISA). Примеры заданий по математике.
Составители: Г.С. Ковалева, К.А. Краснянская. Российская академия образования. Институт содержания и методов обучения. Центр оценки качества образования. Москва. 2006. Интернет: http://window.edu.ru/window_catalog/pdf2txt?p_id=30231
[3] Ю.Н. Макарычев, Н.Г. Миндюк, К.И. Нешков, С.Б. Суворова. Алгебра. Учебник для 9 класса. Под редакцией С.А. Теляковского. Рекомендовано Министерством образования и науки Российской Федерации. Издание 16. Москва. «Просвещение». 2009.
Приложение 1
Источник информации: Основные результаты международного исследования образовательных достижений учащихся ПИЗА-2003. Москва. 2004. (Национальный фонд подготовки кадров, Российская академия образования, Институт содержания и методов обучения, Центр оценки качества образования). Интернет — http://www.ekk.edu.ee/vvfiles/0/Report_PISA2003.pdf
Фрагменты из отчета «Основные результаты международного исследования образовательных достижений учащихся ПИЗА-2003»
Фрагмент 1 (стр. 2).
В подготовке отчета принимали участие: Баранова В.Ю., Ковалева Г.С. (руководитель), к.п.н., Кошеленко Н.Г., Красновский Э.А., к.п.н., Краснокутская Л.П., к.ф.-м.н., Краснянская К.А., к.п.н., Кузнецова Л.В., к.п.н., Логинова О.Б., к.п.н., Суворова С.Б., к.п.н., Цыбулько И.П., к.п.н.
Национальный координатор исследования ПИЗА в России – Ковалева Г.С. Координатор по «математической грамотности» – Краснянская К.А. Координатор по «грамотности чтения» – Красновский Э.А. Координатор по «естественнонаучной грамотности» – Ковалева Г.С. Координатор по «решению проблем» – Краснокутская Л.П. Координатор по формированию выборки школ и учащихся – Нурминский А.И. Координатор по работе с данными и обработке результатов исследования – Баранова В.Ю.
Работа выполнена в рамках проекта НФПК «Реформа системы образования».
В кратком отчете представлены основные результаты международного исследования образовательных достижений учащихся ПИЗА (PISA, Programme for International Student Assessment), осуществляемого Организацией Экономического Сотрудничества и Развития ОЭСР (OECD – Organization for Economic Cooperation and Development) в области функциональной грамотности пятнадцатилетних учащихся. Приводятся данные о результатах учащихся России в сравнении со своими сверстниками из других стран-участниц исследования. В приложениях представлена информация о российских участниках исследования и примеры заданий, проверяющих математическую грамотность, естественнонаучную грамотность и компетентность в решении проблем.
Отчет предназначен для широкого круга лиц: представителей органов управления образованием разного уровня; специалистов, занимающихся проблемами оценки качества образования; специалистов в области школьного естественно-математического и филологического образования. Представленные материалы могут быть полезны учителям школ и студентам педагогических вузов.
Фрагмент 2 (стр. 11)
Математическая грамотность
Подходы к оценке состояния математической грамотности 15-летних учащихся
В 2003 году концепция исследования в целом осталась той же, что и на предыдущем этапе в 2000 году. Основное внимание было направлено на проверку владения общими понятиями, идеями и умениями, которые международная педагогическая общественность выделила как существенные для «взрослой» жизни. Содержание проверки математической подготовки 15-летних учащихся основано на понятии «математической грамотности», которое определяется как «способность человека определять и понимать роль математики в мире, в котором он живет, высказывать хорошо обоснованные математические суждения и использовать математику так, чтобы удовлетворять в настоящем и будущем потребности, присущие созидательному, заинтересованному и мыслящему гражданину» [1].
Содержание этого понятия уточняется следующим образом. Под математической грамотностью понимается способность учащихся:
– распознавать проблемы, возникающие в окружающей действительности, которые могут быть решены средствами математики;
– формулировать эти проблемы на языке математики;
– решать эти проблемы, используя математические факты и методы;
– анализировать использованные методы решения;
– интерпретировать полученные результаты с учетом поставленной проблемы;
– формулировать и записывать результаты решения.
Можно констатировать, что понятие «математической грамотности» авторами концепции сведено к так называемой «функциональной грамотности», которая, по словам А. А. Леонтьева, предполагает способность человека использовать приобретаемые в течение жизни знания для решения широкого диапазона жизненных задач в различных сферах человеческой деятельности, общения и социальных отношений.
В соответствии с трактовкой понятия «математической грамотности» в исследовании учащимся предлагаются, в основном, не типичные учебные математические задачи (характерные для российских внутришкольных и массовых проверок), а близкие к реальным проблемные ситуации, связанные с разнообразными аспектами окружающей жизни и требующие для своего решения большей или меньшей математизации. Речь в них идет о жизни школы, общества, личной жизни учащегося, профессиональной деятельности, спорте и др. Как и в 2000 году многие вопросы имеют межпредметный характер. Для ответа на них наряду с математическими знаниями необходимо использовать знания, приобретенные при изучении других предметов (например, знание о часовых поясах и диаграммах населения из географии).
При этом принципиально, что задания на проверку математической грамотности включаются в тест, который содержит задания, составленные на материале из разных предметных областей (чтение, естествознание, математика). Таким образом, реально выполняется авторский замысел о проверке умения распознать ситуацию, требующую применения математики.
[1] The PISA 2003 Assessment Framework – Mathematics, Reading, Science and Problem Solving Knowledge and Skills, OECD, 2003.
Приложение 2
Отрывок из статьи профессора МГУ имени М.В. Ломоносова О.С. Ивашева-Мусатова «О теории вероятностей в школе»
Источник информации: http://school.msu.ru/content/view/247/1/
Решением министерства образования и науки в средней школе введено изучение теории вероятностей для всех. Предлагаемая заметка, возможно, несколько облегчит соответствующий труд учителя.
Основание при изучении теории вероятностей – формулировка, данная А.Н.Колмогоровым (БСЭ, 1948 г.): «вероятностей теория – раздел математики, в котором по вероятностям одних случайных событий находят вероятности других событий, связанных как-либо с первыми».
Изучение теории вероятностей (ТВ) состоит в освоении упомянутых здесь понятий (случайные события, связи между ними, их вероятности).
Необходимо подчеркнуть, что из приведённого определения следует: прежде чем начинать решение задачи методами теории вероятностей надо откуда-то иметь вероятности некоторых событий. Они берутся из той области, в которой родилась задача (физика, техника, биология, демография и т.п.). Диктует их здравый смысл той области, где возникла задача.
Математика к этому не имеет никакого отношения.
Схема решения задач средствами теории вероятностей: делается опыт, его результат – событие. Например, при игре в монету опыт – «бросили монету, посмотрели – что сверху». В этом опыте возможны события (их принято обозначать буквами): Г = «выпал герб» и Ц = «выпала цифра».
Изучение опытов с непредсказуемыми заранее последствиями (типа игры в монету) показало: между опытом и событием, которое может в нём произойти, объективно существует своеобразная вероятностная связь, её называют вероятностью события и характеризуют числом, которое проявляется только при многократном повторении опыта. Именно: если в опыте может произойти событие A с вероятностью p, и опыт независимо повторили N раз, то событие A происходит приблизительно N . p раз.
Эти наблюдения были сделаны в азартных играх: монета, кости, карты… Так, при игре правильной монетой приблизительно в половине бросков выпадал герб (многовековая практика игроков) и стали говорить «вероятность выпадения герба равна 1/2». Аналогично и при игре в кости: приблизительно в 1/6 бросков правильной игральной кости выпадало 1 очко (2,3,4,5 или 6 очков), и стали говорить: «вероятность выпадения 1 очка равна 1/6» и т.п. И по жизни широко бытовали выражения: «это невероятно», «дождь маловероятен», «у игроков шансы равны», т.е. вероятностные оценки на будущее всегда были.
Чтобы найти вероятность определённого события в определённом опыте создано большое число методов её вычисления. Простейший из них – классическое определение вероятности события, в котором указывается как надо вычислять вероятность события в простейшем «классическом» опыте.
В учебных упражнениях вероятности событий, по вероятностям которых вычисляются искомые вероятности, указываются неявно. Например, в задаче: «Лежат в ящике шары, одинаковые по размеру и на ощупь, один из них отмечен. Наудачу вынимают один шар — какова вероятность вынуть отмеченный шар?» — вероятности некоторых событий указаны условиями «одинаковые по форме и на ощупь» и «наудачу вынимают один шар». Они говорят о том, что ни один из шаров не имеет большую вероятность быть вынутым, чем любой другой. Если шаров в ящике 20, то вероятность вынуть отмеченный шар равна 1/20.
В более сложных случаях приходится дополнять условия задачи, не меняя её вероятностного содержания.