Anti-PISA
Анатолий Краснянский
Безграмотные задания программы PISA-2003
Дефекты в задании «Цветные конфеты».
Системный анализ задания «Цветные конфеты» международной программы PISA-2003
1. Введение
Международное тестирование учащихся (PISA, Programme for International Student Assessment) осуществляется Организацией Экономического Сотрудничества и Развития ОЭСР (OECD – Organization for International Cooperation and Development). Испытания проводятся раз в три года.
Программа PISA-2003 проводилась консорциумом, состоящим из ведущих международных научных организаций при участии национальных центров и организации ОЭСР. Руководил работой консорциума Австралийский Совет педагогических исследований (The Australian Council for Educational Research – ACER). В Консорциум входили также следующие организации: Нидерландский Национальный институт измерений в области образования (Netherlands National Institute for Educational Measurement – CITO); Служба педагогического тестирования США (Educational Testing Service, ETS); Японский Национальный институт исследований в области образования (National Institute for Educational Research, NIER); Американская организация ВЕСТАТ (WESTAT), выполняющая различные исследования по сбору статистической информации [1].
В 2003 г приняло участие более 250 тысяч 15-летних подростков из 41 страны; в России почти 6 тысяч человек (212 школ) из 46 районов. Каждый ученик должен был за 2 часа письменно ответить на 50-60 вопросов по математике, чтению, естествознанию и решению проблем. Российские школьники заняли 29-31 место по математике, 24 по естественным наукам и по грамотности чтения 32 место [1].
Ректор МГУ имени М.В. Ломоносова академик РАН Виктор Антонович Садовничий и академик РАН Виктор Анатольевич Васильев рассмотрели несколько заданий по математике и естествознанию программы PISA-2003 и подвергли их жесткой критике (см. сайт). Ответом было полное молчание российских педагогов. Более того, часть нашей педагогической элиты (точнее – «элиты»), вместо того, чтобы провести анализ заданий (как поступили бы настоящие ученые), оживленно обсуждает результаты тестирования российских учащиеся и на основе этих результатов предлагает реформировать российское образование.
Задания по математике международной программы PISA-2003 опубликованы в работе [2].
В данной статье проведен анализ задания по математике «Цветные конфеты». Статью дополняют два приложения. В приложении 1 представлены фрагменты из отчета «Основные результаты международного исследования образовательных достижений учащихся ПИЗА-2003», содержащие сведения о том, что такое «математическая грамотность». В приложении 2 дан отрывок из статьи «О теории вероятностей в школе» О.С. Ивашева-Мусатова , профессора МГУ имени М.В. Ломоносова.
2. Задание «Цветные конфеты»
Мама Роберта разрешила ему вынуть из коробки одну конфету, не заглядывая в коробку. Число конфет различного цвета в коробке показано на диаграмме.
Какова вероятность того, что Роберт вынет красную конфету?
A 10%
B 20%
C 25%
D 50%
ОЦЕНКА ВЫПОЛНЕНИЯ:
Ответ принимается полностью (трудность – 549) – 1 балл.
Процент учащихся, набравших данный балл 32,4 – Россия; 50,2 – средний по ОЭСР; 76,4 – Исландия (максимальный)
Код 1: B. 20%.
Ответ не принимается:
Код 0: Другие ответы.
Код 9: Ответ отсутствует.
Задание проверяет: 1-ый уровень компетентности – воспроизведение (простых математических действий, приемов, процедур)
Область содержания: неопределенность
Ситуация: личная жизнь
3. Анализ задания «Цветные конфеты»
3.1. «Математическая грамотность» и задание «Цветные конфеты». Под математической грамотностью деятели программы PISA понимают способность учащихся: 1) распознавать проблемы, возникающие в окружающей действительности, которые могут быть решены средствами математики; 2) формулировать эти проблемы на языке математики; 3) решать эти проблемы, используя математические факты и методы; 4) анализировать использованные методы решения; 5) интерпретировать полученные результаты с учетом поставленной проблемы ([1], (см. также приложение 1).
Естественно ожидать, что задания программы PISA – это примеры реальных проблем и примеры их решения с помощью математических методов. В задании «Цветные конфеты» такой проблемы нет. Из шуточного указания мамы Роберта («вынуть из коробки одну конфету, не заглядывая в коробку») не следует необходимость расчета вероятности того, что Роберт вынет из коробки красную или какую-нибудь другую конфету.
Таким образом, в задании «Цветные конфеты» нет проблемы, которую нужно распознать, сформулировать на языке математики и решить с использованием математических методов. Нет проблемы – нет и задачи, определяющей математическую грамотность.
3.2. Некорректная формулировка задания «Цветные конфеты». Чтобы разобраться, какая неточность содержится в задании «Цветные конфеты», сначала прочитаем задачи по теории вероятности из российского учебника [3]:
809. В ящике находится 10 деталей, одна из которых нестандартная. Наугад берут 2 детали. Какова вероятность того, что обе детали окажутся стандартными? Ответ: 0,8.
820. Для украшения елки принесли коробку, в которой находится 10 красных, 7 зеленых, 5 синих и 8 золотых шаров. Из коробки наугад вынимают один шар. Какова вероятность того, что он окажется: а) красным; б) золотым; в) красным или золотым? Ответ: а) 1/3; б) 4/15; в) 3/5.
826. В мешке находится 5 белых шаров и 3 черных. Из мешка наугад вынимают один шар. Его цвет записывают, шар возвращают в мешок и шары перемешивают. Затем снова из мешка вынимают один шар. Какова вероятность того, что оба раза будут вынуты: а) белые шары: б) черные шары? Ответ: а) 25/64; б) 9/64.
830. В вазе 11 гвоздик, из которых 4 красные. В темноте наугад вынимают 3 гвоздики. Какова вероятность того, что хотя бы одна из них будет красной? Ответ: 26/33.
862. В ящике лежит 6 красных шаров и 4 зеленых. Наугад вынимают 3 шара. Какова вероятность того, что 2 шара из них окажутся красными, а один – зеленым? Ответ: 1/2.
С какой целью для читателей этой статьи выделено слово «наугад»? Ответ содержится в статье известного ученого и педагога О.С. Ивашева-Мусатова (см. приложение 2):
«В учебных упражнениях вероятности событий, по вероятностям которых вычисляются искомые вероятности, указываются неявно. Например, в задаче: «Лежат в ящике шары, одинаковые по размеру и на ощупь, один из них отмечен. Наудачу вынимают один шар — какова вероятность вынуть отмеченный шар?» — вероятности некоторых событий указаны условиями «одинаковые по размеру и на ощупь» и «наудачу вынимают один шар». Они говорят о том, что ни один из шаров не имеет большую вероятность быть вынутым, чем любой другой. Если шаров в ящике 20, то вероятность вынуть отмеченный шар равна 1/20».
В задании «Цветные конфеты» сказано, что конфеты отличаются по цвету, но не сказано, что они одинаковы по форме, размеру, массе и по другим свойствам и поэтому на ощупь неразличимы. Только в этом случае ни одна из конфет не имеет большую вероятность быть вынутой, чем любая другая и эта вероятность равна 1/30. Если конфеты красного цвета (как и другие конфеты) были неотличимы на ощупь от всех остальных и их было 6, то вероятность вынуть красную конфету равна 6/30 = 1/5. Таким образом, в задании не указано условие, необходимое для обоснованного ответа.
Правильная формулировка задания: «Мама Роберта разрешила ему вынуть из коробки одну конфету, не заглядывая в коробку. Конфеты отличаются только по цвету, и поэтому на ощупь неразличимы. Число конфет различного цвета в коробке показано на диаграмме. Роберт наугад вынимает конфету. Какова вероятность того, что Роберт вынет красную конфету?»
3.3. Анализ результатов тестирования, полученных на основании задания «Цветные конфеты». Выполнили задание только 32,4 % российских пятнадцатилетних учащихся. На самом деле это неплохой результат – с учетом того что пятнадцатилетние российские школьники до 2004 года не изучали элементы теории вероятностей. (Приказ Министерства образова¬ния и науки Российской Федерации № 03-93 ин / 13-03 от 23.09.2003 «О введении элементов комбинаторики, статистики и теории вероятностей в содержание математического образования основной школы»)
4. Выводы
1. Задание по математике «Цветные конфеты» международной программы PISA-2003 не относится к заданиям, определяющим математическую грамотность – это стандартная задача по теории вероятностей.
2. Российские восьмиклассники и девятиклассники до 2004 года не изучали элементы теории вероятностей.
3. Задание «Цветные конфеты» сформулировано некорректно: не указано условие, необходимое для обоснованного ответа на это задание.
4. Результаты тестирования российских школьников на основании задания "Цветные конфеты" не имеют никакой ценности (следствие из пунктов 2 и 3 ).
5. Источники информации
[1] Основные результаты международного исследования образовательных достижений учащихся ПИЗА-2003. Москва. РАО. Институт содержания и методов обучения. Центр оценки качества образования. 2004. Интернет: http://window.edu.ru/window/library?p_rid=60349
[2] Международная оценка образовательных достижений учащихся. (Programme for International Student Assessment – PISA). Примеры заданий по математике.
Составители: Г.С. Ковалева, К.А. Краснянская. Российская академия образования. Институт содержания и методов обучения. Центр оценки качества образования. Москва. 2006. Интернет: http://window.edu.ru/window_catalog/pdf2txt?p_id=30231
[3] Ю.Н. Макарычев, Н.Г. Миндюк, К.И. Нешков, С.Б. Суворова. Алгебра. Учебник для 9 класса. Под редакцией С.А. Теляковского. Рекомендовано Министерством образования и науки Российской Федерации. Издание 16. Москва. «Просвещение». 2009.
Статья не закончена!
Приложение 1
Источник информации: Основные результаты международного исследования образовательных достижений учащихся ПИЗА-2003. Москва. 2004. (Национальный фонд подготовки кадров, Российская академия образования, Институт содержания и методов обучения, Центр оценки качества образования). Интернет — http://www.ekk.edu.ee/vvfiles/0/Report_PISA2003.pdf
Фрагменты из отчета «Основные результаты международного исследования образовательных достижений учащихся ПИЗА-2003»
Фрагмент 1 (стр. 2).
В подготовке отчета принимали участие: Баранова В.Ю., Ковалева Г.С. (руководитель), к.п.н., Кошеленко Н.Г., Красновский Э.А., к.п.н., Краснокутская Л.П., к.ф.-м.н., Краснянская К.А., к.п.н., Кузнецова Л.В., к.п.н., Логинова О.Б., к.п.н., Суворова С.Б., к.п.н., Цыбулько И.П., к.п.н.
Национальный координатор исследования ПИЗА в России – Ковалева Г.С. Координатор по «математической грамотности» – Краснянская К.А. Координатор по «грамотности чтения» – Красновский Э.А. Координатор по «естественнонаучной грамотности» – Ковалева Г.С. Координатор по «решению проблем» – Краснокутская Л.П. Координатор по формированию выборки школ и учащихся – Нурминский А.И. Координатор по работе с данными и обработке результатов исследования – Баранова В.Ю.
Работа выполнена в рамках проекта НФПК «Реформа системы образования».
В кратком отчете представлены основные результаты международного исследования образовательных достижений учащихся ПИЗА (PISA, Programme for International Student Assessment), осуществляемого Организацией Экономического Сотрудничества и Развития ОЭСР (OECD – Organization for Economic Cooperation and Development) в области функциональной грамотности пятнадцатилетних учащихся. Приводятся данные о результатах учащихся России в сравнении со своими сверстниками из других стран-участниц исследования. В приложениях представлена информация о российских участниках исследования и примеры заданий, проверяющих математическую грамотность, естественнонаучную грамотность и компетентность в решении проблем.
Отчет предназначен для широкого круга лиц: представителей органов управления образованием разного уровня; специалистов, занимающихся проблемами оценки качества образования; специалистов в области школьного естественно-математического и филологического образования. Представленные материалы могут быть полезны учителям школ и студентам педагогических вузов.
Фрагмент 2 (стр. 11)
Математическая грамотность
Подходы к оценке состояния математической грамотности 15-летних учащихся
В 2003 году концепция исследования в целом осталась той же, что и на предыдущем этапе в 2000 году. Основное внимание было направлено на проверку владения общими понятиями, идеями и умениями, которые международная педагогическая общественность выделила как существенные для «взрослой» жизни. Содержание проверки математической подготовки 15-летних учащихся основано на понятии «математической грамотности», которое определяется как «способность человека определять и понимать роль математики в мире, в котором он живет, высказывать хорошо обоснованные математические суждения и использовать математику так, чтобы удовлетворять в настоящем и будущем потребности, присущие созидательному, заинтересованному и мыслящему гражданину» [1].
Содержание этого понятия уточняется следующим образом. Под математической грамотностью понимается способность учащихся:
– распознавать проблемы, возникающие в окружающей действительности, которые могут быть решены средствами математики;
– формулировать эти проблемы на языке математики;
– решать эти проблемы, используя математические факты и методы;
– анализировать использованные методы решения;
– интерпретировать полученные результаты с учетом поставленной проблемы;
– формулировать и записывать результаты решения.
Можно констатировать, что понятие «математической грамотности» авторами концепции сведено к так называемой «функциональной грамотности», которая, по словам А. А. Леонтьева, предполагает способность человека использовать приобретаемые в течение жизни знания для решения широкого диапазона жизненных задач в различных сферах человеческой деятельности, общения и социальных отношений.
В соответствии с трактовкой понятия «математической грамотности» в исследовании учащимся предлагаются, в основном, не типичные учебные математические задачи (характерные для российских внутришкольных и массовых проверок), а близкие к реальным проблемные ситуации, связанные с разнообразными аспектами окружающей жизни и требующие для своего решения большей или меньшей математизации. Речь в них идет о жизни школы, общества, личной жизни учащегося, профессиональной деятельности, спорте и др. Как и в 2000 году многие вопросы имеют межпредметный характер. Для ответа на них наряду с математическими знаниями необходимо использовать знания, приобретенные при изучении других предметов (например, знание о часовых поясах и диаграммах населения из географии).
При этом принципиально, что задания на проверку математической грамотности включаются в тест, который содержит задания, составленные на материале из разных предметных областей (чтение, естествознание, математика). Таким образом, реально выполняется авторский замысел о проверке умения распознать ситуацию, требующую применения математики.
[1] The PISA 2003 Assessment Framework – Mathematics, Reading, Science and Problem Solving Knowledge and Skills, OECD, 2003.
Приложение 2
Источник информации: http://school.msu.ru/content/view/247/1/
Отрывок из статьи профессора МГУ имени М.В. Ломоносова О.С. Ивашева-Мусатова «О теории вероятностей в школе»
Решением министерства образования и науки в средней школе введено изучение теории вероятностей для всех. Предлагаемая заметка, возможно, несколько облегчит соответствующий труд учителя.
Основание при изучении теории вероятностей – формулировка, данная А.Н.Колмогоровым (БСЭ, 1948г.): «вероятностей теория – раздел математики, в котором по вероятностям одних случайных событий находят вероятности других событий, связанных как-либо с первыми».
Изучение теории вероятностей (ТВ) состоит в освоении упомянутых здесь понятий (случайные события, связи между ними, их вероятности).
Необходимо подчеркнуть, что из приведённого определения следует: прежде чем начинать решение задачи методами теории вероятностей надо откуда-то иметь вероятности некоторых событий. Они берутся из той области, в которой родилась задача (физика, техника, биология, демография и т.п.). Диктует их здравый смысл той области, где возникла задача.
Математика к этому не имеет никакого отношения.
Схема решения задач средствами теории вероятностей: делается опыт, его результат – событие. Например, при игре в монету опыт – «бросили монету, посмотрели – что сверху». В этом опыте возможны события (их принято обозначать буквами): Г = «выпал герб» и Ц = «выпала цифра».
Изучение опытов с непредсказуемыми заранее последствиями (типа игры в монету) показало: между опытом и событием, которое может в нём произойти, объективно существует своеобразная вероятностная связь, её называют вероятностью события и характеризуют числом, которое проявляется только при многократном повторении опыта. Именно: если в опыте может произойти событие A с вероятностью p, и опыт независимо повторили N раз, то событие A происходит приблизительно N . p раз.
Эти наблюдения были сделаны в азартных играх: монета, кости, карты… Так, при игре правильной монетой приблизительно в половине бросков выпадал герб (многовековая практика игроков) и стали говорить «вероятность выпадения герба равна 1/2». Аналогично и при игре в кости: приблизительно в 1/6 бросков правильной игральной кости выпадало 1 очко (2,3,4,5 или 6 очков), и стали говорить: «вероятность выпадения 1 очка равна 1/6» и т.п. И по жизни широко бытовали выражения: «это невероятно», «дождь маловероятен», «у игроков шансы равны», т.е. вероятностные оценки на будущее всегда были.
Чтобы найти вероятность определённого события в определённом опыте создано большое число методов её вычисления. Простейший из них – классическое определение вероятности события, в котором указывается как надо вычислять вероятность события в простейшем «классическом» опыте.
В учебных упражнениях вероятности событий, по вероятностям которых вычисляются искомые вероятности, указываются неявно. Например, в задаче: «Лежат в ящике шары, одинаковые по размеру и на ощупь, один из них отмечен. Наудачу вынимают один шар — какова вероятность вынуть отмеченный шар?» — вероятности некоторых событий указаны условиями «одинаковые по форме и на ощупь» и «наудачу вынимают один шар». Они говорят о том, что ни один из шаров не имеет большую вероятность быть вынутым, чем любой другой. Если шаров в ящике 20, то вероятность вынуть отмеченный шар равна 1/20.
В более сложных случаях приходится дополнять условия задачи, не меняя её вероятностного содержания.