Anti-PISA. Анатолий Краснянский. Безграмотные задания программы PISA-2003. Дефекты в задании «Цветные конфеты». Приложение 1: Отрывки из отчета «Основные результаты международного исследования ПИЗА-2003. Приложение 2: Отрывок из статьи профессора МГУ имени М.В. Ломоносова О.С. Ивашева-Мусатова «О теории вероятностей в школе».

Выводы: 1. Задание по математике «Цветные конфеты» международной программы PISA-2003 не относится к заданиям, определяющим математическую грамотность – это стандартная задача по теории вероятностей. 2. Задание «Цветные конфеты» сформулировано некорректно: не указано условие, необходимое для обоснованного ответа на это задание. 3. Результаты тестирования школьников на основании задания "Цветные конфеты" не имеют никакой ценности (следствие из п. 2).

 

Anti-PISA

Анатолий Краснянский

 Безграмотные задания программы PISA-2003

  Дефекты в задании «Цветные конфеты».

 



Системный анализ задания  «Цветные конфеты» международной  программы PISA-2003

1. Введение


   Международное тестирование учащихся (PISA, Programme for International Student Assessment) осуществляется Организацией Экономического Сотрудничества и Развития ОЭСР (OECD – Organization for International Cooperation and Development). Испытания проводятся раз в три года.

   Программа PISA-2003 проводилась консорциумом, состоящим из ведущих международных научных организаций при участии национальных центров и организации ОЭСР. Руководил работой консорциума Австралийский Совет педагогических исследований (The Australian Council for Educational Research – ACER). В Консорциум входили также следующие организации: Нидерландский Национальный институт измерений в области образования (Netherlands National Institute for Educational Measurement – CITO); Служба педагогического тестирования США (Educational Testing Service, ETS); Японский Национальный институт исследований в области образования (National Institute for Educational Research, NIER); Американская организация ВЕСТАТ (WESTAT), выполняющая различные исследования по сбору статистической информации [1].

   В 2003 г  приняло участие более 250 тысяч 15-летних подростков из 41 страны; в России почти 6 тысяч человек (212 школ) из 46 районов. Каждый ученик должен был за 2 часа письменно ответить на 50-60 вопросов по математике, чтению, естествознанию и решению проблем. Российские школьники заняли 29-31 место по математике,  24  по естественным наукам и  по грамотности чтения 32 место [1]. 

  Ректор  МГУ имени М.В. Ломоносова академик  РАН Виктор Антонович Садовничий и академик РАН Виктор Анатольевич Васильев рассмотрели несколько заданий по математике и естествознанию программы PISA-2003 и подвергли их жесткой критике (см. сайт). Ответом было полное молчание российских педагогов. Более того, часть нашей педагогической элиты (точнее –  «элиты»), вместо того, чтобы провести анализ  заданий (как поступили бы настоящие ученые), оживленно обсуждает результаты тестирования  российских учащиеся и  на основе этих результатов предлагает реформировать российское образование. 

   Задания  по математике международной программы PISA-2003 опубликованы в  работе [2].

    В данной статье проведен анализ  задания по математике «Цветные конфеты».  Статью дополняют два приложения. В приложении 1 представлены  фрагменты из отчета «Основные результаты международного исследования образовательных достижений учащихся ПИЗА-2003», содержащие  сведения о том, что такое «математическая грамотность». В приложении 2 дан отрывок из статьи «О теории вероятностей в школе» О.С. Ивашева-Мусатова ,  профессора МГУ имени М.В. Ломоносова.  

2. Задание  «Цветные конфеты»

Мама Роберта разрешила ему вынуть из коробки одну конфету, не заглядывая в коробку. Число конфет различного цвета в коробке показано на диаграмме.
 

 

 

Какова вероятность того, что Роберт вынет красную конфету?

   10%
    20%
C     25%
    50%

ОЦЕНКА ВЫПОЛНЕНИЯ:

Ответ принимается полностью (трудность – 549) – 1 балл.
Процент учащихся,  набравших данный балл 32,4  –  Россия;  50,2  –  средний по ОЭСР;    76,4  –  Исландия  (максимальный)
Код 1:   B. 20%.
Ответ не принимается:
Код 0:   Другие ответы.
Код 9:   Ответ отсутствует.
Задание проверяет: 1-ый уровень компетентности – воспроизведение (простых математических  действий, приемов, процедур)
Область содержания: неопределенность
Ситуация: личная жизнь

3. Анализ  задания  «Цветные конфеты»


      3.1. «Математическая грамотность» и  задание «Цветные конфеты». Под математической грамотностью деятели программы PISA понимают способность учащихся: 1) распознавать проблемы, возникающие в окружающей действительности, которые могут быть решены средствами математики; 2) формулировать эти проблемы на языке математики; 3) решать эти проблемы, используя математические факты и методы; 4) анализировать использованные методы решения; 5) интерпретировать полученные результаты с учетом поставленной проблемы ([1], (см. также приложение 1).
    Естественно ожидать, что  задания программы PISA – это примеры реальных проблем и примеры их решения  с помощью математических методов. В задании «Цветные конфеты» такой проблемы нет.  Из шуточного указания мамы Роберта («вынуть из коробки одну конфету, не заглядывая в коробку»)  не следует необходимость расчета вероятности того, что Роберт вынет из коробки красную или какую-нибудь другую конфету.
   Таким образом, в  задании «Цветные конфеты»  нет проблемы, которую нужно распознать, сформулировать на языке математики и решить с использованием математических методов. Нет проблемы – нет и задачи, определяющей математическую грамотность.  
   3.2. Некорректная формулировка задания «Цветные конфеты».  Чтобы разобраться, какая неточность содержится в  задании «Цветные конфеты», сначала прочитаем задачи по теории вероятности из российского учебника [3]: 

809. В ящике находится 10 деталей, одна из которых нестандартная. Наугад берут 2 детали. Какова вероятность того, что обе детали окажутся стандартными? Ответ: 0,8.

820.  Для украшения елки принесли коробку, в которой находится 10 красных, 7 зеленых, 5 синих и 8 золотых шаров. Из коробки наугад вынимают один шар. Какова вероятность того, что он окажется: а) красным; б) золотым; в) красным или золотым? Ответ: а) 1/3; б) 4/15; в) 3/5.

826. В мешке находится 5 белых шаров и 3 черных. Из мешка наугад вынимают один шар. Его цвет записывают, шар возвращают в мешок и шары перемешивают. Затем снова из мешка вынимают один шар. Какова вероятность того, что оба раза будут вынуты: а) белые шары: б) черные шары?  Ответ: а) 25/64; б) 9/64.

830. В вазе 11 гвоздик, из которых 4 красные. В темноте наугад вынимают 3 гвоздики. Какова вероятность того, что хотя бы одна из них будет красной? Ответ: 26/33.

862. В ящике лежит 6 красных шаров и 4 зеленых. Наугад вынимают 3 шара. Какова вероятность того, что 2 шара из них окажутся красными, а один – зеленым? Ответ: 1/2.

   С какой целью для читателей этой статьи выделено  слово «наугад»?  Ответ содержится в статье известного ученого и педагога   О.С. Ивашева-Мусатова  (см. приложение 2):

   «В учебных упражнениях вероятности событий, по вероятностям которых вычисляются искомые вероятности, указываются неявно. Например, в задаче: «Лежат в ящике шары, одинаковые по размеру и на ощупь, один из них отмечен. Наудачу вынимают один шар — какова вероятность вынуть отмеченный шар?» — вероятности некоторых событий указаны условиями «одинаковые по размеру  и на ощупь» и «наудачу вынимают один шар». Они говорят о том, что ни один из шаров не имеет большую вероятность быть вынутым, чем любой другой. Если шаров в ящике 20, то вероятность вынуть отмеченный шар равна 1/20».

   В задании «Цветные конфеты»  сказано, что конфеты отличаются по цвету, но не сказано, что они  одинаковы по форме, размеру, массе и по другим свойствам и поэтому на ощупь неразличимы.  Только в этом случае ни одна из конфет не имеет большую вероятность быть вынутой, чем любая другая и эта вероятность равна 1/30.  Если конфеты красного цвета (как и  другие конфеты) были неотличимы на ощупь от всех остальных  и их было 6, то вероятность вынуть красную конфету  равна   6/30  =  1/5.
Таким образом, в задании не указано условие, необходимое для обоснованного ответа.

  Правильная формулировка задания: «Мама Роберта разрешила ему вынуть из коробки одну конфету, не заглядывая в коробку.  Конфеты отличаются только по цвету, и поэтому  на ощупь  неразличимы.   Число конфет различного цвета в коробке показано на диаграмме.  Роберт наугад вынимает конфету. Какова вероятность того, что Роберт вынет красную конфету?»

3.3. Анализ результатов тестирования, полученных на основании задания «Цветные конфеты».  Выполнили задание только 32,4 %  российских пятнадцатилетних учащихся.  На самом деле это неплохой результат –  с учетом того что  пятнадцатилетние российские школьники до 2004 года  не изучали элементы теории вероятностей. (Приказ Министерства образова¬ния и науки Российской Федерации № 03-93 ин / 13-03 от 23.09.2003 «О введении элементов комбинаторики, статистики и теории вероятностей в содержание математического образования основной школы»)

4. Выводы

1. Задание по математике  «Цветные конфеты» международной программы PISA-2003 не относится к заданиям, определяющим математическую грамотность – это стандартная задача по теории вероятностей.

2. Российские восьмиклассники и девятиклассники до 2004 года  не изучали элементы теории вероятностей.

3. Задание «Цветные конфеты» сформулировано некорректно: не указано условие, необходимое для обоснованного ответа на это задание.   

4. Результаты тестирования российских школьников на основании задания "Цветные конфеты" не имеют никакой ценности (следствие из пунктов 2 и 3 ).

5. Источники информации

[1]  Основные результаты международного исследования образовательных достижений учащихся  ПИЗА-2003. Москва.  РАО. Институт содержания и методов обучения. Центр оценки качества образования. 2004. Интернет:   http://window.edu.ru/window/library?p_rid=60349

[2]   Международная оценка образовательных достижений учащихся.  (Programme for International Student Assessment – PISA). Примеры заданий по математике.
Составители: Г.С. Ковалева, К.А. Краснянская. Российская академия образования. Институт содержания и методов обучения. Центр оценки качества образования.  Москва. 2006.   Интернет: http://window.edu.ru/window_catalog/pdf2txt?p_id=30231

[3]  Ю.Н. Макарычев, Н.Г. Миндюк, К.И. Нешков, С.Б. Суворова. Алгебра. Учебник для 9 класса.  Под редакцией С.А. Теляковского. Рекомендовано Министерством образования и науки Российской Федерации.  Издание 16. Москва. «Просвещение». 2009.

Статья не закончена!

Приложение 1

    Источник информации: Основные результаты международного исследования образовательных достижений учащихся ПИЗА-2003. Москва. 2004. (Национальный фонд подготовки кадров, Российская академия образования, Институт содержания и методов обучения, Центр оценки качества образования). Интернет —   http://www.ekk.edu.ee/vvfiles/0/Report_PISA2003.pdf

Фрагменты из отчета «Основные результаты международного исследования образовательных достижений учащихся ПИЗА-2003»

Фрагмент 1 (стр. 2).

   В подготовке отчета принимали участие: Баранова В.Ю., Ковалева Г.С. (руководитель), к.п.н., Кошеленко Н.Г., Красновский Э.А., к.п.н., Краснокутская Л.П., к.ф.-м.н., Краснянская К.А., к.п.н., Кузнецова Л.В., к.п.н., Логинова О.Б., к.п.н., Суворова С.Б., к.п.н., Цыбулько И.П., к.п.н.
  Национальный координатор исследования ПИЗА в России – Ковалева Г.С. Координатор по «математической грамотности» – Краснянская К.А. Координатор по «грамотности чтения» – Красновский Э.А. Координатор по «естественнонаучной грамотности» – Ковалева Г.С. Координатор по «решению проблем» – Краснокутская Л.П. Координатор по формированию выборки школ и учащихся – Нурминский А.И. Координатор по работе с данными и обработке результатов исследования – Баранова В.Ю.
   Работа выполнена в рамках проекта НФПК «Реформа системы образования».
    В кратком отчете представлены основные результаты международного исследования образовательных достижений учащихся ПИЗА (PISA, Programme for International Student Assessment), осуществляемого Организацией Экономического Сотрудничества и Развития ОЭСР (OECD – Organization for Economic Cooperation and Development) в области функциональной грамотности пятнадцатилетних учащихся. Приводятся данные о результатах учащихся России в сравнении со своими сверстниками из других стран-участниц исследования. В приложениях представлена информация о российских участниках исследования и примеры заданий, проверяющих математическую грамотность, естественнонаучную грамотность и компетентность в решении проблем.
   Отчет предназначен для широкого круга лиц: представителей органов управления образованием разного уровня; специалистов, занимающихся проблемами оценки качества образования; специалистов в области школьного естественно-математического и филологического образования. Представленные материалы могут быть полезны учителям школ и студентам педагогических вузов.

Фрагмент 2  (стр. 11)

Математическая грамотность

   Подходы к оценке состояния математической грамотности 15-летних учащихся
   В 2003 году концепция исследования в целом осталась той же, что и на предыдущем этапе в 2000 году. Основное внимание было направлено на проверку владения общими понятиями, идеями и умениями, которые международная педагогическая общественность выделила как существенные для «взрослой» жизни. Содержание проверки математической подготовки 15-летних учащихся основано на понятии «математической грамотности», которое определяется как «способность человека определять и понимать роль математики в мире, в котором он живет, высказывать хорошо обоснованные математические суждения и использовать математику так, чтобы удовлетворять в настоящем и будущем потребности, присущие созидательному, заинтересованному и мыслящему гражданину» [1].
   Содержание этого понятия уточняется следующим образом. Под математической грамотностью понимается способность учащихся:
– распознавать проблемы, возникающие в окружающей действительности, которые могут быть решены средствами математики;
– формулировать эти проблемы на языке математики;
– решать эти проблемы, используя математические факты и методы;
– анализировать использованные методы решения;
– интерпретировать полученные результаты с учетом поставленной проблемы;
– формулировать и записывать результаты решения.
   Можно констатировать, что понятие «математической грамотности» авторами концепции сведено к так называемой «функциональной грамотности», которая, по словам А. А. Леонтьева, предполагает способность человека использовать приобретаемые в течение жизни знания для решения широкого диапазона жизненных задач в различных сферах человеческой деятельности, общения и социальных отношений.
   В соответствии с трактовкой понятия «математической грамотности» в исследовании учащимся предлагаются, в основном, не типичные учебные математические задачи (характерные для российских внутришкольных и массовых проверок), а близкие к реальным проблемные ситуации, связанные с разнообразными аспектами окружающей жизни и требующие для своего решения большей или меньшей математизации. Речь в них идет о жизни школы, общества, личной жизни учащегося, профессиональной деятельности, спорте и др. Как и в 2000 году многие вопросы имеют межпредметный характер. Для ответа на них наряду с математическими знаниями необходимо использовать знания, приобретенные при изучении других предметов (например, знание о часовых поясах и диаграммах населения из географии).
   При этом принципиально, что задания на проверку математической грамотности включаются в тест, который содержит задания, составленные на материале из разных предметных областей (чтение, естествознание, математика). Таким образом, реально выполняется авторский замысел о проверке умения распознать ситуацию, требующую применения математики.

[1] The PISA 2003 Assessment Framework – Mathematics, Reading, Science and Problem Solving Knowledge and Skills, OECD, 2003.

 

Приложение 2

Источник информации: http://school.msu.ru/content/view/247/1/

 

Отрывок из статьи профессора МГУ имени М.В. Ломоносова О.С. Ивашева-Мусатова  «О теории вероятностей в школе»

   Решением министерства образования и науки в средней школе введено изучение теории вероятностей для всех. Предлагаемая заметка, возможно, несколько облегчит соответствующий труд учителя.
   Основание при изучении теории вероятностей –  формулировка, данная А.Н.Колмогоровым (БСЭ, 1948г.):  «вероятностей теория –  раздел математики, в котором по вероятностям одних случайных событий находят вероятности других событий, связанных как-либо с первыми».
   Изучение теории вероятностей (ТВ) состоит в освоении упомянутых здесь понятий (случайные события, связи между ними, их вероятности).
  Необходимо подчеркнуть, что из приведённого определения следует: прежде чем начинать решение задачи методами теории вероятностей надо откуда-то иметь вероятности некоторых событий. Они берутся из той области, в которой родилась задача (физика, техника, биология, демография и т.п.). Диктует их здравый смысл той области, где возникла задача.
   Математика к этому не имеет никакого отношения.
   Схема решения задач средствами теории вероятностей: делается опыт, его результат  –  событие. Например, при игре в монету опыт   –   «бросили монету, посмотрели –  что сверху». В этом опыте возможны события (их принято обозначать буквами): Г = «выпал герб» и  Ц = «выпала цифра».
   Изучение опытов с непредсказуемыми заранее последствиями (типа игры в монету) показало: между опытом и событием, которое может в нём произойти, объективно существует своеобразная вероятностная связь, её называют вероятностью события и характеризуют числом, которое проявляется только при многократном повторении опыта. Именно: если в опыте может произойти событие с вероятностью  p,   и опыт независимо повторили  N  раз, то событие   происходит   приблизительно   N .     раз.

   Эти наблюдения были сделаны в азартных играх: монета, кости, карты… Так, при игре правильной монетой приблизительно в половине бросков выпадал герб (многовековая практика игроков) и стали говорить «вероятность выпадения герба равна 1/2». Аналогично и при игре в кости: приблизительно в 1/6 бросков правильной игральной кости выпадало 1 очко (2,3,4,5 или 6 очков), и стали говорить: «вероятность выпадения 1 очка равна 1/6» и т.п.  И по жизни широко бытовали выражения: «это невероятно», «дождь маловероятен», «у игроков шансы равны», т.е. вероятностные оценки на будущее всегда были.

   Чтобы найти вероятность определённого события в определённом опыте создано большое число методов её вычисления. Простейший из них –  классическое определение вероятности события, в котором указывается как надо вычислять вероятность события в простейшем «классическом» опыте.

   В учебных упражнениях вероятности событий, по вероятностям которых вычисляются искомые вероятности, указываются неявно. Например, в задаче: «Лежат в ящике шары, одинаковые по размеру и на ощупь, один из них отмечен. Наудачу вынимают один шар — какова вероятность вынуть отмеченный шар?» — вероятности некоторых событий указаны условиями «одинаковые по форме и на ощупь» и «наудачу вынимают один шар». Они говорят о том, что ни один из шаров не имеет большую вероятность быть вынутым, чем любой другой. Если шаров в ящике 20, то вероятность вынуть отмеченный шар равна 1/20.

  В более сложных случаях приходится дополнять условия задачи, не меняя её вероятностного содержания.
 

 

 

 

 

 

 

 

 

 

 

 

Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: