Anti-PISA. Anatoly Krasnyansky: Errors in PISA tasks. Старший научный сотрудник Химического факультета МГУ, критикует группу заданий программы PISA-2006 «Горячая работа»: «Если учащийся знает, что вода не кипит и сталь не светится при 40 С, то он компетентен в научном объяснении явлений?».

Показано, что первый вопрос группы заданий "Горячая работа" программы PISA-2006 является логически некорректным. Кроме того, из этого вопроса следует: "Если учащийся знает, что вода не кипит и сталь не излучает красный свет при 40 градусах по Цельсию, то он компетентен в научном объяснении явлений".

Anti-PISA

Anatoly Krasnyansky: Errors in PISA tasks

 

 

Анатолий Владимирович Краснянский, старший научный сотрудник Химического факультета МГУ, критикует группу заданий международной программы PISA-2006  "Горячая работа":  "Если учащийся знает, что вода не кипит и сталь не  светится при 40 оС, то он компетентен в научном объяснении явлений?".

 

Источник информации о задачах программы PISA: http://www.centeroko.ru/public.htm

 

РОССИЙСКАЯ АКАДЕМИЯ ОБРАЗОВАНИЯ
ИНСТИТУТ СОДЕРЖАНИЯ И МЕТОДОВ ОБУЧЕНИЯ
ЦЕНТР ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ
ПРИМЕРЫ ЗАДАНИЙ ПО ЕСТЕСТВОЗНАНИЮ

 

 

Международная оценка образовательных достижений учащихся
(Programme for International Student Assessment – PISA)
У ч и м с я
д л я ж и з н и !

 

Москва, 2007

СОСТАВИТЕЛИ: КОВАЛЕВА Г.С., к.п.н., КОШЕЛЕНКО Н.Г.
ОФОРМЛЕНИЕ: БАРАНОВА В.Ю.

 

 

Группа заданий "Горячая работа"

Вопрос 1


    Петр ремонтирует старый дом. Он оставил в багажнике своей машины бутылку воды, несколько гвоздей и деревянный брусок. После того, как машина три часа простояла на солнце, температура внутри нее достигла 40ºC. Что произошло с предметами в машине? Обведите «Да» или «Нет» для каждого утверждения.

Произошло ли следующее с предметами в машине? Да или Нет?

Температура всех предметов стала одинаковой.                                                         Да / Нет
Спустя некоторое время вода начала кипеть.                                                             Да / Нет
Спустя некоторое время гвозди накалились докрасна.                                              Да / Нет

ОЦЕНКА ВЫПОЛНЕНИЯ ЗАДАНИЯ
Ответ принимается полностью – 1 балл.
Процент российских учащихся, набравших данный балл 38,3
Код 1: Три верных ответа: Да, Нет, Нет в указанном порядке.
Ответ не принимается
Код 0: Другие ответы.
Код 9: Ответ отсутствует.

Тип вопроса: комплексный с выбором ответа
Компетенция: научное объяснение явлений
Содержание: физические системы
Область применения: связь естествознания и технологии
Контекст: личностный

 

Анализ первого вопроса

 

   Во-первых, неясно, что такое "температура внутри машины"? Внутри машины много различных частей, поверхностные слои  (поверхности) которых могли иметь различные температуры. Те поверхности, которые были под лучами солнца, могли иметь значительно большую температуру, чем те, которые были в тени. Температура воздуха внутри салона могла быть иной, чем температура воздуха внутри багажника.

Во-вторых, коэффициент теплопроводности древесины, например сосны поперек волокон составляет 0,15 Вт/м К, вдоль волокон 0,40 Вт/м К; коэффициент теплопроводности стали 50 — 80 Вт/м К , то есть коэффициент теплопроводности древесины в 100 — 500  раз меньше, чем стали (см. справочник "Физические величины". Под редакцией И.С. Григорьева, Е.З. Мейлихова. Москва. Энергоатомиздат. 1991).   Следовательно, не факт, что температура всех предметов, в том числе деревянного бруска была равна 40 оС. Можно предположить, что температура поверхностного слоя деревянного бруска действительно была равна 40 оС, однако температура внутри бруска могла быть иной. Поэтому "правильный" ответ: "Температура всех предметов стала одинаковой" может не соответствовать действительности. 

В-третьих, чтобы ответить правильно (с точки зрения авторов вопроса), достаточно знать, что при 40 оС вода не кипит и сталь не излучает красный свет. Почему же только 38, 3 % российских учащихся ответили "правильно"?  Вероятно, это объясняется тем, что на ответ учащимся давали очень мало времени. Каждый ученик должен был письменно за 2 часа ответить на 50 — 60 вопросов по чтению, математике и естествознанию.  

  

Вопрос 2


    Петр налил себе чашку кофе, температура которого была около 90ºC, и чашку холодной минеральной воды, температура которой около 5ºC. Обе чашки одинаковые и объем напитков тоже одинаковый. Температура в комнате, где находился Петр, была около 20ºC. Какой, вероятнее всего, будет температура кофе и минеральной воды  через 10 минут?
A                      70ºC и 10ºC
B                       90ºC и 5ºC

                      70ºC и 25ºC 
D                       20ºC и 20ºC

ОЦЕНКА ВЫПОЛНЕНИЯ ЗАДАНИЯ
Ответ принимается полностью – 1 балл.
Процент российских учащихся, набравших данный балл 57,8
Код 1: A. 70ºC и 10ºC
Ответ не принимается
Код 0: Другие ответы.
Код 9: Ответ отсутствует.
Тип вопроса: с выбором ответа
Компетенция: научное объяснение явлений
Содержание: физические системы
Область применения: связь естествознания и технологии
Контекст: личностный

Вопрос 3


    Насколько вам интересно следующее?  Отметьте только одну клетку в каждой строке.
                                                                                    Очень интересно          Интересно          Мало интересно          Не интересно
a) Понять, как форма чашки влияет на
скорость охлаждения кофе.                                                     1                               2                               3                                  4
b) Узнать, чем отличается расположение
атомов дерева, воды и стали.                                                 1                               2                               3                                  4
c) Узнать, почему различные твердые
тела по-разному проводят тепло.                                           1                               2                               3                                 4

Тип вопроса: на оценку отношений
Отношение: интерес к науке

 

Статья не закончена!

 

 Внимание!

Здесь представлен последний вариант статьи Ошибки в группе заданий  "Горячая работа":

 

 

Анатолий Краснянский

  Программа PISA — международный лохотрон. Аргумент 20: Ошибки в группе заданий "Горячая работа" 

 

 

Предварительная информация

Лохотрон – это  действия или мероприятия, направленные на получение какой-либо выгоды путем обмана. Исходя из этого определения, можно указать два существенных признака лохотрона: 1) получение какой-либо выгоды; 2) наличие обмана.

PISA   – Международное тестирование учащихся (PISA, Programme for International Student Assessment) осуществляется Организацией Экономического Сотрудничества и Развития ОЭСР (OECD – Organization for International Cooperation and Development). Испытания проводятся раз в три года, начиная с 2000 года: в 2000, 2003, 2006,  2009 и 2012 годах.

Программа ПИЗА-2003 осуществлялась консорциумом, состоящим из ведущих международных научных организаций при участии национальных центров и организации ОЭСР.

Руководил работой в 2003 году консорциум Австралийский Совет педагогических исследований (The Australian Council for Educational Research – ACER). В Консорциум входили также следующие организации:

Нидерландский Национальный институт измерений в области образования (Netherlands National Institute for Educational Measurement – CITO);

Служба педагогического тестирования США (Educational Testing Service, ETS);

Японский Национальный институт исследований в области образования (National Institute for Educational Research, NIER);

Американская организация ВЕСТАТ (WESTAT), выполняющая различные исследования по сбору статистической информации [1].

Российский филиал  PISA  (2003 год):

Министерство образования РФ: Филиппов В.М., Болотов В.А., Киселев А.Ф., Баранников А.В., Иванова С.В., Суматохин С.В., Разумовская О.В.

Институт средств и методов обучения РАО: Рыжаков М.В., Суворова С.Б., Кузнецова Л.В., Корощенко А.С., Резникова В.З., Дюкова С.В., Цыбулько И.П., Нурминский И.И., Нурминский А.И.

Центр оценки качества образования ИСМО РАО: Ковалева Г.С., Красновский Э.А., Краснокутская Л.П., Краснянская К.А., Баранова В.Ю., Кошеленко Н.Г., Нурминская Н.В., Смирнова Е.С. 

   В 2003 г  приняло участие более 250 тысяч 15-летних подростков из 41 страны; в России почти 6 тысяч человек (212 школ) из 46 районов. Каждый ученик должен был за 2 часа письменно ответить на 50-60 вопросов по математике, чтению, естествознанию и решению проблем. Российские школьники заняли 29-31 место по математике,  24  по естественным наукам и  по грамотности чтения 32 место [1].

Цель работы.  Целью данной и последующих работ является доказательство тезиса:  "PISA — международный лохотрон".

Актуальность работы.   В течение последних десяти лет в системе образования проводят радикальные реформы ("модернизацию"). "Модернизация" — это разрушение советской системы образования. Для разрушения системы было необходимо убедительное обоснование. Для этого использовали  данные программы PISA. Это программа "показала", что наши пятнадцатилетние учащиеся якобы не умеют применять свои знания.

Очень важно, что "модернизаторы", начиная ломать советскую систему образования, проигнорировали факт: 

десятки, сотни тысяч наших соотечественников устраивались в странах Западной Европы, в США и в Канаде по специальности.  То есть наша (советская) система образования была конкурентноспособной.

Зачем же ее надо было разрушать? Советскую систему образования не надо было уничтожать, ее надо было развивать, совершенствовать.

Следует обратить внимание на то, что высшие чиновники РФ и видные ученые (в смысле — "все время на виду")  проигнорировали факт, но поверили результатам программы PISA.  Объективных (не зависящих от воли и желания) способов "измерения" знаний и умений нет и  быть не может (смотрите, например,  https://avkrasn.ru/article-192.html ). 

Программа PISA является единственным "обоснованием" для разрушения советской системы образования. В связи с этим очень важно показать, что программа дает недостоверные результаты по оценке знаний и умений учащихся.

Ректор  МГУ имени М.В. Ломоносова академик  РАН Виктор Антонович Садовничий и академик РАН Виктор Анатольевич Васильев рассмотрели несколько заданий по математике и естествознанию программы PISA-2003 и подвергли их жесткой критике.

Структура доказательства.   Ранее были указны два существенных признака лохотрона: 1) получение какой-либо выгоды; 2) наличие обмана. Обман — умышленное введение в заблуждение. Получение выгоды доказывать не нужно, поскольку работа в программе PISA хорошо оплачивается, недаром в ней всегда участвуют высшие чиновники министерства и видные придворные ученые. 

Следовательно, чтобы доказать тезис: PISA — международный лохотрон" необходимо:

1.  Доказать,  что программа  PISA  вводит в заблуждение, то есть не дает объективную информацию о знаниях и умениях учащихся. Для  этого достаточно доказать, что 30 % заданий  содержат ошибки.  

2. Доказать, что деятели программы PISA умышленно ввели в заблуждение сотни миллионов людей, то есть имеет место обман.

 

А.В. Краснянский

Системный анализ группы заданий "Горячая работа"  международной программы PISA-2006.

 

 

1. Введение

Группа заданий «Горячая работа» состоит из трех вопросов. Третий вопрос направлен на выявление интересов учащихся (см. приложение 1) и поэтому не рассматривается. Группу заданий "Горячая работа" можно найти по адресу — http://window.edu.ru/resource/350/60350 .

 

 

2. Фрагменты заданий и их анализ

2.1. Фрагмент № 1

Вопрос 1

Петр ремонтирует старый дом. Он оставил в багажнике своей машины бутылку воды, несколько гвоздей и деревянный брусок. После того, как машина три часа простояла на солнце, температура внутри нее достигла 40ºC. Что произошло с предметами в машине?

         Обведите «Да» или «Нет» для каждого утверждения.

         Произошло ли следующее с предметами в  машине?

     Температура всех предметов стала   одинаковой.              Да / Нет

     Спустя некоторое время вода начала кипеть.                      Да / Нет

     Спустя некоторое время гвозди накалились  докрасна.    Да / Нет

ОЦЕНКА ВЫПОЛНЕНИЯ ЗАДАНИЯ

Ответ принимается полностью – 1 балл.

Процент российских учащихся, набравших данный балл 38,3

Код 1: Три верных ответа: Да, Нет, Нет в указанном порядке.
Ответ не принимается
Код 0: Другие ответы.
Код 9: Ответ отсутствует.
Тип вопроса: комплексный с выбором ответа
Компетенция: научное объяснение явлений
Содержание: физические системы
Область применения: связь естествознания и технологии
Контекст: личностный

2.2. Анализ фрагмента № 1

2.2.1. Анализ высказывания: «После того, как машина три часа простояла на солнце, температура внутри нее достигла 40ºC». Во-первых, физики не говорят: «Температура внутри…». В физике есть понятие «температура тела», поскольку температура характеризует среднюю энергию движения (поступательную, колебательную, вращательную) частиц,  из которых состоит тело. Во-вторых, в легковом автомобиле есть салон, есть багажник, есть двигатель и много других предметов  внутри  автомобиля.

В салоне, например, есть панель с приборами. Температура поверхностного слоя панели, если панель находится под лучами Солнца, может быть выше температуры воздуха в салоне.  Следовательно, выражение «температура внутри автомобиля»  – это неясное словосочетание.  Можно попытаться перевести это словосочетание с бытового языка на научный язык. Вероятно, авторы первого вопроса хотели сообщить учащимся, что «температура воздуха внутри салона была 40о С» или «температура воздуха внутри багажника была 40о С». Если багажник отделен от салона, то  температура воздуха в  салоне и в багажнике может быть различной. 

2.2.2. Анализ "правильного", по мнению авторов, ответа:  «Температура всех предметов стала одинаковой». Этот ответ правильный только в том случае, если достоверно известно, что все предметы в машине находятся в тепловом равновесии с воздухом, но как раз это и неизвестно. Известно только, что "машина три часа простояла на Солнце". 

Рассмотрим понятие «температура деревянного бруска, лежащего в багажнике».  Верхняя часть багажника (или часть его) находится под лучами Солнце и его температура Т1 выше температуры Т2 нижней части (дна) багажника. Температура воздуха в багажнике Т3 больше Т2 и меньше Т1.  Брусок лежит  на дне багажника, следовательно, температура поверхностного слоя нижней части бруска близка к Т2. Температура  поверхностного слоя верхней части бруска близка к температуре воздуха Т3.  Распределение температур внутри бруска неизвестно.  Следовательно, понятие «температура деревянного бруска, лежащего в багажнике» в условиях, о которых говорится в задаче, является неясным и неточным понятием. То же самое касается гвоздей и бутылки с водой. 

Если  деревянный брусок (или гвозди, или бутылку) подвесить в багажнике на тонкой нити, и если температуру воздуха в багажнике поддерживать постоянной (с помощью вентиллятора, подающего воздух, который имеет постоянную температуру) в течение длительного промежутка времени  (этот промежуток времени можно установить только экспериментально с помощью датчиков температуры), то между этими телами и воздухом установится тепловое равновесие, то есть  температура всех частей этих тел будет одинакова и  равна температуре воздуха. 

Необходимо подчеркнуть, что кузов машины, стоящей под лучами Солнце, непрерывно получает энергию (не только от Солнца) и отдает ее. Например, с 9 часов до 12 кузов будет нагреваться, а с 16 до 18 часов будет охлаждаться, то есть средняя температура кузова все время будет изменяться. Следовательно, нет никаких оснований для утверждения, что внутри машины за три часа стояния между всеми предметами в машине установится тепловое равновесие.    

   Вопрос: «Стала ли температура всех предметов одинаковой?» содержит неясные и неточные понятия  "температуры тел…" в условиях, когда неизвестно, наступило тепловое равновесие или нет. Следовательно, этот вопрос является  бессмысленным вопросом. Бессмысленный вопрос – разновидность логически некорректных вопросов.   

2.2.3. Анализ вопросов: «Начала  ли  кипеть вода?» и «Накалились ли докрасна гвозди?». Чтобы ответить на эти вопросы, не нужно знать физики, достаточно  бытовых знаний:  вода  кипит при температуре более 40о С  и металлы " не излучают красный свет  при 40о С. Например, ложка из нержавеющей стали, находящаяся в кражке с чаем при 70оС, не излучает красный свет. Это знают и дошкольники.

Добавить  обсуждение требований к тестам.

2.3. Фрагмент № 2

Вопрос 2

Петр налил себе чашку кофе, температура которого была около 90ºC, и чашку холодной минеральной воды, температура которой около 5ºC. Обе чашки одинаковые и объем напитков тоже одинаковый. Температура в комнате, где находился Петр, была около 20ºC. Какой, вероятнее всего, будет температура кофе и минеральной воды через 10 минут?

70ºC  и  10ºC

  90ºC  и  5ºC

C   70ºC  и  25ºC

  20ºC  и  20ºC

ОЦЕНКА ВЫПОЛНЕНИЯ ЗАДАНИЯ

Ответ принимается полностью – 1 балл.
Процент российских учащихся, набравших данный балл 57,8

Код 1:   A   70ºC и 10ºC

Ответ не принимается
Код 0:  Другие ответы.
Код 9:  Ответ отсутствует.
Тип вопроса: с выбором ответа
Компетенция: научное объяснение явлений
Содержание: физические системы
Область применения: связь естествознания и технологии
Контекст: личностный

2.4. Анализ фрагмента № 2

2.4.1. Анализ вопроса: «Какой, вероятнее всего, будет температура кофе и минеральной воды через 10 минут?»  Из вопроса следует, что все  ответы A, B, C и  D    вероятны, но есть наиболее вероятный. Однако ответ С указывает на явление, которое не может произойти:   никогда минеральная вода (или любой другой предмет) с начальной температурой 5оС не достигнет температуры 25оС,  если температура окружающего воздуха  20оС и нет какого-либо источника энергии, нагревающего воду (или любой другой предмет в комнате). Следовательно, вариант С  невозможен. Однако деятели программы PISA об этом не знают, и считают, что вариант С является вероятным, то есть возможным. 
 
   О логически некорректных вопросах остроумно высказался немецкий философ И. Кант:  «Умение ставить разумные вопросы есть уже важный и необходимый  признак ума и проницательности. Если вопрос сам по себе бессмыслен и требует бесполезных ответов, то кроме стыда для спрашивающего, он имеет иногда тот недостаток, что побуждает неосторожного слушателя к нелепым ответам и создает смешное зрелище: один (по выражению древних) козла доит, а другой держит под ним решето». 

  Анализ  заданий международной программы PISA  позволяет уточнить выражение древних мудрецов  применительно к современности: «Одни козлов доят, других заставляют держать под козлами решето, и весь мир обсуждает результаты этого доения».    

 Источник: URL:  https://avkrasn.ru/article-1063.html )

 

 

 Приложение 1

  URL:   http://semidc.edusite.ru/DswMedia/pisa2006_zadaniyapoestestvoznaniyuexampleunitsscience.pdf

 


 

 

 

Приложение 2

URL:   http://www.oecd.org/pisa/pisaproducts/Take%20the%20test%20e%20book.pdf

 

 

 

 

 

Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: