Чтобы правильно понять то, о чем говорится в статье А.Ю. Пентина относительно «ПИЗЫ», необходимо посмотреть раздел: «Системный анализ заданий программы PISA»: https://avkrasn.ru/category/anti-pisa-sistemnyi-analiz-zadanii-mezhdunarodnogo-issledovaniia/
Александр Юрьевич Пентин
Что нам делать с PISA?
Говорит ли нам PISA о качестве нашего образования?
30 августа 2008 года. А.Ю. Пентин. Что нам делать с PISA? URL: http://www.in-exp.ru/arhive/105-pisa.html
Мы опять провалились в PISA1. Если судить по результату в баллах, показанному российскими школьниками в 2006 году, то принципиально ничего не изменилось по сравнению с PISA-2000 и PISA-2003: мы остались там же, где и были, а именно, в группе стран, имеющих результат ниже среднего балла среди 57 государств-участников этого исследования. Наши места во всех трех номинациях – математическая грамотность, естественнонаучная грамотность и грамотность чтения – оказались где-то между 30-м и 40-м. Практически все развитые страны выше. Выше и прибалтийские государства, еще недавно республики СССР, а Эстония вообще идет вплотную за лидерами. Лучшие в PISA – Финляндия, Корея, Гонконг, Китайский Тайбэй. А где-то рядом с нами – Италия, Португалия, Греция, Израиль. Слабое утешение. Но в нашем образовательном сообществе тихо, никто не бьет в колокола. Интересно, почему? На это могут быть две основные причины. Первая – под условным названием «Запад нам не указ». Вторая – шуметь не имеет смысла, потому что все равно не видно, как выходить из этого тупика. Впрочем, иногда вторая причина маскируется под первую, но это уже из разряда «виноград зелен».
Стоит ли всерьез рассматривать аргументы сторонников той точки зрения, что PISA ничего не говорит нам о качестве нашего образования? В общем-то, не стоит, потому что у них просто нет серьезных аргументов. Есть вера, а вера, как известно, в доказательствах не нуждается. Да, они все еще верят в то, что наше образование, если уже и не «самое лучшее в мире», то очень, очень хорошее. Если спросить, почему они так думают, то они могут рассказать о разных курьезных случаях. Например, о том, как одна девочка, учившаяся на тройки в нашей гимназии, уехала с родителями в США и там сразу стала отличницей в своей школе. Что за город и что за школа обычно не уточняется. Не говоря уж о том, что США и в самом деле нам здесь не указ, потому что результаты в PISA у этой страны немногим лучше, чем у нас. Еще могут сказать, что рабочий язык у программистов в Силиконовой долине или у математиков в Принстоне – русский, так много там наших. Но самый весомый довод – успехи российских школьников в международных предметных олимпиадах. Этот радостный факт действительно имеет место, и остается только удивляться тому, что олимпиадная система в России устояла в лихие 90-е и дает стабильные результаты уже в этом веке. Но о чем свидетельствует этот факт? О том, что при подготовке олимпиадников совпали три обстоятельства: сложное содержание, высоко профессиональные педагоги (причем это могут быть как школьные учителя, так и преподаватели высшей школы) и талантливые ученики. А как быть, если не все три условия налицо? Вернее так. Одно условие практически всегда присутствует в нашей школе – сложное и громоздкое содержание. Еще его называют фундаментальным, системным, академическим. Но встречаются с этим содержанием, как правило, обычные учителя и обычные ученики. Результативность такой комбинации крайне низкая. Фактически, т.е. на уровне понимания, это содержание не могут освоить ни те, ни другие.
Но есть и серьезное утверждение, с которым, пожалуй, согласятся как противники, так и многие сторонники PISA:
PISA проверяет совсем не то образование, которое мы даем
А что же в действительности проверяет исследование PISA? На первый взгляд тут нет никаких секретов. «Исследование направлено не на определение уровня освоения школьных программ, а на оценку способности учащихся применять полученные в школе знания и умения в жизненных ситуациях (курсив мой2). В этом отражаются современные тенденции в оценке образовательных достижений». Так написано в кратком отчете по PISA-2006, подготовленном Центром оценки качества образования РАО, сайт http://www.centeroko.ru. Эта способность раскрывается в виде конкретных умений по трем направлениям, включенным в исследование: грамотность чтения, математическая грамотность и естественнонаучная грамотность. Посмотрим внимательно на эти умения.
В исследовании грамотности чтения «оцениваются умения, овладение которыми свидетельствует о полном понимании текста:
- нахождение информации;
- интерпретация текста;
- рефлексия на содержание текста или его форму и их оценка.
Для оценки умения находить информацию используются задания, при выполнении которых учащемуся требуется «пробежать» текст глазами, определить его основные элементы и заняться поисками необходимой единицы информации, порой в самом тексте выраженной в иной (синонимической) форме, чем в вопросе.
Для оценки умения интерпретировать текст учащимся предлагается сравнить и противопоставить заключенную в тексте информацию разного характера, обнаружить в нем доводы в подтверждение выдвинутых тезисов, сделать выводы из сформулированных посылок, вывести заключение о намерении автора или главной мысли текста.
Для оценки рефлексии на содержание или форму текста необходимо, чтобы учащийся, выполняя задание, связал информацию, обнаруженную в тексте, со знаниями из других источников, оценил утверждения, сделанные в тексте, исходя из своих представлений о мире, нашел доводы в защиту своей точки зрения» [1].
«Под математической грамотностью понимается способность учащихся:
- распознавать проблемы , возникающие в окружающей действительности, которые могут быть решены средствами математики;
- формулировать эти проблемы на языке математики;
- решать эти проблемы, используя математические факты и методы;
- анализировать использованные методы решения;
- интерпретировать полученные результаты с учетом поставленной проблемы;
- формулировать и записывать результаты решения» [1]. Наконец в исследовании естественнонаучной
- грамотности оценивается способность учащихся:
- «распознавать проблемы , которые могут исследоваться естественнонаучными методами, демонстрируя понимание основных особенностей естественнонаучного исследования;
- объяснять или описывать естественнонаучные явления, используя имеющиеся научные знания, и прогнозировать изменения.
- использовать научные доказательства и имеющиеся данные для получения выводов, их анализа и оценки достоверности»3.
Чтобы проиллюстрировать, как именно проверяется наличие этих умений в рамках всех трех направлений, безусловно, следовало бы привести примеры заданий PISA, но их особенность в том, что они довольно объемны и не вмещаются в формат статьи. Вместе с тем достаточно обширный банк заданий можно найти на сайтах http://www.pisa.oecd.org и http://www.centeroko.ru, а детальный анализ самих заданий проведен, например, в работах [2-4]. Заметим лишь, что каждое из заданий включает текст, в котором описывается некоторая ситуация или какая-то проблема, и несколько вопросов различной трудности. Анализ показывает, что эти вопросы, как правило, точечно нацелены на диагностику того или иного из перечисленных выше умений и, в меньшей степени, на проверку предметных знаний. Но мы хотели бы обратить внимание на другое. Если рассматривать умения, относящиеся ко всем трем направлениям, совокупно и именно в той последовательности, в какой они расположены выше, то обнаружится, что они представляют собой некое единство и даже описывают определенный план поведения. Что же это за план?
Будет банальностью сказать, что мы живем в информационной среде. Однако попробуем развернуть эту немудреную мысль. Значительный пласт этой среды представляет множество текстов самого разного вида4. Разумеется, это не только письменные тексты, но и речевые высказывания, иными словами то, что говорят окружающие нас люди. Некоторые из этих текстов затрагивают нас непосредственно, и первое, что порой жизненно необходимо сделать, – понять смысл текста. В исследовании PISA понимание текста раскрывается через вполне конкретные диагностируемые умения. Важен итог того процесса понимания, который по существу моделируется и формализуется в заданиях по оценке грамотности чтения. А он состоит в формулировании своей позиции по отношению к тексту, или в том, что определяется в PISA как рефлексия на него. При этом позиция должна быть аргументированной, основанной на анализе (интерпретации) текста и соотнесенной с другими источниками информации.
Однако это только начало пути, если рассматривать умения по всем трем направлениям PISA (чтение, математика, естествознание) как единый план. Текст может описывать проблему, для решения которой первым делом надо выбрать адекватный инструментарий. Например, идентифицировать проблему как математическую или естественнонаучную (см. первое из умений, включенных в понятия математической и естественнонаучной грамотности). Собственно, позиция по отношению к тексту уже может включать в себя и то, чтобы мы распознаем содержащуюся в нем математическую или естественнонаучную задачу. И тогда дальше мы должны действовать, применяя в нужной последовательности те умения, которые в PISA относят к математической или естественнонаучной грамотности (см. выше). Что это, как ни план действий человека в информационной среде при встрече с проблемой, которую надо решить?
Разумеется, можно сказать, что этот план имеет частный характер, ведь не все же проблемы, с которыми мы сталкиваемся в жизни (включая профессиональную деятельность), удается превратить в математические или естественнонаучные задачи. Да, далеко не все. Но алгоритм действий при столкновении с любым текстом, содержащим проблему, достаточно универсален: понять – сформулировать отношение – распознать проблему – выбрать адекватный инструментарий – решать. На ином уровне конкретизации этот план становится вариативным, начиная с момента выбора инструментария, который может быть самым разным. В PISA нам предлагаются образцы применения математического и естественнонаучного инструментария для решения несложных проблем. Хорошо формализованные учебные образцы, освоение которых доступно проверке.
Впрочем, не стоит слишком настаивать и на частном характере этих образцов, а значит, их узкой применимости. Так, например, весьма широкий круг реальных жизненных проблем может быть идентифицирован как проблемы, которые решаются исследовательскими методами. И это совсем не обязательно естественнонаучные проблемы, а исследовательские методы совсем не обязательно подразумевают научный профессионализм. Скажем, одно из ключевых умений, проверяемых в PISA – «использовать научные доказательства и имеющиеся данные для получения выводов, их анализа и оценки достоверности», – можно смело вывести за рамки только естественнонаучной грамотности и отнести к самой общей культуре рассмотрения почти любых проблем. Даже слово «научные» тут не должно пугать. Это всего лишь означает логику, аргументированность и опору на факты. Точно так же, очень широка применимость математических методов. Ведь по существу первые два пункта математической грамотности (см. выше) описывают математическое моделирование ситуации, а остальные – обсчет модели и анализ результата. Много ли ситуаций и проблем в принципе доступно математическому моделированию? Этот вопрос практически тождествен другому: много ли из них можно моделировать на современных компьютерах? Порой кажется, что почти все. Хотя это, конечно, не так.
Задания PISA включают еще одну очень важную составляющую. Мы часто говорим о ценностных основаниях образования, иначе говоря, о ценностях, производными от которых являются цели образования. Во многих заданиях PISA тоже просматриваются определенные ценности. Вот небольшая подборка вопросов из заданий:
Из задания «Грипп» (грамотность чтения)
«В информационном листке говорится:
КОМУ СЛЕДУЕТ ПРОЙТИ ИММУНИЗАЦИЮ? Каждому, кто заинтересован защитить себя от вируса. |
После того, как Ирина Николаевна распространила информационный листок, ее коллега сказала ей, что нужно исключить слова «Каждому, кто заинтересован защитить себя от вируса», потому что они вводят людей в заблуждение.
Согласны ли вы с тем, что эти слова вводят в заблуждение и их следует исключить из текста?
Объясните свой ответ».
Из задания «Граффити» (грамотность чтения)
«Анализируя каждое письмо (одно письмо против, а другое в защиту граффити – А.П.), мы можем обсуждать, что говорится в письме (т.е. его содержание).
Мы можем также обсуждать, как написано письмо (т.е. его стиль).
Безотносительно к тому, с чьим письмом вы согласны, объясните, кто из этих двух авторов, по вашему мнению, написал письмо лучше? Обоснуйте свой ответ, ссылаясь на то, как написаны оба или одно из этих писем».
Из задания «Результаты тестирования» (математическая грамотность)
«Посмотрев на диаграмму (в задании приведена диаграмма – А.П.), учитель сделал вывод о том, что группа В лучше выполнила тест, чем группа А. Учащиеся группы А не согласились с учителем. Они постарались убедить его в том, что группа В не обязательно выполнила тест лучше.
Основываясь на диаграмме, приведите один математический аргумент, которым могли бы воспользоваться учащиеся группы А».
Из задания «Поддержка Президента» (математическая грамотность)
«Какая из газет провела опрос общественного мнения (даны результаты и условия опросов, проведенных четырьмя газетами – А.П.), который с большей вероятностью предсказывает уровень поддержки Президента, если выборы должны состояться 25 января? Приведите два довода для обоснования вашего ответа».
Из задания «Автобусы» (естественнонаучная грамотность)
«Сторонники использования троллейбусов в городах утверждают, что этот вид транспорта не вносит вклада в загрязнение окружающей среды.
Правы ли эти сторонники? Поясните свой ответ».
Из задания «Одежда» (естественнонаучная грамотность)
«Ученый говорит, что материал не будет портиться, если его стирать, оборачивать вокруг каких-то предметов или мять. Он также утверждает, что может быть налажено дешевое массовое производство этого материала.
Могут ли эти утверждения быть проверены с помощью научных исследований в лабораторных условиях?»
Безотносительно к содержанию заданий, постараемся понять, что означают вопросы подобного типа, которых немало в PISA. Вероятно, все их можно объединить под знаменитым девизом: «Подвергай все сомнению». В явной или неявной форме они помещают нас в ситуацию дискуссии, где всегда присутствуют альтернативы, которые необходимо рассматривать и сопоставлять. Тесты PISA как бы говорят нам, что критическая позиция возможна по отношению к любому утверждению, кто бы его ни сделал: учитель, ученый, политик, газета, защитники окружающей среды. Однако эта критическая позиция должна обязательно обосновываться подходящими аргументами: логическими, математическими, лингвистическими, экспериментальными. Ценности, которые стоят за этим, очевидны. Это ценности открытого общества, где не существует монополии на истину, и едва ли ни любое утверждение может быть предметом обсуждения и критики.
Даже эта далеко не полная характеристика заданий PISA позволяет понять, что цели современного образования, которые подразумеваются разработчиками этого международного исследования, заметно расходятся с практикой российской школы. При этом вряд ли даже отечественные скептики станут утверждать, что умения учащихся, которые диагностируются в PISA (см. выше), не важны или совсем уж не отвечают нашим ценностям. Более того, среди требований к подготовке выпускников в стандартах по отдельным предметам [6] можно найти немало совпадений с этими умениями. Однако такие требования буквально тонут в море других, а главное, не выстраиваются в понятный план действий человека в информационной среде (см. выше). В нашей традиции – формулировать цели образования масштабно. Выпускник должен быть если не всесторонне, то разносторонне или гармонично развитой личностью, обладать теоретическими знаниями, уметь многое из того, что доступно разве что профессиональным научным работникам, и непременно отличаться креативностью. Все бы это неплохо, но тогда почему наши школьники плохо выполняют несложные тесты PISA5, которые всего-то и требуют: владения минимумом знаний, элементарнымипознавательными умениями и привычкой к самостоятельному мышлению?
В отчете OECD по PISA-2006, размещенном на сайте http://www.pisa.oecd.org, приведены данные6, показывающие, что средние баллы образовательных учреждений Российской Федерации, учащиеся которых участвовали в международном исследовании, различаются между собой совсем не так сильно, как можно было ожидать. У многих стран, занимающих в PISA-2006 более высокие места, чем Россия (например, Япония, Нидерланды, Китайский Тайбэй и др.), этот разброс между школами значительно шире. Это означает, что общий результат России обусловлен не столько разным уровнем школ, находящихся порой в резко отличающихся социально-экономических условиях7, сколько фундаментальными проблемами нашего образования. Иначе говоря, мы почти повсеместно преподаем не совсем то, что сегодня считается в мире важным и актуальным. Преподаем где-то лучше, где-то хуже, но практически везде – не то.
При проведении PISA учащимся, помимо выполнения заданий, предлагается заполнить анкету, которая должна помочь исследователям выявить факторы, влияющие на результаты тестирования. В 2006 году, когда главным направлением исследования была естественнонаучная грамотность, в анкете8 присутствовал и такой вопрос:
«Как часто на уроках естественнонаучных предметов происходит следующее?
- Учащимся дают возможность объяснить свои идеи.
- Учащиеся выполняют лабораторные или практические работы.
- От учащихся требуют спланировать, как какой-либо естественнонаучный вопрос можно исследовать в ходе эксперимента.
- Учащиеся должны применить естественнонаучные знания для решения проблем, взятых из жизни.
- На уроках используются мнения учащихся об изучаемом разделе или теме.
- Учащихся просят сформулировать выводы на основе проведенных ими экспериментов, лабораторных или практических работ.
- Учащимся разрешается планировать свои собственные исследования или эксперименты.
- На уроках проводятся обсуждения или дискуссии».
Нам пока не известны результаты обработки анкеты, но почему-то кажется, что подобные ситуации на уроках в российских школах – скорее исключение, чем правило.
И вот тут мы подошли к обсуждению второй возможной причины того, почему у нас не бьют во все колокола по поводу результатов российских школьников в PISA. Представьте, сколько было бы шума, если бы на Олимпийских играх наша страна заняла такое же место, как в PISA. А ведь завтрашний образовательный и культурный уровень нации, представление о котором дают результаты PISA, – никак не менее важная вещь, чем спортивные победы. Неужели наше спокойствие от беспомощности?
Задача исправления ситуации и вправду выглядит трудной. Непонятно, с чего начинать, а скорее всего, многое необходимо делать одновременно. Создавать новый стандарт, иначе писать учебники, давать другие задания на экзаменах, менять стиль преподавания. Одно цепляется за другое, не говоря уж о том, что все эти согласованные преобразования дидактического характера возможны лишь при наличии мощной подводной части айсберга – экономики образования. Казалось бы, кое-что из этого уже делается. К примеру, началось серьезное реформирование экономики образования, инициированное Приоритетным национальным проектом «Образование». Идет разработка образовательного стандарта второго поколения, в котором основным результатом образования названо освоение обобщенных способов действий, или компетенций9. Задания типа PISA включаются в экзаменационные материалы для проведения государственной итоговой аттестации выпускников 9 и даже 11 классов10, правда, совсем уж гомеопатическими дозами и при значительном сопротивлении адептов академических традиций российского образования. Однако результаты этих мер вряд ли проявятся в следующем исследовании PISA 2009 года. При таких темпах даже и на 2012 год надежды мало, ведь лишь примерно на эти сроки намечено внедрение нового стандарта для основной школы. И в лучшем случае в это же время могут появиться учебники, основанные на новом компетентностном стандарте11.
Между тем опыт ряда стран показывает, что ситуацию можно улучшить и за более короткие сроки. Если вести отсчет с 2000 года, то заметных позитивных сдвигов удалось добиться таким европейским странам, как Польша, Латвия, Германия, Венгрия (см. таблицы). Первые две из этих стран «стартовали» в 2000 году практически с тех же позиций, что и Россия, а по математической грамотности их балл был даже чуть ниже. Однако дальше их результат раз от разу постепенно улучшался, и на сегодня они находятся выше России по всем трем направлениям PISA. Особенно впечатляет неуклонное продвижение вверх Германии, страны, где результаты PISA-2000 были восприняты чуть ли ни как национальная катастрофа.
Таблица 1
Средние результаты (в баллах) пяти стран по грамотности чтения
Страны | PISA-2000 | PISA-2003 | PISA-2006 |
Венгрия | 480 | 482 | 482 |
Германия | 484 | 491 | 495 |
Латвия | 462 | 491 | 479 |
Польша | 479 | 497 | 508 |
Россия | 462 | 442 | 440 |
Таблица 2
Средние результаты пяти стран по математической грамотности
Страны | PISA-2000 | PISA-2003 | PISA-2006 |
Венгрия | 488 | 490 | 491 |
Германия | 490 | 503 | 504 |
Латвия | 463 | 483 | 486 |
Польша | 470 | 490 | 495 |
Россия | 478 | 468 | 476 |
Таблица 3
Средние результаты пяти стран по естественнонаучной грамотности
Страны | PISA-2000 | PISA-2003 | PISA-2006 |
Венгрия | 496 | 503 | 504 |
Германия | 487 | 502 | 516 |
Латвия | 460 | 489 | 490 |
Польша | 483 | 498 | 498 |
Россия | 460 | 489 | 479 |
По мнению специалистов Центра оценки качества образования РАО, «…многие страны, учитывая результаты, показанные в исследовании PISA, пересмотрели требования к образовательным достижениям учащихся, что позволило им обеспечить целенаправленную подготовку учащихся к выполнению подобных заданий»12. Возможно, в этих странах занялись и тем, что у нас презрительно называют «натаскиванием». Однако если подобное «натаскивание» на заданиях типа PISA способствует формированию у школьников компетентностей, как хороший тренажер способствует формированию мускулатуры, то что в этом плохого? В конце концов, пока не осуществлены более фундаментальные изменения, можно пойти и по такому пути.
К счастью, в нашей стране имеется и свой опыт оперативного улучшения ситуации. Речь идет о результатах международного исследования качества чтения и понимания текста PIRLS-2006, где выпускники начальной школы из России, Гонконга и Сингапура заняли самые высокие места13. В предыдущем исследовании PIRLS-2001 результаты России также были выше средних международных результатов, но по рейтингу наша страна занимала 12 место среди 35 стран-участниц. Однако в 2006 году мы занимаем уже первое место и имеем наибольший среди 37 стран прирост среднего балла (565 по сравнению с 528 в 2001 г.). Причины столь впечатляющего прогресса обсуждаются в аналитических материалах Центра оценки качества образования РАО (см. ссылку 13), а мы здесь лишь констатируем, что механизмы для довольно быстрого изменения положения дел были все-таки найдены. И в странах, которые улучшили результаты в PISA, и у нас в случае с PIRLS. Важно, чтобы была поставлена такая задача. Или, как принято теперь говорить, проявлена политическая воля.
Зададимся еще и таким вопросом. Как могли российские дети, уже и в 2001 году, на выходе из начальной школы, показавшие совсем неплохие результаты по качеству чтения, через 5 лет провалиться по грамотности чтения в PISA-200614? Ведь задания PIRLS и задания PISA по грамотности чтения имеют в своей основе одну и ту же идеологию и диагностируют, с учетом возраста, одни и те же умения. Что же произошло с нашими мальчиками и девочками за 5 лет обучения в основной школе? В какую яму они угодили? Казалось бы, в начальной школе они уже более или менее научились проходить первую часть того пути в информационной среде, о котором говорилось выше. Научились понимать текст и выражать свое отношение к его содержанию. Так что же, с 5 по 9 класс их отучали от этого? Или просто никак не закрепляли и не развивали эти умения? А без них трудно идти дальше, то есть приступать к решению проблем (математических, естественнонаучных и др.), о которых сообщается в тексте. Что же надо предпринять, и предпринять обязательно, чтобы выпускники российской начальной школы 2006 года, продемонстрировавшие прекрасную подготовку, не пришли к такому же печальному итогу через 5 или 6 лет15?
Пентин А.Ю.,
зав. кафедрой
АПК и ППРО г. Москва
Литература:
- Основные результаты международного исследования образовательных достижений учащихся PISA-2003. – М.: Центр оценки качества образования ИСМО РАО, 2004.
- Цукерман Г.А., Ермакова И.В., Кудина Г.Н., Соколова О.В. Понимание противоречий: микроанализ задач теста PISA-2000. – Психологическая наука и образование, 2005, №1.
- Ковалева Г.С. Изучение естественнонаучной грамотности в рамках международной программы PISA. – Естествознание в школе, 2004, №2.
- Пентин А.Ю. Использование подходов PISA при разработке учебных заданий к курсу «Естествознание» (10-11 кл.). – Естествознание в школе, 2006, №4.
- Международная программа PISA 2000. Примеры заданий по чтению, математике и естествознанию. – М.: Центр оценки качества образования ИСМО РАО, 2003.
- Федеральный компонент государственного стандарта общего образования. / Министерство образования Российской Федерации. – М., 2004.
1 Напомним, что англоязычная аббревиатура PISA расшифровывается как Program for International Student Assessment, Международная программа по оценке образовательных достижений учащихся. Она осуществляется Организацией Экономического Сотрудничества и Развития ОЭСР (OECD – Organization for Economic Cooperation and Development). Основной целью исследования PISA является оценка образовательных достижений учащихся 15-летнего возраста. Исследование PISA проводится трехлетними циклами, и в 2006 году завершился третий цикл программы.
2 Предлагаем именно выделенные курсивом слова считать рабочим определением того, что называют компетентностью (или ключевыми компетентностями, если говорить о каких-то основных типах «жизненных ситуаций»). Таким образом, можно сказать, что в исследовании PISA оцениваются некоторые компетентности школьников.
3 Взято из отчета OECD по PISA-2006, размещенного на сайте http://www.pisa.oecd.org. Переведено с английского языка автором статьи.
4 Определенная типология текстов, используемых в PISA, описана в [5].
5 Те, кто хочет попробовать свои силы в тестах PISA, могут сделать это на интерактивных образцах заданий по адресу http://pisa-sq.acer.edu.au.
6 Эти данные получены при исследовании естественнонаучной грамотности, которая была приоритетной областью в PISA-2006.
7 Характеристику выборки российских школ см. в кратком отчете по PISA-2006 Центра оценки качества образования РАО, сайт http://www.centeroko.ru
8 С анкетами, адресованными не только учащимся, но администрации образовательных учреждений, можно также познакомиться на сайте http://www.centeroko.ru
9 См. презентацию «Государственный образовательный стандарт общего образования второго поколения», руководителя проекта А.М. Кондакова, на сайте www.standart.edu.ru
10 См. сайт Федерального института педагогических измерений www.fipi.ru.
11 Впрочем, каким на самом деле будет этот стандарт, по материалам, представленным на сайте www.standart.edu.ru, пока сказать невозможно.
12 См. краткий отчет по PISA-2006 по адресу: http://www.centeroko.ru
13 См. материалы по PIRLS-2006 по адресу: http://www.centeroko.ru.
14 Конечно, это не буквально одни и те же дети. Но выборки в обоих исследованиях статистически надежно отражают общий уровень.
15 Возможно, и апробацию нового стандарта стоило начинать не с начальной школы, где и так все неплохо, а с основной школы.
Приложение 1
Александр Юрьевич Пентин
Александр Юрьевич Пентин. Заведующий центром естественнонаучного образования Института стратегии развития образования Российской академии образования. Кандидат физико-математических наук, доцент, профессор кафедры естественно-математического образования АПК и ППРО. Скриншоты сделаны 17 октября 2017 года. URL: http://www.instrao.ru/index.php/ru/sotrudniki-podrazdeleniy/item/1829-pentin-aleksandr-yurevich
Приложение 2
Пример ложных результатов программы PISA
Анатолий Краснянский
Системный анализ задания по математике «Кубики» программы PISA-2003
1. Введение
1.1. Предварительная информация
PISA (пиза) – Международное тестирование учащихся (PISA, Programme for International Student Assessment) осуществляется Организацией Экономического Сотрудничества и Развития ОЭСР (OECD – Organization for International Cooperation and Development). Испытания проводятся раз в три года, начиная с 2000 года: в 2000, 2003, 2006 и 2009 годах.
Программа ПИЗА-2003 осуществлялась консорциумом, состоящим из ведущих международных научных организаций при участии национальных центров и организации ОЭСР.
Руководил работой консорциума Австралийский Совет педагогических исследований (The Australian Council for Educational Research – ACER). В Консорциум входили также следующие организации:
Нидерландский Национальный институт измерений в области образования (Netherlands National Institute for Educational Measurement – CITO);
Служба педагогического тестирования США (Educational Testing Service, ETS);
Японский Национальный институт исследований в области образования (National Institute for Educational Research, NIER);
Американская организация ВЕСТАТ (WESTAT), выполняющая различные исследования по сбору статистической информации [1].
Российский филиал PISA (2003 год):
Министерство образования РФ: Филиппов В.М., Болотов В.А., Киселев А.Ф., Баранников А.В., Иванова С.В., Суматохин С.В., Разумовская О.В.
Институт средств и методов обучения РАО: Рыжаков М.В., Суворова С.Б., Кузнецова Л.В., Корощенко А.С., Резникова В.З., Дюкова С.В., Цыбулько И.П., Нурминский И.И., Нурминский А.И.
Центр оценки качества образования ИСМО РАО: Ковалева Г.С., Красновский Э.А., Краснокутская Л.П., Краснянская К.А., Баранова В.Ю., Кошеленко Н.Г., Нурминская Н.В., Смирнова Е.С.
В 2003 г приняло участие более 250 тысяч 15-летних подростков из 41 страны; в России почти 6 тысяч человек (212 школ) из 46 районов. Каждый ученик должен был за 2 часа письменно ответить на 50-60 вопросов по математике, чтению, естествознанию и решению проблем. Российские школьники заняли 29-31 место по математике, 24 по естественным наукам и по грамотности чтения 32 место [1].
1.2. Цель работы. Целью данной и последующих работ является доказательство тезиса: Результаты программы PISA не имеют накакой ценности
1.3. Актуальность работы. В течение последних десяти лет в системе образования проводят радикальные реформы («модернизацию»). «Модернизация» — это разрушение советской системы образования. Для разрушения системы было необходимо убедительное обоснование. Для этого использовали данные программы PISA. Это программа «показала», что наши пятнадцатилетние учащиеся якобы не умеют применять свои знания.
Очень важно, что «модернизаторы», начиная ломать советскую систему образования, проигнорировали факт:
десятки, сотни тысяч наших соотечественников устраивались в странах Западной Европы, в США и в Канаде по специальности. То есть наша (советская) система образования была конкурентноспособной.
Зачем же ее надо было разрушать? Советскую систему образования не надо было уничтожать, ее надо было развивать, совершенствовать.
Следует еще раз подчекнуть, что «модернизаторы» проигнорировали факт, но поверили результатам программы PISA. Объективных (не зависящих от воли и желания) способов «измерения» знаний и умений нет и быть не может (смотрите, например,( https://avkrasn.ru/anti-pisa-anatolii-krasnianskii-bezgramotnye-zadaniia-programmy-pisa-2003-defekty-v-gruppe-zadanii-po-matematike-pokhodka-prilozhenie-1-maksimalnye-skorosti-samoletov-i-raket-prilozhenie-2-obshchie-re/ ).
Таким образом, результаты PISA были в единственным «обоснованием» для разрушения советской системы образования.
Ректор МГУ имени М.В. Ломоносова академик РАН Виктор Антонович Садовничий и академик РАН Виктор Анатольевич Васильев рассмотрели несколько заданий по математике и естествознанию программы PISA-2003 и подвергли их жесткой критике. ( https://avkrasn.ru/kritika-zadanii-programmy-pisa-po-opredeleniiu-matematicheskoi-i-estestvenno-nauchnoi-gramotnosti-piatnadtsatiletnikh-shkolnikov-vystuplenie-viktora-antonovicha-sadovnichego-na-obshchem-sobranii-ran-1/ , https://avkrasn.ru/istoriia-razrusheniia-rossiiskoi-sistemy-obrazovaniia-2005-god-kritika-programmy-pisa-akademik-ran-viktor-anatolevich-vasilev-ispytanie-p-nezavisimaia-gazeta-114-prilozhenie-statia-vasileva-skrinshoty/ ).
1.4. Структура доказательства.
Тезис: Результаты программы PISA не имеют накакой ценности (PISA вводит в заблуждение, то есть не дает объективную информацию о знаниях и умениях учащихся).
Для этого достаточно доказать, что 30 % заданий или содержат ошибки в заданиях (являются логически некорректными) и (или) ошибки сделаны при оценке ответов и (или) сделаные какие-либо другие ошибки, связанные с нарушением требований к тестовым заданиям.
2. Задание по математике «Кубики» международной программы PISA-2003
Вопрос
На фотографии видны 6 кубиков, обозначенных буквами от a до f. Для каждого из них выполняется следующее правило: сумма кружков, изображенных на двух противоположных гранях кубика, всегда равна семи.
Ответ не принимается:
Код 0: Другие ответы.
Код 9: Ответ отсутствует.
Задание проверяет: 1-ый уровень компетентности – воспроизведение (простых математических действий, приемов, процедур)
Область содержания: пространство и форма
Ситуация: профессиональная деятельность
3. Анализ задания по математике «Кубики»
1. Вопрос относится к заданиям, общую структуру которых можно выразить следующим образом: «Известна сумма двух слагаемых и одно из слагаемых. Рассчитайте другое слагаемое». Здесь сумма равна 7, одно из слагаемых видно из рисунка (варьируется от 1 до 6). Такие задачи (тема: числа от 0 до 10) даются в первом классе [2,3]. Пример1: 4 + ? = 7; ? + 1 = 4 (задание 3 на стр. 36, [2]). Пример 2 (задание 2, стр. 54, [3]):
Слагаемое
|
3
|
7
|
4
| ||
Слагаемое
|
2
|
4
| |||
Сумма
|
10
|
8
|
9
|
7
|
6
|
В учебнике [2] нет задач с использованием игральных кубиков, зато есть аналогичные задачи с использованием костяшек («костей», «камней») домино (стр. 24 и 38).
На задачу «Кубики» правильно ответили только 57,2 % российских учащихся; 42,8 % (43 из 100) пятнадцатилетних учащихся в России не смогли (?), если верить «объективным» исследованиям программы PISA, решить задачу для 1-го класса. Очевидно, что PISA выдала ложный результат.
Исключено, что российские пятнадцатилетние школьники, в основном учащиеся 8 — 10 классов, не могут вычитать в пределах десяти, то есть не могут от 7 отнять 6, от 7 отнять 2 и так далее.
Как же можно объяснить ложный результат, полученный PISA?
Одной из причин, по-видимому, является системный дефект пизовской программы: ученику дают 50 – 60 заданий по грамотности чтения, математике, естествознанию (в программе PISA-2003 были еще задания, определяющие компетенцию в решении проблем). На выполнение 50 – 60 заданий дают всего 2 часа!
Причем некоторые задания являются логически некорректными, то есть не имеют правильного (истинного) ответа. Очевидно, что на поиски «правильного» (правильного – по мнению авторов задания) ответа на некорректные задания учащиеся могут потратить значительно больше времени, чем две минуты, а остальные задания выполнять в спешке.
Ученику нужно время на переключение внимания, нужно время, чтобы сосредоточиться на новом задании, нужно время, чтобы хотя бы один раз внимательно прочитать задание, нужно время, чтобы найти и записать ответ – и на все дается около 2 минут.
Чем быстрее человеку приходится выполнять задание, тем ниже точность его действий [ 5].
Другой причиной получения ложного результата может быть отсутствие мотивации у российских школьников, которым неинтересно было решать задачу для 1-го класса.
2. Авторы задания «Кубики» утверждают, что содержание задачи относится к пространству и форме, а ситуация отражает профессиональную деятельность. Но это не соответствует действительности.
Во-первых, чтобы ответить на задание «Кубики», нужно просто посчитать число кружочков на игральном кубике (одно из слагаемых), и из суммы, равной 7, отнять это число. Эта задача относится к теме, которую проходят в первом классе (первое полугодие): «Слагаемые. Сумма» [2].
Во-вторых, неясно, почему подсчет числа кружочков на игральном кубике относится к профессиональной деятельности. В какой профессии нужно регулярно рассчитывать число кружочков на нижней (невидимой) грани игрального кубика (или на костяшках домино)? Или речь идет о профессиональных игроках, участвующих в играх, в которых используются игральные кубики? Но игрокам это тоже не нужно!
4. Выводы
1. Задание по математике «Кубики» международной программы PISA-2003 — это задача для первого класса российской школы.
2. Согласно данным программы PISA, 43 % российских пятнадцатилетних учащихся не умеют решать задания «Известна сумма двух слагаемых и одно из слагаемых. Рассчитайте другое слагаемое». Это заведомо ложный результат, поскольку речь идет о целых числах, наибольшее из которых семь.
2. Результаты тестирования российских пятнадцатилетних учащихся по математике с помощью задания «Кубики» не имеют никакой ценности (следствие из пункта 2).
5. Источники информации
[1] Основные результаты международного исследования образовательных достижений учащихся ПИЗА-2003. Москва. Центр оценки качества образования ИСМО РАО, Национальный фонд подготовки кадров, 2004.
[2] Б.П. Гейдман, Т.В. Ивакина, И.Э. Мишарина. Математика. Учебник-тетрадь № 3 для первого класса начальной школы. Первое полугодие. Научный редактор И.В. Ященко. Москва. «Просвещение». «ЧеРо». Издательство МГУ. 2004.
[3] Б.П. Гейдман, Т.В. Ивакина, И.Э. Мишарина. Математика. Учебник для первого класса начальной школы. Второе полугодие. Научный редактор И.В. Ященко. Москва. «Просвещение». «ЧеРо». Издательство МГУ. 2004.
[4] Э.Р. Нурк, А.Э. Тельгмаа. Математика. Учебник для 5 класса средней школы. 2-е издание. Москва. «Просвещение». 1990.
[5] Грегори А. Кимбл. Как правильно пользоваться статистикой. Перевод с английского Б.И. Клименко. Москва. Финансы и статистика. 1982. С. 175.
Работа выполнена по контракту (трудовому договору) № 503 от 26 июня 2007 года с МГУ имени М.В. Ломоносова в лице декана химического факультета МГУ академика РАН, профессора Валерия Васильевича Лунина по теме: «Системный анализ учебной литературы».
Приложение 3
Анатолий Краснянский
Популярное изложение статьи: «Системный анализ задания по математике «Кубики» международной программы PISA-2003)
Есть на сайте — http://pedsovet.org/component/option,com_mtree/task,viewlink/link_id,46407/Itemid,343/
Задание содержит фотографию шести кубиков, на которых видно число кружочков на верхних гранях кубиков. Кубики обозначены буквами от a до f. Указывается, что для каждого из них выполняется следующее правило: сумма кружков, изображенных на двух противоположных гранях кубика, всегда равна семи. Задание заключается в том, чтобы вычислить число кружков, которые изображены на нижней грани соответствующего кубика и записать это число в таблицу.
Пример 1. на верхней грани кубика а 6 точек, следовательно, на нижней 7 – 6 = 1. Записываем 1 в ячейку таблицы, обозначенную буквой а.
Пример 2. На верхней грани кубика b есть два кружка, следовательно, на нижней 7 – 2 = 5. Записываем 5 в в ячейку таблицы, обозначенную буквой b. И так для всех шести кубиков.
По мнению деятелей программы ПИЗА, пятнадцатилетний учащийся, который решил это задание, не ошибившись в счете в пределах 10, удовлетворил свою потребность как «созидательный, заинтересованный и мыслящий гражданин». Вот только загадка: какую потребность он удовлетворил? Но и это еще не все! В задании «Кубик» деятели программы PISA указали следующие характеристики этого задания: «Задание проверяет: первый уровень компетентности – воспроизведение (простых математических действий, приемов, процедур); область содержания: пространство и форма; ситуация: профессиональная деятельность».
Во-первых, удивительно – правильно сосчитал в пределах 10, а уже соответствуешь первому уровню компетенции.
Во-вторых, непонятно, причем тут пространство и форма, если никаких действий, относящихся к стереометрии, учащийся не произвел.
В-третьих, что за профессию придумали пизовские деятели: считать число кружков на противоположной грани игрального кубика? Жаль, что неизвестно, в каком «интеллектуальном» центре (американском, японском, австралийском или нидерландском) сочинили этот опус.
Совершенно ясно, что восьмиклассникам и девятиклассникам дали обычное задание для первого класса, но выдали его за задание, которое проверяет таинственную «математическую грамотность». Неплохой прием, чтобы дурачить людей, в том числе педагогов. Вместо хорошо известных знаний, умений и навыков, пизовцы морочат голову «математической грамотностью», добавляя ней не менее таинственную «компетентность».
Здесь уместно вспомнить известный роман «Мастер и Маргарита» Михаила Афанасьевича Булгакова:
«— Осетрину прислали второй свежести, — сообщил буфетчик.
Голубчик, это вздор!
Чего вздор?
Вторая свежесть — вот что вздор! Свежесть бывает только одна — первая, она же и последняя. А если осетрина второй свежести, то это означает, что она тухлая!»
Нет первого (самого низкого) уровня компетенции, нет второго уровня компетенции, как впрочем, нет третьего или десятого. Человек либо компетентен в данном вопросе, либо некомпетентен. В связи с этим уместно сказать, что пизовские деятели некомпетентны в составлении заданий.
Какие же результаты показали российские школьники. Оказалось, что на задание «Кубики» правильно ответили только 57,2 % российских учащихся; 42,8 % (43 из 100) пятнадцатилетних учащихся в России не смогли, если верить «объективным» исследованиям программы PISA, решить задачу для первого класса. Итак, согласно «открытию» деятелей программы PISA, 43 из 100 росссийских учащихся не могут от 7 отнять 6, от 7 отнять 2 и так далее, а затем результаты вычислений занести в простейшую таблицу. Совершенно очевидно, что даже самые-самые пятнадцатилетние разгильдяи-двоечники в состоянии складывать и вычитать в пределах 10.
Приложение 3
PISA RELEASED ITEMS — MATHEMATICS
Скриншоты. URL: http://www.oecd.org/pisa/38709418.pdf
URL: http://www.pi.ac.cy/keea/pisa2015/ReleasedMaterial/English/mathematics-2006.pdf