Тамара Владимировна Кленова, Леонид Иосифович Ястребов. Результаты PISA -2006. Обладают ли 15-летние учащиеся необходимой естественнонаучной грамотностью для полноценного функционирования в обществе?

Тамара Владимировна Кленова, Леонид Иосифович Ястребов

Результаты PISA -2006. Обладают ли 15-летние учащиеся необходимой естественнонаучной грамотностью для полноценного функционирования в обществе?

 Кленова Тамара Владимировна, кандидат физико-математических наук. Ястребов Леонид Иосифович, кандидат физико-математических наук, директор Московского учебного центра АНО «Федерация Интернет образования».   URL:   http://vio.uchim.info/Vio_55/cd_site/articles/art_3_8.htm   ,   URL:   http://vio.uchim.info/Vio_55/cd_site/articles/art_3_8.htm

Международные исследования в области образования

Сегодня существует большое количество международных сравнительных исследований качества образования.

В России этим вопросом занимается Центр оценки качества образования Института Содержания и Методов Обучения Российской Академии Образования (http://centeroko.ru)

Среди этих исследований — (естественно-математическое образование — IEAP-II , TIMSS-1995 , TIMSS-1999 , TIMSS-2003 , TIMSS-2007 , PISA-2000 , PISA-2003 , PISA-2006 ; граждановедческое образование — CIVIC-1999 , CIVIC-2000 , ICCS-2009 ; чтение и понимание текстов — PISA-2000 , PISA-2003 , PIRLS-2001 , PIRLS-2006 ; информационные технологии — SITES ).

Каждая из этих программ ориентирована не только на свой круг предметов, но и рассматривает «свои» характеристики образования.

Очень интересно проводится программа PIRLS ( Progress in International Reading Literacy Study ) —  Исследование качества чтения и понимания текста. Тесты проводятся для школьников четвертого класса начальной школы. К сожалению, средства массовой информации иногда дают искаженную информацию. Так, в статье http://www.mk.ru/blogs/MK/2007/01/10/society/89512/ говорится, что чтению в Израиле посвящено 30 часов в неделю, в Шотландии — 28, во Франции — 26, в Англии — 24, а у нас всего 18. Впоследствии эти данные были повторены в другой статье ( http://www.mk.ru/blogs/idmk/2007/12/13/mk-daily/328633/ ) Понятно, что из таких источников бывает трудно получить достоверную информацию. В таких случаях надо обращаться к англоязычным сайтам или на сайт Центра ОКО ( http :// centeroko . ru ).

Некоторым особняком среди тестов является PISA ( Programme for International Student Assessment ), которая посвящена изучению «компетентностей» школьников 15-ти летнего возраста.

Исследования проводятся Организацией экономического развития и сотрудничества (см. http://ru.wikipedia.org/ строка в поиске ОЭСР). В нее входят 30 стран, наша страна пока не входит. Неофициальное название этой организации – совет богатейших стран мира. На долю стран ОЭСР приходится около 60% мирового ВВП.

Так что ОЭСР – весьма авторитетная организация.

Тесты PISA проводятся каждые 3 года, а затем ещё год используется для анализа и представления результатов, как правило, в декабре. Поэтому результаты исследования, например, PISA -2003 были опубликованы в декабре 2004 года, а результаты PISA -2006 – в декабре сего года (2007). В тесте PISA -2006 приняли участие школьники 57 стран, в том числе и России.

В России исследование PISA проводилось Центром оценки качества образования Института содержания и методов обучения Российской академии образования при активном участии Министерства образования и науки Российской Федерации, Федеральной службы по надзору в сфере образования и науки, органов управления образованием 45 субъектов РФ и различных региональных организаций, занимающихся проблемами образования.

Исследование PISA 2006 касалось, в первую очередь, естественнонаучной грамотности учащихся, дополнительно, как и в предыдущих циклах программы ( PISA 2000, 2003), оценивались математические знания и чтение.

Исследования затрагивали такие области естествознания как физика, химия, биология, наука о земле и космосе, а также касались технологий, основанных на применении научных знаний. Однако, специфика тестирования по программе PISA заключается в том, что учащимся предлагаются не типовые учебные задачи, а проблемные ситуации, близкие к реальным.

Следует особо отметить, что исследование PISA направлено не на определение уровня освоения школьных программ, а на оценку способности учащихся применять полученные в школе знания и умения в жизненных ситуациях.

По мнению экспертов PISA , обучение в современном мире должно базироваться на основных знаниях по данной дисциплине, но знание нужно уметь использовать в ситуациях, с которыми придется встретиться в жизни. Для объяснения многих явлений окружающего мира необходимо понимание научных процессов и влияния научно-технические достижений и технологий на характер современной жизни и на жизнь каждого конкретного человека.

В исследовании PISA в 2006 году приняли участие около 400 тысяч учащихся из 57 стран мира, представляющих общую совокупность почти в 20 миллионов учащихся 15-летнего возраста этих стран

Некоторые средства массовой информации уже опубликовали анализ этих результатов ( http://www.mk.ru/blogs/idmk/2007/12/13/mk-daily/328633/ ), но на наш взгляд далеко не достаточно просто с горечью констатировать, что наши школьники заняли (см. таблицу)

Необходимо дать более детальный анализ. Мы используем для этого анализа следующие первоисточники:

Результаты теста PISA по странам

Как уже сказано, в тесте PISA оценивались три основных характеристики (компетентности)

• Естественнонаучная грамотность (компетентность)
• Математическая грамотность
• Умение понимать прочитанные тексты (грамотность чтения)

К сожалению, в нашей заметке мы не можем дать полный анализ этих характеристик, так этому посвящены документы очень большого объема в указанных источниках.

Мы не можем детально исследовать, что именно «измеряет» каждая из этих «грамотностей», каково ее отношение к общему уровню развития подростка.

Результаты по этим «грамотностям» на наш взгляд довольно тесно соотносятся друг с другом (но не совпадают). С нашей точки зрения, это – разные стороны, разные оттенки одной и той же характеристики, а именно – умения подростка понимать и решать задачи, которые сформулированы не так, как в школьном задачнике, а так, как они встречаются в жизни . Хорошо известно, что для ребенка в этих задачах есть колоссальная разница: ему часто не удается переформулировать «жизненную» задачу на привычный язык «задачника».

Поэтому для нашей заметки мы отказались от детального анализа результатов по каждой «грамотности»; всё это можно найти в указанных источниках. Более того, нам кажется, что столь тонкие детали не нужны в общей обзорной статье, каковой и является наша заметка.

Мы попытаемся дать общее представление о состоянии компетентностей наших «пятнадцатилеток», которое (состояние) проанализировано авторитетными экспертами из ОЭСР, не вдаваясь в особо тонкие детали, и не давая никаких рецептов по улучшению положения.

Начнем с общих результатов.

Исследование PISA в России проводилось в 210 образовательных учреждениях из 45 регионов и охватило 6154 обучающихся 15-летнего возраста. Эта выборка признана представительной. В нее вошли учащиеся основной и средней школы, которым на момент тестирования исполнилось 15 лет, а также 15-летние учащиеся и студенты образовательных учреждений начального и среднего профессионального образования.

Учащимся предлагались тесты. По результатам тестирования начислялись баллы. В таблице ниже приведены некоторые из результатов по естественнонаучной компетентности, опубликованных на странице http://centeroko.ru/pisa06/pisa06_res.htm

Обратим внимание, что сами по себе места стран мало что значат.

Приведем пример. Марафонский бег. К финишу приближается большая группа спортсменов. Финишируют они один за другим в приблизительно одинаковое время, разрыв между первым и, скажем, тридцатое, составляет, например, всего 30 секунд. На фоне мирового рекорда (составляет 2 часа 04 минуты 55 секунд) эти 30 секунд составляют меньше половины процента. Однако один занял первое место, а другой – тридцатое. Разница – колоссальная. А бегуны-то показали с точки зрения нас, обывателей, очень близкие результаты

Чтобы оценить эту разницу «бегунов», то есть стран, участвовавших в тестировании, в таблице приводим не только места, но и средние баллы, набранные разными странами.

Первое место заняла Финляндия (повторившая успех прошлого тестирования) и «оторвавшаяся» от ближайшего «преследователя» на 21 балл (3,7 %). Лидер достоверный и не случайный.

Второе место тоже довольно уверенно занимает Гонконг. Затем идет плотная группа «бронзовых призеров». Потеря баллов, скажем, Германии и Великобритании (места во второй десятке) по сравнению с лидером составляет уже 8,5 %. Критично это или нет? Ясно, что об этом надо судить по более тонким показателям. (см. ниже).

В середине таблицы серой заливкой показаны несколько стран, набравших «средний балл по ОЭСР». Этот средний балл равен 500 баллам. Ближе остальных к этому показателю оказалась Польша, набравшая 498 баллов, так сказать – самая характерная страна данного исследования.

В таблице выделена Россия, с 479 баллами занявшая диапазон 33-38 мест. Она находится в компании таких стран, как США (489 баллов), Италия и Португалия (475 и 474 балла соответственно). При этом если США разделили 24-35 места, то Россия с Италией и Португалией попала в следующую «градацию мест».

Наихудший результат показала Киргизия, набравшая всего лишь 58 % от результата «лидера», то есть потерявшая 42 %.

Эти результаты проиллюстрированы графически следующим слайдом, взятым из http://www.oecd.org/dataoecd/60/1/39750491.ppt /

По горизонтальной оси отложены величины набранных баллов. на вертикальной — указано место страны среди других стран-участниц. Ширина «брусочка» на диаграмме характеризует достоверный интервал результатов (связана с ошибками измерения недостоверностью обработки).

На слайде приведены только страны – члены ОЭСР. Поэтому результаты России здесь не указаны.

Используя данные таблицы, мы схематично показали расположение России на этой диаграмме

Продолжая аналогию со спортсменами, видим, что имеется безусловный лидер (Финляндия). Есть два, безусловно, сильно отставших спортсмена (Турция и Мексика), и есть довольно плотная группа «спортсменов» – остальных стран.

При этом Россия, хоть и оказалась близко к концу этой группы, тем не менее, на наш взгляд, не выглядит так катастрофично, как можно подумать, читая панические отклики о 33-38 местах из 57 стран.

Тем более что Россия оказывается в компании вполне благополучных развитых стран.

Но, оказывается, у России всё-таки есть важная проблема. Перейдем к ее изучению.

Структура результатов по компетентностям

Важно не только общее число баллов, набранное страной, но и то, каким образом они получены. Поэтому создатели тестов PISA говорят о структуре компетентности.

Они вводят 6 уровней компетентности, «сортируя» ответы по этим уровням.

Для тех, читателей, кому интересно более подробное описание уровней компетентности, оно приводится ниже. При первом чтении это описание можно пропустить.

Структура компетентности для разных стран

Рассмотрим теперь, как на практике выглядит эта структура естественнонаучной компетентности учащихся.

На рисунке внизу (слайд из указанных презентаций) приведены столбчатые диаграммы, описанные выше.

В левой части диаграммы расположены страны-лидеры: Финляндия, Новая Зеландия, Великобритания, Австралия, Япония, Канада с большим относительным количеством высоко компетентных школьников. (Large proportions of top performers )

В середине диаграммы расположено некое условное среднее значение (серый вертикальный столбец). За эту величину принято значение среднего по странам-участницам, входящим в ОЭСР, что составило приблизительно 500 баллов.

Правее среднего значения (на фиолетовом фоне) расположились страны с баллами, ниже среднего и с большим количеством низко компетентных школьников: Португалия, Италия, Турция, Мехико, Соединенные Штаты, Бельгия.

Ещё правее для сравнения даны диаграммы США и Бельгии

Как уже говорилось, выравнивание проведено по линии, отделяющей «красные зоны».

Наилучшие результаты демонстрирует Финляндия, у которой размер красных зон минимален. Все страны-лидеры располагают значительным количеством школьников, показавших высокий и наивысший уровни компетентности.

Страны-аутсайдеры, как правило, имеют незначительные размеры «зеленых зон», причем светло-зеленая зона может быть плохо видна в данном масштабе.

Проанализируем результаты, полученные для стран-лидеров (первая десятка).

•  На 5 и 6 уровни попадают от 10 до 20% протестированных учащихся

•  На 4 уровне располагаются от 20 до 35% учащихся

•  Процент учащихся, попавших на 2 и 3 уровни, колеблется от 40 до 50%.

•  И только небольшое количество учащихся 1-5% оказывается в категории, не освоивших базовый курс.

Таковы показатели стран, занявших первые места.

В связи с этим обратите внимание, что на слайде в его левой части приведены не только страны–лидеры: мы уже говорили, что отбор в левую часть слайда проводился по величине размера «зеленых зон».

Так, например, в Новой Зеландии, Великобритании, Японии наряду с большими «зелеными зонами» имеются и значительные «красные зоны» Это говорит о большом расслоении в подготовке тинэйджеров. То есть «расслоение» производится за счет «промежуточных зон». Но в других странах это не обязательно так же. Например, в Турции и Мексике зеленые зоны практически отсутствуют. То есть, там просто нет высококомпетентных тинэйджеров.

Что это означает для комплектования интеллектуальной элиты этих страны, можно только догадываться.

Заметим, что Россия в данном исследовании набрала 479 баллов и попала в категорию стран «ниже среднего». Она в любом случае не могла быть приведена на данном слайде, поскольку слайд построен на результатах стран, входящих в ОЭСР.

Россия. Структура компетентности учащихся

Конечно, нас интересует место нашей страны не только по количеству набранных баллов, но и по структуре компетентности учащихся.

Как и ранее, ограничимся естественнонаучной компетентностью.

Дадим общую таблицу для нескольких стран по уровням естественнонаучной компетентности в процентах.

Видим, что Россия по верхним 3 уровням (4-6) «отстает» от Финляндии, причем довольно значительно, в разы. Показывает приблизительно равные результаты по уровню 3, а затем российские результаты по низким уровням компетентности начинают значительно превышать финляндские, причем тоже в разы. Но это не такое превышение, которым можно было бы гордиться.

Если рассмотреть отдельно высокие уровни, средние и низшие, то картина становится ещё более наглядной

По высоким уровням (4-6) Россия сильно проигрывает США (19,2 % против 27,3 %) и очень сильно Финляндии (19,2 5 против 53,1 %)

По средним уровням (низшие уровни естественнонаучной компетентности, достаточные для социальной и профессиональной адаптации) заметно выигрывает у этих стран (58,5 % против 48,2 % для США и 42,7 % для Финляндии)

И, наконец, по потенциальным социально и профессионально трудно адаптирующимся выпускникам несколько лучше себя чувствуем, чем США (22,2 % против 24,4 %) и в разы хуже, чем Финляндия (22,2 % против 4,1 %).

Эта ситуация иллюстрируется на следующем рисунке

Белая пунктирная линия показывает уровень «отсечения», по которому в рамках PISA выравниваются результаты стран.

Хорошо видно, что Россия в сравнении с США имеет менее «тяжелый» низ «красных» зон. В итоге, как обсуждалось выше в связи с таблицей, хотя Россия набрала меньше баллов, чем США, структура распределения учащихся по компетентностям у России несколько лучше, чем у США.

Как же так получается, что по Россия, несколько опережая США по общему «компетентностному уровню», набрала меньшее количество баллов? Диаграмма подсказывает ответ. Главный вклад в баллы дали «оранжевые зоны». А вот «зеленые» зоны у нас заметно уже, чем у США. Поэтому «зеленые зоны» дали и меньший вклад в средний балл.

Выводы по России

Можно сделать вывод, что российские учащиеся 15-летнего возраста уступают своим сверстникам из многих стран мира (33-38 место) в способности:

•  осваивать и использовать естественнонаучные знания для приобретения новых знаний, для объяснения естественнонаучных явлений и формулирования выводов в связи с естественнонаучной проблематикой;

•  понимать основные особенности естественнонаучных исследований;

•  демонстрировать осведомленность в том, как естественные науки и технология оказывают влияние на материальную, интеллектуальную и культурную сферы жизни общества;

•  проявлять активную гражданскую позицию при рассмотрении проблем, связанных с естествознанием.

По другим направлениям исследования рейтинги для России составили:

•  32-36 по математической грамотности (29-31 в 2003 году из 40 стран);

•  37-40 по грамотности чтения (32-34 в 2003 году из 40 стран).

Согласно полученным данным начинают проявлять способность применять полученные в школе знания 90-97% учащихся лидирующих стран, что значительно превышает процент таких учащихся в России (естествознание – 77,8%, математика – 73%, чтение – 64,3%).

По мнению экспертов PISA , получение конкретных знаний в школе очень важно, но использование этих знаний во взрослой жизни зависит от приобретенных навыков. В жизни конкретные знания, такие как названия растений и животных, имеют меньшую ценность, чем понимание глобальных проблем, связанных с потреблением энергии, биологической вариативности и человеческого здоровья, которые важны для дальнейшего общественного прогресса.

В чтении важным является понимание и интерпретация текста.

В математике — способность делать качественные оценки и представлять соотношения между величинами.

Очень важны такие навыки, как нахождение связей, адаптируемость, гибкость, а также понимание и использование информационных технологий.

По мнению Г.Ковалевой, Директора Центра ОКО ( http :// centeroko . ru ): «В нашей школе пытаются впихнуть в головы учеников как можно больше знаний, совершенно не заботясь о том, пригодятся ли они в будущем. Между тем 90% полученной в классе информации забывается уже через год-два. На Западе учат совсем по-другому. Там главное — заинтересовать ребенка в предмете, научить его учиться.» ( http://www.mk.ru/blogs/idmk/2007/12/13/mk-daily/328633/ )

Мы сформулировали бы эту проблему так, что «знаниевая» составляющая российского образования всё еще превалирует над «компетентностной».

Можно считать, что в России несколько более ровное, чем в США, распределение по компетентностям. В России несколько лучше, чем в США, обстоит дело с базовыми компетентностями тинэйджеров, и несколько меньше процент тех, кому будет трудно адаптироваться к «взрослой жизни».

К сожалению, этот процент в абсолютных значениях чересчур велик, речь идет о нашем будущем, а оно на 22 % не готово к эффективной самореализации.

Надо надеяться, что в государственных стандартах второго поколения будут заложены рычаги, которые позволили компенсировать эту ситуацию.

Приложение-1. Результаты по PISA -2006 в сравнении с PISA -2003

Приведем для сравнения данные, полученные в результате исследований PISA , относящиеся к 2003 г .

Россия заняла 20-30 места среди 40 стран в 2003 году, в 2000 году – 26-29 места среди 32 стран.

В 2003 году высокие результаты в области естественнонаучной грамотности продемонстрировали около 14% российских учащихся (в 2006 году 19,2 %, улучшение ситуации). Эти учащиеся, как правило, могут объяснить явления на основе их моделей, проанализировать результаты ранее проведенных исследований, сравнить данные, привести аргументацию для подтверждения своей позиции или оценки различных точек зрения.

В лидирующих странах таких учащихся было 28%-33%.

Число российских учащихся, показавших самые низкие результаты, составило 18% (в 2006 году 22,2 %, ухудшение ситуации). В лидирующих странах такие результаты показали от 6% до 10% учащихся.

По результатам, полученным в 2003 году в области компетентности в решении проблем (другой показатель, чем естественнонаучная компетентность), 43% российских учащихся обладают умениями, которые «отвечают требованиям 21-го века» к квалифицированной рабочей силе. Этим учащимся легче стать деятельной частью современного общества. Из них 12% достигают самого высокого уровня компетентности, т.е. могут систематически подходить к решению проблемы; одновременно учитывать большое число различных условий и ограничений и выявлять зависимости между ними; организовывать и контролировать свои размышления на каждом шаге решения; создавать свое собственное решение и проверять, удовлетворяет ли оно всем требованиям, которые имеются в условии поставленной проблемы; понятно и ясно представлять свое решение в словесной или иной форме.

В лидирующих странах число учащихся, «отвечающих требованиям 21-го века», составляло 70%-73%. Их них самого высокого уровня компетентности в решении проблем достигало 30%-36%.

Почти четвертая часть (23%) российских учащихся не достигала установленной нижней границы компетентности в решении проблем. В лидирующих странах таких учащихся 5%-10%.

В области компетентности в решении проблем учащиеся России заняли 25-30 места среди 40 стран.

Приложение-2. Примеры тестов

Для того, чтобы познакомить наших читателей со спецификой тестов, предлагаемых в рамках программы естественнонаучного исследования PISA -2006, приведем ниже несколько заданий, опубликованных на сайте OECD : http://www.oecd.org/dataoecd/63/35/37464175.pdf

ПРИМЕР — 1. «ПОЙМАТЬ УБИЙЦУ»

Область применения: Границы науки и техники для социального регулирования.

Приводится газетная статья следующего содержания.

Вчера было совершено нападение на человека, который скончался от полученных ран. Полиция утверждает, что имелись признаки борьбы; и часть крови, обнаруженной на месте преступления, не принадлежит жертве. Полиция предполагает, что это кровь убийцы.

Чтобы найти убийцу, исследователи подготовили ДНК-профиль образца крови. Этот результат сравнили с базой данных для осужденных преступников. Совпадения не было обнаружено.

Полиция арестовала местного жителя, который ранее общался с жертвой. Они просят разрешения взять у него образец ДНК. Сержант полиции сказал, что они должны взять безопасную пробу с внутренней стороны щеки подозреваемого. Ученые могут выделить ДНК и сравнить профиль ДНК с имеющимся у нас значением подобно тому, как изображено на рисунке.

Исключая случай идентичных близнецов, возможность случайного совпадение ДНК-профилей существует только в одном из ста миллионов случаев.

Вопрос -1: Эта газетная статья относится к понятию ДНК. Что такое ДНК?

•  Материал клеточной мембраны, которая ограничивает содержимое клетки.

•  Молекула, которая содержит инструкцию (код) для построения нашего тела.

•  Белок, который доставляет кислород к нашим тканям.

•  Гормон, содержащийся в крови, который помогает регулировать уровень глюкозы в клетках.

Вопрос -2: На какой из следующих вопросов нельзя ответить с научной достоверностью?

• Какова была медицинская или физиологическая причина смерти?

•  О чем думала жертва в момент убийства?

•  Проба с поверхности щеки – безопасный способ получить ДНК?

•  Идентичные близнецы имеют один и тот же ДНК?

ПРИМЕР — 2. «УЛЬТРАЗВУК»

Область применения: Границы науки и технологии в жизни общества.

В многих странах с помощью ультразвука может быть получено изображение плода (развивающегося младенца) в утробе матери (в России это называется УЗИ – ультразвуковое исследование.). Во время исследования доктор перемещает установку по животу матери так, что ультразвуковые волны распространяются внутри, отражаясь от поверхности плода. Отраженные волны возвращаются, улавливаются установкой и формируют образ. Pic-13

Вопрос -1: Для того, чтобы сформировать изображение (образ), ультразвуковая установка должна вычислить расстояние между плодом и областью пробы. Волны ультразвука двигаются через живот в скорость 1540 м/с. Какое измерение установка должна сделать, чтобы можно было вычислять расстояние?

ОТВЕТ: Должно быть измерено время распространения ультразвуковой волны от пробы до плода и обратно.

Вопрос -2: Изображение плода может также быть получено с использованием рентгеновского излучения. Почему женщина должна избегать подвергать живот рентгеновскому излучению в течение беременности?

ОТВЕТ: Рентгеновское излучение опасно для плода.