Всеволод Васильевич Борисов. О международном тестировании учебных достижений российских школьников. Приложение 1. Научная биография и публикации Всеволода Васильевича Борисова. Приложение 2: Скриншоты страниц статьи В.В. Борисова. Приложение 3: Graffiti. Screenshots. Приложение 4: Ozone. Screenshots.

Всеволод Борисов выявил несколько дефектов в заданиях "Граффити" и "Озон" программы PISA-2000.

 

Всеволод Васильевич Борисов

О международном тестировании учебных достижений российских школьников

Борисов Всеволод Васильевич, кандидат физико-математических наук, заведующий отделом проблем глобализации и международного сотрудничества в сфере науки и инноваций РИЭПП, e-mail: info@riep.ru   .   Статья: О международном тестировании учебных достижений российских школьников. Альманах «Наука. Инновации. Образование». 2014. Выпуск 15. С. 211 — 223.  URL:  https://cyberleninka.ru/article/n/o-mezhdunarodnom-testirovanii-uchebnyh-dostizheniy-rossiyskih-shkolnikov   , URL:  http://riep.ru/upload/iblock/910/9105fabb5cefd00caf92227584c1d6af.pdf  , URL:  http://innclub.info/wp-content/uploads/2015/03/Альманах-НОИ15.pdf


Аннотация

Рассмотрены организационные и содержательные аспекты международного тестирования учебных достижений учащихся по программам PISA и TIMMS. Оба вида тестирования представляют собой, прежде всего, социологическое исследование, результаты которого могут быть использованы на национальном уровне для анализа программ и методов школьного обучения и ряда факторов, влияющих на эффективность педагогического процесса. Значительно меньшее значение имеют построенные по итогам тестирования рейтинги стран, хотя именно на них сконцентрировано основное внимание средств массовой информации. Выражено критическое отношение к выводам о низкой эффективности российской системы образования на основании результатов тестирования российских школьников по программе PISA, равно как и к концептуальным основам самой программы PISA.

International testing of learning achievements of students by programmes PISA and TIMMS is considered, including both organizing and ideological aspects. The sociological character of such researches is emphasized. The results obtained can be used for analysis of national educational programmes and methods as well as factors which influence on efficiency of pedagogical process. Much less important are country ratings based on testing results which are most popular in media. Some criticism is given to the conclusion about low quality of school education in Russia made on the base of a limited success of Russian students participated in PISA testing. This criticism is extended to the conceptual basis of the PISA approach itself.


Введение


В 2000 году министр образования России В. М. Филиппов обнародовал не очень приятную для россиян новость: в недавно проведенных международных исследованиях грамотности учащихся разных стран российские школьники показали очень низкие результаты — значительно хуже, чем учащиеся из большинства других стран.

Даже по математической грамотности, т. е. в той области, которая считалась в отечественном образовании одной из лучших в мире, российскими школьниками был показан только 23-й результат (из 32-х участвовавших стран).

Естественно, возник целый ряд вопросов.

Какие именно школьники были выбраны для участия в международных исследованиях? Где проводились эти исследования? Кто их проводил? По какой методике?

И, наконец, особенно болезненный вопрос: как это совместить с почти что неизменными успехами российских школьников на международных олимпиадах по математике и по различным естественнонаучным предметам?

Завеса над «соревнованием», о котором сообщил министр, постепенно стала слегка приоткрываться, но только слегка. Выяснилось, что исследование грамотности школьников проводила некая «PISA» (поневоле ассоциировалась с Италией) — какая-то организация, которая, по-видимому, проявила инициативу и стала проверять грамотность школьников в разных странах, давая им специально разработанные задания.

Что касается участия российских школьников, то всюду повторялось одно и то же суждение: наши школьники, решая предложенные задания, продемонстрировали неплохое знание теории и почти полное неумение применять теорию на практике.

стр. 212:

PISA

Приведенная выше скупая информация — это, пожалуй, и все, что тогда появилось в публичном пространстве. В действительности, специалисты и, тем более, те, кто занимался организацией исследования грамотности российских школьников, конечно, все знали с самого начала.

Вообще говоря, международные сопоставительные исследования образовательных достижений школьников стали проводиться еще с 1960-х годов. Поначалу от случая к случаю, в основном в рамках деятельности Международной ассоциации по оценке достижений в сфере образования (The International Association for the Evaluation of Educational Achievement, IEA) — независимой организации, учрежденной в 1958 году [1].

С середины 1990-х годов при участии IEA стали проводиться международные циклические (мониторинговые) сравнительные исследования учебных достижений школьников 4-го класса по программе, которая стала известна в виде аббревиатуры TIMSS (Trends in International Mathematics and Science Study — Тенденции в международном обучении математике и естествознанию). Циклы исследований повторялись раз в 4 года. С 2003 года стали параллельно исследоваться учебные достижения в математике и естественных науках учащихся 8-х классов. При поддержке той же IEA с 2001 года была запущена еще одна близкая по характеру циклическая программа проверки достижений школьников PIRLS (Progress in International Reading Literacy Study — Прогресс в международном обучении грамотному чтению), проводившаяся с периодичностью в 5 лет.

В конце 90-х годов при поддержке Организации экономического сотрудничества и развития (ОЭСР) была разработана еще одна программа сопоставления учебных достижений школьников, Международная программа по оценке образовательных достижений учащихся, по-английски — Programme for International Student Assessment, за которой и закрепилась аббревиатура PISA [2-4].

Эта программа рассматривалась как крупное социологическое исследование систем школьного образования в разных странах, осуществляемое путем сопоставления учебных достижений учащихся этих стран, с использованием метода массового тестирования 15-летних школьников.

Тестирование в рамках программы PISA проводится следующим образом.

Школьникам дают вопросы-задания и предлагают им в течение двух часов в письменном виде выполнить эти задания и изложить ответы на поставленные вопросы.

Задания обычно состоят из трех (иногда четырех) частей, и каждая часть рассматривается как самостоятельный тест: тест на грамотность чтения, на математическую грамотность и на естественнонаучную грамотность.

О международном тестировании учебных достижений

стр. 213:

В заданиях обычно описывается некая «жизненная» ситуация, какая может реально встретиться любому человеку, и в связи с этой ситуацией формулируется ряд вопросов, предполагающих количественные или качественные ответы.

Далее идет проверка выполнения заданий, определяется степень успешности решения каждой отдельной задачи, дается оценка ответам на вопросы (правильные, неправильные), потом все это переводится в баллы, рассчитывается суммарный балл, который потом переводится в международную 1000-бальную шкалу. Помимо выполнения задания каждый «тестируемый» заполняет анкету, и набранные учащимся баллы вместе с формализованными ответами на вопросы анкеты заносятся в базу данных. Отдельно регистрируется информация о каждой школе, где проводилось тестирование, на основании анкет, заполненных администрацией соответствующих школ.

Затем идут всевозможные обезличенные усреднения.

Наибольшее внимание обычно привлекают средние суммарные баллы, набранные учащимися каждой страны, охваченной тестированием — отдельно по каждому направлению тестирования (чтение, математика, естествознание).

Полученные результаты оформляются в виде общего отчета, содержащего в том числе таблицы, в которых страны располагаются в порядке убывания среднего суммарного балла. Тем самым социологическое исследование приобретает вид своеобразного соревнования. Именно эту «соревновательную» сторону и донес в 2000-м году до общего сведения министр В. М. Филиппов.

Организационный аспект


Организация тестирования по программе PISA разбивается на два этапа. На первом, централизованном этапе осуществляется разработка заданий — нескольких десятков примерно равноценных по сложности вариантов (чтобы исключить «взаимопомощь» при выполнении заданий). Кроме того, разрабатываются и далее рассылаются по национальным центрам подробные инструкции относительно порядка проведения тестирования.

Второй этап проводится силами национальных образовательных центров и разного рода национальных административных структур. В России активное участие в организации тестирования и последующем анализе его результатов сыграли, помимо Министерства образования РФ, Национальный фонд подготовки кадров и Центр оценки качества образования Института общего среднего образования Российской академии образования. Важной частью национального этапа является выбор школ, в которых будет проводиться тестирование, так чтобы выборка была более или менее репрезентативной. Охватить все школы -слишком хлопотно и затратно. В России к тестированию 2000 года было привлечено 6700 школьников 15-летнего или близкого возраста [3].

стр. 214:

В выборку были включены и столичные, и региональные школы, в том числе какая-то доля сельских. В какой-то мере воспроизводился разброс по уровню социального положения родителей. Понятно, что выборка в любом случае будет неидеальной, но можно надеяться, что все как-то сгладится при усреднении.

На национальном этапе допускается также отбраковка некоторых заданий в случаях, когда соответствующая «жизненная» ситуация нетипична для данной страны.

Отдельной проблемой является точность перевода заданий на национальный язык страны.

Основная организационная работа непосредственно по проведению тестов возлагается на администрацию школ.

Проверка выполнения заданий и их оценка в баллах проводится в строгом соответствии с упомянутыми выше инструкциями. К проверке можно либо привлекать школьных учителей, либо пересылать выполненные письменные работы в специальный «проверочный» центр.

Каких-либо предварительных разъяснений школьникам относительно характера заданий, которые им предстоит решать, не предусматривается — тестирование проводится как бы «с листа». Возможны лишь пояснения, касающиеся заполнения анкет.

Тестирование проводится раз в три года. Даже если его проводить в одних и тех же школах, сами школьники, конечно, будут уже другими, поскольку все рассчитано на 15-летних школьников.

Как уже было сказано, первое тестирование было проведено в 2000-м году. Тогда же по решению Министерства образования РФ и при его содействии тестирование охватило также и российских школьников. Россия приняла участие и в каждом последующем тестировании.

Охват стран поначалу с каждым разом увеличивался (см. табл. 1). Тесты проводились по трем упомянутым выше направлениям, однако каждый раз одному из них (будь то чтение, математика или естествознание) уделялось существенно большее внимание: этому доминирующему направлению соответствовали две трети заданий.


Таблица 1. Охват стран-участниц тестирования по программе PISA.


Год       Число стран*

   2000        32  (41)

     2003        40  (43)

2006        57

       2009        65  (74)

2012        65


* Из-за того, что в ряде стран тестирование и обработка результатов были проведены позднее, в первых публикациях полученных результатов были учтены не все страны-участницы.

стр. 215:


Результаты по странам

Как уже было сказано, исследование рассматривалось как социологическое. Школьники, подобно респондентам социологических опросов, превращались в обезличенную массу. Их имена и фамилии далее никого не интересовали, однако сохранялась возможность сопоставлять результаты для отдельных школ и для различных групп школьников, сформированных на основании анкетных данных. По каждому из трех видов «грамотности» вычислялись средние баллы по странам и далее, в соответствии с этими усредненными баллами, строились три «рейтинга» -в каждом из них каждой стране отводилось соответствующее место.

В дальнейшем национальным образовательным центрам и другим образовательным организациям предоставлялась возможность проанализировать характерные ошибки, допускавшиеся школьниками при выполнении заданий. Хотя при этом, конечно же, сказывался разброс школьников по способностям, некоторые наиболее часто встречавшиеся ошибки иногда можно было связать с действующими в стране программами обучения и применяемыми стандартными методиками.

Какие-то факторы удавалось выявить.

Например, удалось заметить, что относительно несложные задания российские школьники выполняли не хуже школьников из стран, у которых оказался наиболее высокий рейтинг. С более сложными задачами, естественно, всюду справлялось меньшая доля школьников, но у российских школьников показатели были еще ниже, по сравнению с большинством других стран. И каждый новый цикл впоследствии в этом отношении давал сходные результаты.

Многие корреляции оказались вполне ожидаемыми. Например, городские школьники выполняли задания успешнее, чем сельские. Школьники из более обеспеченных семей имели преимущество перед школьниками из неполных семей. Благоприятно сказывался на результатах более высокий социальный статус родителей. Была также обнаружена положительная корреляция между успешностью школьников и уровнем их доступа к компьютерам.

Общественный резонанс

Тот большой пласт информации, который удается получить после каждого цикла тестирования, безусловно следует признать весьма полезным. Возникает, однако, вопрос: а что эта информация показывает? В частности, тот факт, что российские школьники оказались в соответствующих рейтингах ниже большинства других стран — о чем говорит?

Означает ли это, что российские школьники в среднем менее способны? Или российские учителя хуже работают? Или школьные программы в России — более низкого качества?

Сомневаться в способностях российских школьников заведомо непатриотично. Вместе с тем, различие детей по способностям к тем или иным наукам, к тем или иным школьным предметам — бесспорный факт. Но тогда

стр. 216:

возникает вопрос: что важнее — иметь более высокий средний уровень способностей или более высокий уровень способностей наиболее одаренных?

Многое, конечно, зависит от создания благоприятных условий для развития способностей. По работе с одаренными детьми, судя по успехам на международных олимпиадах, мы вроде бы находимся на хорошем уровне. А что касается среднего уровня, то, конечно, не может не сказаться общий уровень жизни.

Относительно квалификации учителей мы видим примерно тот же расклад. Когда Соросовская программа образования в области точных наук в 1990-х годах проводила отбор лучших российских учителей математики, физики, химии и биологии (на основе массового опроса студентов) [5], удалось довольно быстро убедиться в том, что в России по каждому предмету имеются по крайней мере десятки, если не сотни учителей, которых можно отнести к учителям Божьей милостью. Вместе с тем, явно сказывается и так называемый «двойной отрицательный отбор»: в России в педагогические вузы, по сравнению с классическими университетами и ведущими техническими вузами, поступают в среднем менее способные выпускники школ, а из выпускников самих педагогических вузов учителями становятся не более 30%, и в эти 30%, как правило, попадают не самые лучшие. И снова приходится, как и в случае с учащимися, отмечать относительно низкое, по сравнению со многими другими профессиями, материальное положение учителей и, как следствие, низкий престиж учительской профессии.

Что касается школьных программ, то следует признать, что мы в ходе тестировании в рамках программы PISA «играем на чужом поле». Например, у нас совсем недавно в школьную программу была включена теория вероятностей. В других странах она была введена значительно раньше, и среди заданий PISA было немало таких, где как раз надо было сравнивать вероятности.

У нас на уроках математики немалое внимание уделяется строгим доказательствам. По мнению составителей заданий PISA, такая строгость только мешает при решении задач, связанных с «жизненными» ситуациями. Истина, конечно, где-то посредине. Действительно, какое-то внимание нужно уделять решению качественных задач, с которыми мы повседневно сталкиваемся в практической жизни. Но воспитание более глубокого научного мышления уж по крайней мере не менее ценно.

Поэтому вывод, который часто делают из результатов тестирования по программе PISA, что мы в наших школах учим детей не так и не тому, представляется весьма спорным и далеко не очевидным.

Так ли уж «жизненны» задания PISA?

Попробуем разобрать задания PISA на нескольких, наиболее часто приводимых примерах

1. «Граффити» [4].

Два письма из Интернета.

«Я киплю от злости, так как в четвертый раз стену школы очищают и перекрашивают, чтобы покончить с граффити. Творчество — это прекрасно,


стр. 217:

  но почему же не найти такие способы самовыражения, которые не причиняли бы лишний ущерб обществу?

Почему надо портить репутацию молодого поколения, рисуя на стенах там, где это запрещено? Ведь художники-профессионалы не вывешивают свои полотна на улицах. Вместо этого, они находят средства и завоевывают славу на официальных выставках.

По моему представлению, здания, ограда, парковые скамейки сами по себе произведения искусства. И разве не жалко портить эту архитектуру росписью, не говоря уже о том, что используемый для этого метод разрушает озоновый слой? И я не могу понять, почему эти самозваные художники так злятся, когда их «художественные полотна» убирают с глаз долой снова и снова.

Хельга»

«У людей разные вкусы. Общество перенасыщено информацией и рекламой. Знаки торговых компаний, названия магазинов. Большие навязчивые плакаты по обеим сторонам улиц. Приемлемо ли все это? В основном, да. А приемлемы ли граффити? Некоторые говорят «да», некоторые — «нет».

Кто платит за эти граффити? А кто в конечном итоге платит за рекламу? Правильно. Потребитель.

А спросили ли те, кто ставит рекламные щиты, вашего разрешения? Нет. Тогда должны ли это делать люди, рисующие на стенах? Не просто ли это вариант общения, например, ваше собственное имя, названия партий или большие произведения искусств на улице?

Только вспомните о полосатой и клетчатой одежде, появившейся в магазинах несколько лет назад. И о лыжных костюмах. Модели и цвета были скопированы с разрисованных бетонных стен. Довольно забавно, что и эти модели, и цвета принимаются сегодня в обществе, восхищают. А граффити в том же стиле считаются ужасными.

Да, трудные времена настали для искусства.

Софья»

Вопросы:

— С каким из этих двух писем вы согласны? Дайте своими словами обоснование вашей точки зрения, при этом используя то, что сказано в одном из писем или в обоих.

— Анализируя каждое письмо, мы можем обсуждать, что говорится в письме, т.е. его содержание. Мы можем также обсуждать, как написано письмо, т. е. его стиль. Безотносительно к тому, с чем вы согласны, объясните, кто из этих двух авторов, по вашему мнению, написал письмо лучше. Обоснуйте свой ответ, ссылаясь на то, как написаны оба или одно из этих писем.

Комментарий.

Вообще говоря, это задание можно было бы отбраковать. В России граффити имеют меньше распространения, чем на Западе, и стены школ у нас от этих граффити обычно свободны.

стр. 218:

Можно, конечно, устраивать дискуссию среди школьников по этим двум письмам, полным незрелых суждений. Но оценивать по ним грамотность чтения?

Уже сам вопрос провокационный: с каким из этих писем вы согласны? Да не с каким.

Хельга сообщает, что она злится (один из главных доводов). Пустяковый пример возводит до уровня «репутации молодого поколения», ни к селу, ни к городу упоминает про озоновый слой.

Софья фактически призывает вообще игнорировать любые запреты.

При этом авторы обоих писем возводят граффити до уровня произведений искусства.

Но вот какая общая оценка дается ответам российских школьников [4].

«Решая задачу «Граффити» (отвечая последовательно на вопросы, приведенные после текста), ученик должен сопоставить содержание приведенных писем и стиль их написания, проанализировать убедительность приведенных в письмах доводов. К сожалению, решая эту задачу, российские школьники часто аргументируют свое собственное отношение к граффити, хотя об этом их спрашивают только в одном из вопросов. Да и отвечая на этот вопрос, игнорируют содержащееся в нем указание отвечать, «используя то, что сказано в одном из писем или в них обоих», а пространно и эмоционально выражают свое отношение к граффити».

Насчет «пространно и эмоционально» — это другой вопрос. Но следовало бы как раз поддержать тех школьников, которые, игнорируя мелкие глупости авторов писем, высказывались по существу спора. Иными словами, более содержательный ответ при проверке заранее оценивается как неправильный.

Вообще, не следовало бы прививать школьникам привычку чересчур серьезно относиться к каждому слову авторских текстов — довольно часто это приводит к напрасной потере времени.

2. «Озон» [3].

К заданию дается пояснительный текст

«Атмосфера — океан воздуха и бесценный природный ресурс для поддержания жизни на Земле. К сожалению, человеческая деятельность, основанная на национальных и личных интересах, наносит вред этому ресурсу, что проявляется в истощении тонкого озонового слоя, который действует как защитный экран для жизни на Земле.

Молекул озона меньше, чем 10 на каждый миллион молекул воздуха, однако на протяжении почти миллиарда лет их присутствие в атмосфере играло решающую роль в сохранении жизни на Земле. Озон на высоте до 10 км над земной поверхностью — это «плохой» озон, который может нанести вред легким и растениям. Но более 90% озона, находящегося на высоте от 10 до 40 км над земной поверхностью — это «хороший» озон, который, поглощая опасное ультрафиолетовое излучение Солнца, выполняет полезную работу».

Далее приводится изображение реакции О2 + О = О3 в виде комикса, где каждый атом кислорода изображен в виде маленького человечка.

стр. 219:

Задание заключается в следующем.

«Предположим, у вас есть дядюшка, который пытается понять, что изображено на рисунках комикса. Он не получил естественнонаучного образования, но его интересует, что изображают маленькие человечки. Он просит вас это объяснить.

Предположим, он знает, что О — это обозначение кислорода и что такое атомы и молекулы.

Опишите для своего дяди, что показано на рисунках комикса».

Комментарий.

Фактически задание — на научную популяризацию. Надо сказать, что с такими задачами далеко не все ученые справляются. Весьма слабо справился с ней и автор пояснительного текста. Обычно не принято говорить «молекулы воздуха» — правильнее говорить «молекулы, входящие в состав воздуха». От какой совокупности молекул автор отсчитывает 90% молекул озона? Трудно назвать удачным используемое в тексте разделение на «плохой» озон и «хороший» озон — все таки 15-летние школьники уже явно вышли из детсадовского возраста.

Изображение атомов в виде человечков идет даже дальше идеи Демокрита, который наделял гипотетические атомы крючочками, которыми атомы цепляются друг за друга.

Если дядюшка знает, что такое атомы и молекулы, то, видимо, он в школе все таки получил какое-никакое естественнонаучное образование. Поэтому надо бы сказать дядюшке: «Да забудь ты об этих глупых человечках», затем изобразить молекулу кислорода в виде гантельки, а молекулу озона — в виде равностороннего треугольника. И еще пояснить, что «плохим» для человека на самом деле является атомарный кислород с его высокой реакционной способностью. Заодно еще объяснить, какую функцию кислород выполняет в организме человека.

Такого же рода замечания можно сделать и ко многим другим заданиям PISA, так что и сами ситуации, на основе которых они составлены, едва ли можно отнести к таким уж «жизненно важным».

Задания PISA как индикатор уровня адаптации к условиям жизни в XXI веке

Скромные места, занятые нашими школьниками, многие наши педагоги сочли следствием чуть ли не катастрофического отставания отечественной системы среднего образования от тех требований, которые предъявляет современное общество, от требований XXI века.

Наперебой звучат следующие высказывания [4].

— Современная российская школа не является эффективной по принятым сегодня в мире критериям.

— Она не способна обеспечить в дальнейшем нашим школьникам успешной адаптации в современном мире, не позволит им интегрироваться в современное общество.

стр. 220:

— Отечественная школа не обеспечивает становления более сложных уровней развития, остро востребованных в современном обществе.

— Показанный российскими учащимися уровень естественнонаучной грамотности остался не соответствующим основным требованиям, сформулированным ведущими специалистами мира в области школьного естественнонаучного образования.

— В других странах уже сформированы новые представления о качестве образования, отражающие произошедшие в мире глубокие цивилизационные изменения. Существенно изменилась трактовка целей образования. Школьники этих стран уже владеют умениями, отвечающими требованиям XXI века. Они будут более конкурентоспособны на рынке труда, им будет легче влиться в ряды квалифицированной рабочей силы, стать ее деятельной частью.

Возникает вопрос: а на каком основании авторы судят о «принятых в мире критериях»? Что они подразумевают под «успешной адаптацией в современном мире»? Кого именно они причисляют к ведущим специалистам мира в области школьного естественнонаучного образования (не называя ни одной фамилии)? Насколько четкими являются их представления о рынке труда?

К сожалению, привычка к использованию такой общей фразеологии настолько въелась, что ее снова и снова повторяют, даже не задумываясь о раскрытии ее содержания.

Поставим, однако, такой вопрос: а достигли ли сами педагоги, сформулировавшие приведенные выше утверждения, успешной адаптации в современном мире? Относят ли они себя к деятельной части квалифицированной рабочей силы? Очень может быть, что они с полным на то правом ответят на оба вопроса утвердительно. Но тогда мы сможем сделать вывод, что сам тот факт, что они все в свое время окончили советскую школу (ничуть не более современную, чем нынешняя), не помешал их адаптации равно как и не помешал им стать квалифицированными специалистами.

Проведенный анализ результатов наших школьников, принявших участие в тестировании [3; 4], безусловно полезен, равно как и сделанные на их основе дополнения, которые следовало бы ввести в программы российского школьного образования, но по большому счету ничего особенно нового тестирование по программе PISA не выявило. Весьма существенные недостатки российской системы школьного образования были и ранее хорошо известны. Намного труднее найти реальные пути их устранения.

Результаты тестирования в рамках программы TIMSS [6]

Напомним, что цикл программы TIMSS составляет 4 года, и с 2003 года включает в себя международное исследование учебных достижений в математике и естественных науках учащихся 8-х классов (что соответствует возрасту учащихся 14-15 лет — практически тому же,

стр. 221:

на который рассчитано тестирование по программе PISA). Непосредственно тестирование проводится ближе к концу учебного года.

Последнее тестирование проводилось в 2011 году. В нем приняли участие 42 страны, в том числе и Россия.

Полный цикл исследования включает в себя три части: методическую, организационную и аналитическую.

Методическое обеспечение является общим для всех стран, рассылается из единого центра и содержит:

— набор тестовых заданий (с достаточным числом вариантов);

— набор анкет для заполнения их учащимися, родителями, учителями, администрацией школ;

— специальные руководства для национальных координаторов по организации и проведению исследования и по формированию выборки; руководство для школьных координаторов, а также руководства по проведению тестирования, по проверке заданий и по вводу данных;

— соответствующее программное обеспечение.

Организация тестирования в России осуществлялась при содействии Минобрнауки РФ и Рособрнадзора, при непосредственном участии региональных управлений образования и администрации школ, выбранных для проведения тестирования.

Аналитическая часть исследования была выполнена специалистами Центра оценки качества образования Института содержания и методов обучения РАО — по результатам проверки работ и с использованием информации, содержащейся в анкетах.

В общем итоговом отчете, как и в исследованиях по программе PISA, значительное внимание уделяется международным сопоставлениям успехов в выполнении тестовых заданий школьников из разных стран — отдельно строятся рейтинги по достижениям школьников в области математики и по их достижениям в области естествознания. При этом, естественно, оперируют средними баллами, полученными всеми школьниками данной страны, участвовавшими в тестировании.

По крайней мере, применительно к России (вероятно, также и ко многим другим странам) можно заранее сказать, что успехи школьников из столичных и наиболее крупных городов окажутся выше, по сравнению с учащимися периферийных регионов. Эта одна из причин, по которой итоговые результаты в целом по стране во многом зависят от выборки школ, привлеченных к участию в тестировании.

Как следует из отчета [6], в России выборка проводилась в два этапа. На первом этапе шел отбор регионов. Как видно из результатов, отбор был не совсем случайным. Больше половины составили самые крупные по населению субъекты РФ. С другой стороны, весь Дальний Восток был представлен одной Амурской областью.

Второй этап — отбор школ. На этот раз чисто случайно были отобраны школы из числа школ, где преподавание проводится на русском языке.

Всего в исследовании достижений восьмиклассников участвовало 4893 российских школьников из 210 школ [6].

стр. 222:

На сей раз в итоговых рейтингах Россия оказалась выше большинства стран.

По математике Россия оказалась на 6 месте из 42 стран. Выше оказались только Корея, Сингапур, Тайвань, Гонконг, Япония.

В рейтинге по естественнонаучной подготовке существенно выше оказались почти те же страны: Сингапур, Корея, Тайвань и Япония, но место Гонконга заняла Финляндия. Примерно в ту же силу, что и школьники России, выступили школьники из Словении, Гонконга и Англии. Учащиеся из остальных 33-х стран показали значимо более низкие результаты.

Конечно, обращают на себя внимание успехи стран, сконцентрированных в Юго-Восточной Азии. Достаточно просто объяснить успехи Гонконга и Сингапура — по сути дела это эквивалентно проведению тестирования только в столичных городах.

Стоило бы еще удостовериться, не существует ли в некоторых из названных стран отсева школьников еще до поступления в 8-ой класс?

В любом случае, места стран в итоговом рейтинге будут определенно зависеть от того, какие школы были отобраны для проведения тестирования. Свидетельством этому служит тот весьма значительный разброс результатов от школы к школе, который наблюдается в пределах одной страны.


Заключение


Вернемся снова к вопросу о целях тестирования. Если рассматривать его как часть социологического исследования, то наиболее ценным его результатом следовало бы считать возможность анализа влияния на уровень успешности выполнения заданий всевозможных факторов, но не всех сразу в виде итоговых рейтингов, а каждого в отдельности. Исходя из такого понимания, мы должны рассматривать тестирование как инструмент, подготовленный на международном уровне, но используемый независимо друг от друга национальными образовательными аналитическими центрами, с последующим широким обсуждением найденных закономерностей в рамках всего национального педагогического сообщества.

Как уже говорилось выше, в России значительная часть такого анализа была выполнена, в основном, силами сотрудников Центра оценки качества образования Института общего среднего образования РАО, с привлечением ряда специалистов- практиков [3; 4] (в [4] приведена более полная библиография), но более широкое обсуждение результатов анализа, к сожалению, сконцентрировалось на «спортивной» стороне тестирования.

Еще меньше внимания был уделено практическим мерам, которые могли бы быть выработаны на основании сделанных рекомендаций.

О международном тестировании учебных достижений


стр. 223:

Литература

1. The International Association for the Evaluation of Educational Achievement. URL: www.iea.nl.

2. Knowledge and Skills for Life. First results from the OECD Programme for international student assessment (PISA) 2000. URL: http://www. oecd.org/edu/preschoolandschool/programmeforinternationalstudentass essmentpisa/33691596.pdf.

3. Каспржак А. Г., Митрофанов К. Г., Поливанова К. Н., Соколова О. В., Цукерман А. Г. Новые требования к содержанию и методике обучения в российской школе в контексте результатов международного исследовании PISA-2000. М.: Университетская книга, 2002.

4. Венгер А. Л., Калимуллина Г. Р., Каспржак А. Г., Поливанова К. Н., Соколова О. В., Тюменева Ю. А. Российская школа: от PISA-2000 к PISA-2003 / Под общ. ред. А. Г. Каспржака, К. Н. Поливановой) М.: Логос, 2006.

5. Сойфер В. Н. Интеллектуальная элита и филантропия. Десять лет Соросовской образовательной программы. DDF Foundation. М., 2005.

6. Основные результаты международного исследования качества математического и естественнонаучного образования TIMSS-2011. Аналитический отчет. М. Ю. Демидова, Г. С. Ковалева, Н. Г. Кошеленко, К. А. Краснянская, О. Б. Логинова, Е. С. Смирнова / Под науч. ред. Г. С. Ковалевой. М.: МАКС Пресс, 2013.
 

 Приложение 1

Научная биография и публикации Всеволода Васильевича Борисова

URL:    http://riep.ru/people/borisov-vsevolod-vasilevich/

 

 

 

 

 

Приложение 2

Всеволод Васильевич Борисов

О международном тестировании учебных достижений российских школьников

Отрывок из статьи Всеволода Борисова. Скриншоты  страниц 215 — 220. Скриншоты сделаны 5 октября 2017 года.   URL:  http://innclub.info/wp-content/uploads/2015/03/Альманах-НОИ15.pdf   ,   http://riep.ru/upload/iblock/910/9105fabb5cefd00caf92227584c1d6af.pdf

 

  

 

  

 

 

 

 

 

 

 

Приложение 3

PISA RELEASED ITEMS — READING

Graffiti

Graffiti. Screenshots. URL:  http://www.oecd.org/pisa/38709396.pdf

 

 

 

 

 

 

 

 


Приложение 4

 PISA RELEASED ITEMS — SCIENCE

Ozone

Ozone. Screenshots.   URL:   http://www.oecd.org/pisa/38709385.pdf

 

 

 

 

 

 

  

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: