Anti-PISA. Анатолий Краснянский. Безграмотные задания программы PISA-2000. Дефекты в группе заданий заданий «Граффити». Приложение 1: Группа заданий «Граффити» программы PISA-2000. Приложение 2: Программа PISA-2000. Группа заданий «Граффити» (скриншоты). Приложение 3: PISA RELEASED ITEMS — READING. Graffiti (скриншоты). Приложение 4: Поддержка «ПИЗЫ»: Анатолий Каспржак. Педагогические уроки PISA 2000 — 09 или тест PISA – как ориентир школы информационного общества.

Anti-PISA

 Анатолий Краснянский

 Безграмотные задания программы PISA-2000

Дефекты в группе заданий заданий "Граффити"

Системный анализ группы заданий программы PISA-2000

Статья в редакции от 20 мая 2009 года под названием "Системный анализ заданий международной программы PISA. Часть 3" опубликована в журнале "Педагогические науки", № 3. 2009. 

 
1. Введение

     В  2000 году  во многих странах мира, включая Россию, был проведен первый тур международного испытания PISA-2000  (Programme for International Student Assessment),  объявленная цель которого – исследование знаний и умений 15-летних школьников и их готовности к взрослой жизни. В исследовании PISA-2000 участвовало 6700 учащихся из 250 образовательных учреждений 46 регионов России. Международный тест включал 37 групп заданий – вопросов по чтению (всего 141 вопрос), 16 групп заданий (задач) по математике (всего 32 вопроса), 14 групп заданий (задач) по естествознанию (всего 35 вопросов).  Каждый ученик должен был письменно за 2 часа ответить на 50 – 60 вопросов (зачем такая гонка? – А.К.) по чтению, математике и естествознанию [1].    

  В исследовании PISA-2000 принимали участие В.М. Филиппов, В.А. Болотов, А.Ф. Киселев и др. (Министерство образования РФ); Ю.И. Дик, С.Е. Дюкова и др. (Институт общего среднего образования РАО); Г.С. Ковалева, Э.А. Красновский, Л.П. Краснокутская и др. (Центр оценки качества образования ИОСО РАО) – всего 21 человек; кроме того, в этой программе участвовали 46 региональных координаторов.

   В предыдущих работах было установлено, что  задачи «Озон» и «Дневник Семмельвайса» программы PISA-2000  содержат ложные суждения, логические ошибки и логически некорректные вопросы [2,3].   

   Примеры задач PISA-2000 можно найти на сайте http//www.centeroko.ru/public.htm.  Там представлены 11 из  37 групп заданий,  которые использовались для определения грамотности чтения российских учащихся.   

   В данной статье проведен системный анализ «Граффити» –  одной из этих групп заданий.   В состав  «Граффити» входит преамбула, письма Хельги и Софьи, вопросы и примеры правильных и неправильных (по мнению авторов заданий) ответов. Полный текст группы заданий "Граффити" дан в приложении 1.

2. Анализ преамбулы и писем

Преамбула
  

    На предыдущей странице помещены два письма. Они пришли по Интернету и оба они о «граффити». Граффити – это рисунки или надписи на стенах или других местах, выполненные без официального разрешения. Используйте письма для ответов на вопросы, предлагаемые ниже.

Письмо Хельги

   Я киплю от злости, так как в четвертый раз стену школы очищают и перекрашивают, чтобы покончить с  граффити. Творчество – это прекрасно, но почему же не найти такие способы самовыражения, которые не причиняли бы лишний ущерб обществу?
   Почему надо портить репутацию молодого поколения, рисуя на стенах там, где это запрещено? Ведь художники-профессионалы не вывешивают свои полотна на улицах, не так ли? Вместо этого они находят средства и завоевывают славу на официальных выставках.
По моему представлению, здания, ограда, парковые скамейки сами по себе произведения искусства. И разве не жалко портить эту архитектуру росписью, не говоря уже о том, что используемый для этого метод разрушает озоновый слой. И я не могу понять, почему эти самозваные художники так злятся, когда их так называемые «художественные полотна» убирают с глаз долой снова и снова.

Письмо Софьи

   У людей разные вкусы. Общество перенасыщено информацией и рекламой. Знаки торговых компаний, названия магазинов. Большие навязчивые плакаты по обеим сторонам улиц. Приемлемо ли все это? В основном, да. А приемлемы ли граффити? Некоторые говорят да, некоторые – нет.
  Кто платит за эти граффити? А кто в конечном итоге платит за рекламу? Правильно. Потребитель.
   А спросили ли те, кто ставит рекламные щиты, вашего разрешения? Нет. Тогда должны ли это делать люди, рисующие на стенах? Не просто ли это вариант общения, например, ваше собственное имя, названия партий или большие произведения искусств на улице?
   Только вспомните о полосатой и клетчатой одежде, появившейся в магазинах несколько лет назад. И о лыжных костюмах. Модели и цвета были скопированы с разрисованных бетонных стен. Довольно забавно, что и эти модели, и цвета принимаются сегодня в обществе, восхищают, а граффити в том же стиле считаются ужасными.
Да, трудные времена настали для искусства.  
  

2.1. Анализ определения понятия «Граффити»,  данное авторами заданий.    «Граффити – это рисунки или надписи на стенах или других местах, выполненные без официального разрешения»  – это неточное определение современного понятия «граффити». Официальное разрешение может быть получено только на основании соответствующего закона.  Более точное определение: «Граффити – это рисунки или надписи на стенах или других предметах, выполненные  незаконно (нелегально, нелигитимно)». Нарушение права собственности – существенный признак граффити.  В настоящее время в странах Европы и в России нет, и не может быть законов, разрешающих рисовать или писать что-либо на стенах домов и вообще на чужом имуществе без согласия  владельцев имущества, так как право частной (и не только частной) собственности охраняется  законом.  В частности,  право частной собственности  закреплено  во второй главе (статья 35) Конституции  Российской Федерации.  В УК РФ граффити может попадать  под действие 1) статьи  167: «Умышленное уничтожение или повреждение чужого имущества», 2) статьи 214: «Вандализм», 3) статьи 243 «Уничтожение или повреждение памятников истории и культуры». В КоАП РФ есть статья 20.1. «Мелкое хулиганство». В этой статье также предусматривается наказание за повреждение чужого имущества. 

   2.2. Анализ письма Хельги.

2.2.1. Хельга в начале письма пишет: «Творчество – это прекрасно, но почему же не найти такие способы самовыражения, которые не причиняли бы лишний ущерб обществу?» А затем она же пишет:  «По моему представлению, здания, ограда, парковые скамейки сами по себе произведения искусства. И разве не жалко портить эту архитектуру росписью…» Творчество – это создание новых по замыслу культурных,  материальных ценностей [4]. Таким образом, Хельга противоречит сама себе:  сначала утверждает, что граффити – это  создание новых культурных и материальных ценностей (творчество), а затем указывает на то, что граффити приводит к порче произведений искусства (ценностей). 

2.2.2.   «И разве не жалко портить эту архитектуру росписью, не говоря уже о том, что используемый для этого метод разрушает озоновый слой».   Утверждение Хельги: «Используемый для этого метод разрушает озоновый слой»  не может служить аргументом против граффити. Во-первых, основная часть баллончиков с краской используется по прямому назначению, а не для граффити. Во-вторых, далеко не все рисунки и надписи выполняются краской из баллончиков. В-третьих, не все баллончики с краской  содержат фреоны.    В-четвертых,  наибольшие количества  фреонов поступают в атмосферу  при  ремонте холодильников и кондиционеров, при производстве пенопластов, при использовании их в качестве растворителей и т.п. Следовательно, за счет граффити в атмосферу поступает ничтожная доля  техногенных фреонов.  В-четвертых, неизвестно, какую долю от общего количества фреонов в атмосфере составляет  техногенные  фреоны, и могут ли они заметно уменьшить концентрацию озона в стратосфере. 

   2.3. Анализ письма Софьи.

2.3.1. Софья пишет: «Общество перенасыщено информацией и рекламой».  Реклама – вид информации. «Реклама –  информация, распространенная любым способом, в любой форме и с использованием любых средств, адресованная неопределенному кругу лиц и направленная на привлечение внимания к объекту рекламирования, формирование или поддержание интереса к нему и его продвижение на рынке». [5]. Правильно: «Общество перенасыщено информацией, в том числе и рекламой».

2.3.2. Анализ фрагмента:  «А спросили ли те, кто ставит рекламные щиты, вашего разрешения? Нет. Тогда должны ли это делать люди, рисующие на стенах?»  Рекламные щиты ставят на основании закона о рекламе. Данный закон не предусматривает проведение опроса населения: согласны  или нет граждане на данную рекламу. Следовательно, риторические вопросы Софьи является логически некорректными, так как основаны на ложной посылке: «Те, кто ставит рекламные  щиты, должны спрашивать разрешение у  населения» Очевидно, что жизнь общества будет парализована, если по каждому законному действию  проводить референдум.  Мысль Софьи можно кратко  выразить в виде условного суждения: «Если рекламные щиты ставят без разрешения населения, то и люди, рисующие на стенах, не должны спрашивать разрешения». Это суждение является ложным.

3.  Анализ вопросов и ответов

   3.1. Краткая информация о логической характеристике вопросов.  Вопрос – это мысль, в которой выражается пожелание дополнить имеющуюся информацию с целью устранения или уменьшения познавательной неопределенности. В состав вопроса входит исходное знание (базис или предпосылка вопроса) и требование перехода от незнания (непонимания) к знанию (пониманию). По правильности постановки вопросы делятся на корректные (правильные) и некорректные (неправильные).  Корректный вопрос – это вопрос, предпосылкой которого является истинное и непротиворечивое знание. Некорректный вопрос основан на предпосылке ложного или противоречащего суждений, или суждения, смысл которого не определен. Различают два вида логически некорректных вопросов: тривиально некорректные и нетривиально некорректные.  Вопрос является тривиально некорректным (бессмысленным), если он выражается предложением, содержащим неясные (неопределенные) слова или словосочетания.  Вопрос называется нетривиально некорректным, если его предпосылкой является ложное утверждение. На такой вопрос невозможно дать истинного ответа [7,8].

   Вопрос 1 в статье не обсуждается, так как  к нему нет замечаний.    

   Вопрос 2: Почему Софья ссылается на рекламу? Код 1 (правильные ответы):  Говорится о том, что сравнение проводится между граффити и рекламой. Ответ соотносится с мыслью о том, что реклама — это легальная форма граффити;  или  говорится о том, что обращение к рекламе — это способ защитить граффити.

   3.2. Анализ второго вопроса и  кода 1.  Введем обозначения: А = «Реклама – это легальная форма граффити»; Б = «Граффити – это рисунки или надписи на стенах и других предметах, выполненные нелегально». Подставляя суждение  Б  в суждение А, получаем противоречивое выражение: «Реклама – это легальные рисунки или надписи на стенах или других местах, выполненные нелегально». Противоречие возникло из-за того, что авторы заданий сделали ошибку при делении понятия «граффити».

    3.3.  Анализ правильных (по мнению авторов второго вопроса) ответов.   

3.3.1. «Она говорит, что реклама – это легальная форма граффити». Выше было доказано, что выражение: «Реклама – легальная форма граффити» является противоречивым.  Следовательно, это неправильный ответ. 

3.3.2.  «Это позволит  нам увидеть, что граффити законно, несмотря ни на что».  Учащийся неадекватно воспринимает действительность: «Граффити законно». Ясно, что это ложное суждение, так как нарушение закона  –  существенный признак  граффити. Граффити не может быть законным по определению.   Следовательно, это неправильный  ответ.

Дополнение. Авторы задания приняли в качестве правильного ответа ложное суждение. И дело здесь не только том, что это суждение — ложное. Дело в том, что учащийся неадекватно воспринимает действительность. Он желаемое выдает за действительное.   

3.3.3.  «Потому что люди, дающие объявления, наклеивают их на стены, и она думает, что это то же самое, что и граффити». Это «правильный» ответ, несмотря на то, что учащийся приписывает Софье мысль, которой нет в ее письме. Вот так авторы заданий проверяют грамотность чтения! Софья пишет о рекламных щитах, а не о листочках с информацией типа «куплю», «продаю», которые, кстати, в России не считаются рекламой. Частные объявления, то есть объявления физических лиц или юридических лиц, не связанные с осуществлением предпринимательской деятельности, в соответствии с Законом о рекламе (статья 2, пункт 6) не рассматриваются в качестве рекламы.  

   Вопрос 3:  С каким из этих двух писем вы согласны? Дайте своими словами обоснование своей точки зрения, при этом используя то, что сказано в одном из писем или в них обоих.

   3.4. Анализ  правильных (по мнению авторов заданий) ответов на третий вопрос.

3.4.1.  «Я  согласен с Хельгой.  Граффити незаконны, и поэтому являются актами вандализма».  Вандализм – бессмысленное разрушение культурных ценностей [9].  Учащийся сделал ошибку: следствие выдал за причину, а причину – за следствие. Правильно:  «Некоторые граффити  являются актами вандализма и поэтому (по этой причине)  незаконны». Почему «некоторые»?  Потому что не всякое граффити является вандализмом. Например, граффити на стене заброшенного завода не есть разрушение культурных ценностей. Вывод: данный ответ является неправильным.

3.4.2. «Хельга, потому что я против граффити».  Уточним ответ: «Я согласен с Хельгой,  потому что я против граффити».  Авторы требуют обоснования: «Дайте своими словами обоснование своей точки зрения…», но вторая часть ответа:  «Потому что я против граффити» не является обоснованием, это лишь повторение (по смыслу) первого утверждения:  «Я согласен с Хельгой».   Ведь из письма Хельги  ясно, что она против граффити. Если кто-то согласен с Хельгой, то он тоже против граффити.  Следовательно, согласно требованиям авторов задачи, этот ответ нельзя считать правильным, так как учащийся не обосновал свою точку зрения.

3.4.3.  «София. Я  думаю, что лицемерно штрафовать художников, рисующих граффити, а затем зарабатывать миллионы, копируя их рисунки». Рассмотрим сначала значения некоторых слов.  Лицемер –   человек двуличный, дурной, злонамеренный, но притворяющийся добродетельным, добрым, чистосердечным. Лицемерие –  качество, свойство лицемера;  поведение, поступки, свойственные лицемеру. Лицемерный – исполненный лицемерия, двуличный;  выражающий лицемерие  [9].   Очевидно, что  одни люди (полицейские, судьи) штрафуют за граффити, а другие (предприниматели) делают бизнес на граффити.  Кто ведет себя лицемерно: полицейские или предприниматели?  Очевидно, что не те и не другие. В данной ситуации нельзя говорить о лицемерии. Налицо ошибка: неправильное понимание  слова «лицемерно». 

   3.4.4. Сравнение правильного (по мнению авторов заданий) ответа  и неправильного (по мнению авторов заданий) ответа на третий вопрос. «Правильный» ответ:  «Хельга, потому что действительно жалко портить репутацию молодого поколения из-за ненужной вещи». «Неправильный» ответ: «Хельга, потому что я согласен с тем, что люди должны находить способы самовыражения, которые не будут стоить обществу дополнительных затрат».  Оба этих ответа содержат  обоснования,  взятые из письма Хельги,  но  прямого (буквального) цитирования нет.  Неясно, почему один из ответов считается правильным, а другой неправильным.  

   Вопрос 4.   Анализируя каждое письмо, мы можем обсуждать, что говорится в письме (т.е. его содержание). Мы можем также обсуждать, как написано письмо (т.е. его стиль).  Безотносительно к тому, с чьим письмом вы согласны, объясните, кто из этих двух авторов, по вашему мнению, написал письмо лучше? Обоснуйте свой ответ, ссылаясь на то, как написаны оба или одно из этих писем.

3.5. Анализ четвертого вопроса. Для анализа этого вопроса необходимо знать все значения слова «стиль». Стиль. 1. Совокупность признаков, характеризующих искусство определенного времени и направления или индивидуальную манеру художника в отношении идейного содержания и художественной формы. Романтический стиль в литературе. Русский оперный стиль. Готический стиль. Стили в живописи.  2. Совокупность приемов использования средств языка, характерная для какого-либо писателя или литературного произведения, направления, жанра. Былинный стиль. Романтический стиль. Стиль русского романа середины 19  века. Стиль Тургенева.  3. Функциональная разновидность литературного языка. Официально-деловой стиль. Разговорный стиль. Научный стиль. Публицистический стиль  [10]. 

    Из четвертого вопроса  и Словаря русского языка [10] следует, что  авторы  вопроса придумали  новое значение рассматриваемого слова: «Стиль письма – это как написано письмо». К сожалению, неясно, что означает «как написано письмо». Предположим, что под этим словосочетанием  авторы подразумевали индивидуальные особенности  письменной речи Хельги и Софьи. Однако невозможно определить стиль (характерные приемы использования средств языка) на основании короткого письма. Можно говорить о стиле Тургенева, но нет никаких оснований говорить о стиле Хельги или Софьи. Итак, четвертый вопрос содержит неясное словосочетание и, следовательно, является бессмысленным [7,8]. На логически некорректный вопрос нельзя дать истинный ответ, снижающий познавательную неопределенность [7]. Поэтому  только  авторы заданий, и никто иной,  могут отличить «правильные» ответы от «неправильных».  Ведь только они знают, что означает «как написано письмо»!

   3.6. Сравнение правильного (по мнению авторов заданий) ответа  и неправильного (по мнению авторов заданий) ответа на четвертый вопрос. «Правильный» ответ: « Я  думаю, что София приводит очень сильные доводы, но письмо Хельги построено лучше». «Неправильный» ответ: «Письмо Хельги лучше. Граффити приносят ущерб и являются потерей времени,  как она и сказала».  В «правильном» ответе нет обоснования: не указано, какие именно «сильные» доводы приводила Софья.  В «неправильном» ответе есть обоснование: «Граффити приносят ущерб и являются потерей времени».

4. Выводы

1. Группа заданий «Граффити» – это совокупность ложных суждений, логических ошибок и  и неправильных (но по мнению авторов заданий — "правильных") ответов.   

2.  Полученная информация о группе заданий «Граффити» дает основания предполагать,  что результаты исследований программы PISA-2000 по определению  грамотности чтения российских учащихся не имеют никакой научной ценности.

3. «Граффити» может использоваться для определения логической   грамотности школьников и студентов, в следующей формулировке: «Найдите ложные суждения, логические ошибки, логически некорректные ответы в группе заданий «Граффити» международной программы PISA-2000».

Литература

1. Г.С.Ковалева, Э.А. Красновский и др. Основные результаты международного исследования образовательных достижений учащихся PISA-2000. Школьные технологии. 2003. №  5. С. 85-96.
2. А.В. Краснянский. Системный анализ заданий международной программы PISA. Часть 1. «Педагогические науки».   № 1.  2009.
3. А.В. Краснянский. Системный анализ заданий международной программы PISA. Часть 2. «Педагогические науки».   № 2.  2009.
4.  С.И. Ожегов. Словарь русского языка. Издание 5-е, стереотипное. Москва. Государственное изд-во иностранных и национальных словарей. 1963.
5. Федеральный закон «О рекламе» от 13.03.2006 N 38-ФЗ. Статья 3, пункт 1.  
6. И.П.Башкатов, Т.С.Стрелкова.  Социологические исследования. 2006.  № 11. С. 141-145.
7.  Ю.В. Ивлев. Логика. Издание 3-е. Москва. «Проспект». 2004. 
8. И.Д.  Демидов, Б.И. Каверин. Логика.  Вопросы и ответы. Издание 2-е. Москва. «Юриспруденция». 2002.
9. Толковый словарь русского языка.  Под редакцией Д.Н. Ушакова. Москва.  1940.
10. Словарь русского языка. Том IV. С – Я. Издание второе, исправленное и дополненное. Москва. Академия наук СССР. Институт русского языка. Главный редактор А.П. Евгеньева. Издательство «Русский язык». 1984.
  
  Статья в редакции от 20 мая 2009 года под названием "Системный анализ заданий международной программы PISA. Часть 3" опубликована в журнале "Педагогические науки", № 3. 2009.  Файл: Граффити1ДА. Статья на сайте неоднократно редактировалась в период времени с 2009 по  2016 год.  

Приложение 1:

  Группа заданий "Граффити" международной программы PISA-2000

  РОССИЙСКАЯ АКАДЕМИЯ ОБРАЗОВАНИЯ. ИНСТИТУТ ОБЩЕГО СРЕДНЕГО ОБРАЗОВАНИЯ. Центр оценки качества образования Москва-2003.  МЕЖДУНАРОДНАЯ ПРОГРАММА PISA 2000  ПРИМЕРЫ ЗАДАНИЙ по чтению ,  математике и естествознанию. URL:  http://school6vyazniki.ucoz.ru/test/PISA_2000.pdf   

  Два письма пришли по Интернету и оба они о «граффити». Граффити – это рисунки или надписи на стенах или других местах, выполненные без официального разрешения. Используйте письма для ответов на вопросы, предлагаемые ниже.

 
   Я киплю от злости, так как в четвертый раз стену школы очищают и перекрашивают, чтобы покончить с  граффити. Творчество – это прекрасно, но почему же не найти такие способы самовыражения, которые не причиняли бы лишний ущерб обществу?
   Почему надо портить репутацию молодого поколения, рисуя на стенах там, где это запрещено? Ведь художники-профессионалы не вывешивают свои полотна на улицах, не так ли? Вместо этого они находят средства и завоевывают славу на официальных выставках.
    По моему представлению, здания, ограда, парковые скамейки сами по себе произведения искусства. И разве не жалко портить эту архитектуру росписью, не говоря уже о том, что используемый для этого метод разрушает озоновый слой. И я не могу понять, почему эти самозванные художники так злятся, когда их так называемые «художественные полотна» убирают с глаз долой снова и снова.
Хельга
 

    У людей разные вкусы. Общество перенасыщено информацией и рекламой. Знаки торговых компаний, названия магазинов. Большие навязчивые плакаты по обеим сторонам улиц. Приемлемо ли все это? В основном, да. А приемлемы ли граффити? Некоторые говорят да, некоторые – нет.
    Кто платит за эти граффити? А кто в конечном итоге платит за рекламу? Правильно. Потребитель.
    А спросили ли те, кто ставит рекламные щиты, вашего разрешения? Нет. Тогда должны ли это делать люди, рисующие на стенах? Не просто ли это вариант общения, например, ваше собственное имя, названия партий или большие произведения искусств на улице?
    Только вспомните о полосатой и клетчатой одежде, появившейся в магазинах несколько лет назад. И о лыжных костюмах. Модели и цвета были скопированы с разрисованных бетонных стен. Довольно забавно, что и эти модели, и цвета принимаются сегодня в обществе, восхищают, а граффити в том же стиле считаются ужасными.
    Да, трудные времена настали для искусства.
Софья
 

Вопрос 1                                                                                           R081Q01
Цель каждого из писем:
A    объяснить, что такое граффити.
B    выразить свое мнение о граффити.
C    продемонстрировать популярность граффити.
D    рассказать людям, что очень много средств тратится, чтобы смыть эти росписи.

Оценка выполнения задания
Деятельность: Интерпретация текста
Формат текста: Сплошной
Ситуация: Общественная

Код 1:    Ответ B – «выразить свое мнение о граффити»
Код 0:    Другие ответы.

Краткое описание особенностей задания.
В первом вопросе из группы заданий «Граффити» учащихся спрашивали о целях обоих писем о граффити и предлагали выбор из четырех возможных вариантов ответа. Верно ответили на этот вопрос 64% российских учащихся.

Вопрос 2                                                                                                 R081Q05
Почему Софья ссылается на рекламу?
Оценка выполнения задания
Деятельность: Интерпретация текста
Формат текста: Сплошной
Ситуация: Общественная
Код 1:    Говорится о том, что сравнение проводится между граффити и рекламой. Ответ соотносится с мыслью о том, что реклама — это легальная форма граффити.
Примеры ответов:
•    Чтобы показать нам, что реклама может быть такой же агрессивной, как и граффити.
•    Потому что некоторые люди думают, что реклама так же безобразна, как рисунки, сделанные с помощью баллончика с краской.
•    Она говорит, что реклама — это легальная форма граффити.
•    Она думает, что реклама подобна граффити.
•    Потому что у вас не спрашивают разрешения на установку рекламных щитов. [Сравнение между рекламой и граффити подразумевается.]
•    Потому что реклама располагается вокруг нас без нашего разрешения, как и граффити.
•    Потому что рекламные щиты похожи на граффити. [Минимальный приемлемый ответ. Признается сходство, но не указывается, в чем оно состоит.]
•    Потому что это другая форма выставки.
•    Потому что люди, дающие объявления, наклеивают их на стены, и она думает, что это то же самое, что и граффити.
•    Потому что она также помещается на стенах.
•    Потому что на них одинаково приятно или неприятно смотреть.
•    Она обращается к рекламе, потому что реклама принимается  в отличие от граффити. [Сходство между граффити и рекламой легко увидеть из противопоставления отношения к каждому из них]
ИЛИ:    Говорится о том, что обращение к рекламе — это способ защитить граффити.
Примеры ответов:
•    Это позволит  нам увидеть, что граффити законно, несмотря ни на что.
Ответ не принимается
Код 0:    Дан несоответствующий или неясный ответ.
Примеры ответов:
•    Это способ выражения ее точки зрения.
•    Потому что ей хочется, она упоминает о ней для примера.
•    Это способ.
•    Знаки компаний и названия магазинов.
ИЛИ:    Просматривается неточное понимание материала или дан неправдоподобный или неуместный ответ.
Примеры ответов:
•    Она описывает граффити.
•    Потому что люди надевают на себя одежду с рисунками под граффити.
•    Граффити — это один из видов рекламы.
•    Потому что граффити — это реклама отдельного человека или некоторой группы. [Сравнение делается с неверной позиции, то есть считается что граффити — это форма рекламы.]

Краткое описание особенностей задания.
Вопрос 2 (более трудный) требовал свободного, хотя и краткого ответа и был направлен на установление связей в тексте. Автор одного из писем в защиту граффити вспоминала рекламу, о размещении которой никто «не спрашивает разрешения» у потребителя. О смысле такого упоминания и задавался вопрос. 40% российских участников верно ответили на вопрос, 42% — неверно (не поняли смысла упоминания о рекламе).

Вопрос 3                                                                                          R081Q06A-
     С каким из этих двух писем вы согласны? Дайте своими словами обоснование своей точки зрения, при этом используя то, что сказано в одном из писем или в них обоих.

Оценка выполнения задаия
Деятельность: Рефлексия и оценка
Формат текста: Сплошной
Ситуация: Общественная
Код 1:    Объясняется точка зрения посредством обращения к содержанию одного или обоих писем. Говорится об общей позиции автора (то есть за или против) или деталях аргументации. Интерпретация аргументов автора должна быть правдоподобной. Объяснение может быть дано в форме пересказа части текста, но не должно копировать текст полностью или в значительной степени без внесения в него изменений или дополнений.
Примеры ответов:
•    Я  согласен с Хельгой. Граффити незаконны, и поэтому являются актами вандализма.
•    Хельга, потому что я против граффити.  [Минимальный приемлемый ответ.]
•    София. Я  думаю, что лицемерно штрафовать художников, рисующих граффити, а затем зарабатывать миллионы, копируя их рисунки.
•    Я,  вроде, согласен с обеими. Должно быть незаконно разрисовывать красками стены в общественных местах, но этим людям следует дать возможность делать свои рисунки где-нибудь еще.
•    София, потому что она заботится об искусстве.
•    Я  согласен с обеими. Граффити — это очень плохо, но реклама — это точно так же плохо, так что я не хотел бы лицемерить.
•    Хельга, потому что на самом деле я тоже не люблю граффити. Но я понимаю точку зрения Софии, и как она не хочет осуждать людей за то, что они делают то, во что верят.
•    Хельга, потому что действительно жалко портить репутацию молодого поколения из-за ненужной вещи. [Ответ, находящийся на грани: дана прямая цитата, которая включена в другой текст.]
•    София. Это правда, что образцы и цвета, украденные у граффити, появляются в магазинах и принимаются людьми, которые считают граффити ужасными. [Объяснение является комбинацией фраз из текста, но число обращений к тексту показывает, что содержание понято правильно.]
Код 0:    Собственная точка зрения подтверждается с помощью прямой цитаты из текста (выделенной или не выделенной кавычками).
Примеры ответов:
•    Хельга, потому что я согласен с тем, что люди должны находить способы самовыражения, которые не будут стоить обществу дополнительных затрат.
•    Хельга. Зачем портить репутацию молодого поколения?
ИЛИ:    Дан несоответствующий или неясный ответ.
Примеры ответов:
•    София, потому что я думаю, что письмо Хельги не подтверждает обоснованно  ее аргументацию  (София сравнивает свою аргументацию с рекламой и т. д.)  [В ответе говорится о стиле или качестве аргументов.]
•    Хельга, потому что она использует больше деталей. [В ответе говорится о стиле или качестве аргументов.]
•    Я  согласен с Хельгой. [Мнение не обосновано.]
•    Хельга, потому что я верю тому, что она говорит. . [Мнение не обосновано.]
•    Обе, потому что я могу понять, из чего исходит Хельга. Но София также права. [Мнение не обосновано.]
ИЛИ:    Просматривается неточное понимание материала или дан неправдоподобный или неуместный ответ.
 Примеры ответов:
•    Я  больше согласен с Хельгой. София кажется не очень уверена в том, что она думает.
•    Хельга, потому что, она думает, что некоторые люди талантливы. [Неправильная интерпретация аргументов Хельги.]

Краткое описание особенностей задания.

Средней трудности по установленной шкале был вопрос 3, в котором нужно было дать обоснование собственной точки зрения на граффити, используя сказанное в письмах. Не смогли сделать этого 29% российских учащихся. Справились с заданием более 55%.

Вопрос 4                                                                                       R081Q06B
     Анализируя каждое письмо, мы можем обсуждать, что говорится в письме (т.е. его содержание).
     Мы можем также обсуждать, как написано письмо (т.е. его стиль).
     Безотносительно к тому, с чьим письмом вы согласны, объясните, кто из этих двух авторов, по вашему мнению, написал письмо   лучше? Обоснуйте свой ответ, ссылаясь на то, как написаны оба или одно из этих писем.

Оценка выполнения задания
Деятельность: Рефлексия и оценка
Формат текста: Сплошной
Ситуация: Общественная
Код 1:    При объяснении мнения упоминаются стиль или форма одного или обоих писем. Делаются ссылки на такие особенности, как стиль письменной речи, построение аргументации, убедительность аргументации, тон, использованные записи, способы убеждения людей. Высказывания типа "лучше аргументирует"  должны быть обоснованы. (Имейте в виду, что такие высказывания, как "интересно", "легко читается", "понятно", не считаются достаточно подходящими.)
Примеры ответов:
•    Хельга. Она привела много различных аргументов, которые надо принять во внимание, и она упомянула о вреде, который рисующие граффити наносят окружающей среде, что я думаю очень важно.
•    Письмо Хельги более действенное из-за ее прямого обращения к рисующим граффити.
•    Я  думаю, что письмо Хельги лучшее из двух. Я   подумал, что письмо Софии несколько пристрастно.
•    Я  думаю, что София приводит очень сильные доводы, но письмо Хельги построено лучше.
•    София, потому что ее письмо ни на кого конкретно не нацелено. [Объясняется его/ее выбор с помощью ссылки на  особенность содержания. Объяснение вразумительное,  если его интерпретировать, как  "ни на кого не нападает".]
•    Мне нравится письмо Хельги. Она очень напористо высказывает свое мнение.
Код 0:    Высказывания выражают  согласие или несогласие с позицией автора или просто перефразируют или комментируют содержание.
Примеры ответов:
•    Хельга. Я  согласен со всем, что она сказала.
•    Письмо Хельги лучше. Граффити приносят ущерб и являются потерей времени. как она и сказала.
•    Письмо Софии. Все, что она сказала,  важно.
ИЛИ:    Суждения не сопровождаются соответствующим объяснением.
Примеры ответов:
•    Письмо Софии самое лучшее.
•    Письмо Софии легче читать.
•    У Хельги аргументы лучше.
ИЛИ:    Просматривается неточное понимание материала или дан неправдоподобный или неуместный ответ.
Примеры ответов:
•    Хельгино лучше написано. Она рассматривает проблему шаг за шагом и затем на этой основе приходит к логическому выводу.
•    София, потому что она держит при себе свое мнение до конца  своего письма.

Краткое описание особенностей задания.

Задание 4, в котором надо было сопоставить стиль каждого письма, указав на то из них, которое считают лучшим (независимо от согласия с позицией автора), выполнили 31% наших учащихся. Не приступили к его выполнению почти 23% учащихся. Затруднения испытывали 46 % учащихся, подменив вопрос, не поняв его цели и содержания.

Приложение 2

МЕЖДУНАРОДНАЯ ПРОГРАММА PISA 2000

Примеры заданий по чтению, математике и естествознанию. Москва. 2003 год. Группа заданий Граффити" программы PISA-2000. Скриншоты сделаны 8 окября 2017 года.  URL:  http://school6vyazniki.ucoz.ru/test/PISA_2000.pdf

Группа заданий Граффити" программы PISA-2000

a 

Приложение 3

PISA RELEASED ITEMS — READING

Graffiti

Скриншоты.  URL:  http://www.oecd.org/pisa/38709396.pdf

Приложение 4

Сведения о публикации статьи Анатолия Красняского "Системный анализ заданий международной программы PISA. ЧАсть 3"

URL:   https://elibrary.ru/item.asp?id=12908254

Приложение 5

Поддержка "ПИЗЫ"

 Педагогические уроки  PISA 2000 — 09 или тест  PISA – как ориентир школы  информационного общества

Анатолий Каспржак. Рига,  март 2011 года. Скриншоты сделаны 4 октября 2017 года.  URL:  http://www.pdps.lv/_private/PREZENTACIJI/PISA_2011.pdf