Дискуссия по критериям проверки работ ЕГЭ
В газете «Математика» были опубликованы две статьи М.К.Потапова и А.В.Шевкина, размещенные и на нашем сайте: Несколько замечаний по критериям оценки работ ЕГЭ (21/2006) и Еще раз о критериях оценки работ ЕГЭ (4/2007) .
В № 10/2007 газета опубликовала два отклика на нашу вторую статью, которые потребовали ответных комментариев. Поэтому мы приводим на этой странице упомянутые отклики и ответ на них. Желающих присоединиться к дикуссии просим присылать свои материалы по адресу: av@shevkin.ru.
А.В. Шевкин
О дискуссии по критериям оценки работ ЕГЭ
в газете «Математика»
В газете «Математика» (10/2007) опубликованы сразу два отклика [1] и [2] на нашу с М.К. Потаповым статью [3]. Эти публикации позволяют не только судить о взглядах составителей контрольно-измерительных материалов (КИМ) для ЕГЭ на практику использования критериев оценки работ, но и оценить их манеру вести дискуссию. Поскольку именно я был инициатором статей [3] и [4], то считаю своим долгом самостоятельно ответить на аргументы наших критиков, освободив от этой неприятной процедуры моего уважаемого соавтора М.К. Потапова.
Сразу оговорюсь, что не являюсь сторонником ЕГЭ в том виде, в каком он существует, но раз уж он существует, то хотелось бы, чтобы это испытание имело поменьше дефектов и дурного влияния на практику обучения математике в школе. А такое влияние проистекает, в частности, от того, что критерии оценивания работ составляются под один (не всегда самый лучший и самый массовый!) способ решения задачи, что и дает неверные ориентиры учителям и учащимся. И это не зависит от того, что пишут составители критериев в инструкции про равноценность любых правильных способов решения задачи.
Вдумаемся: они пишут в инструкции, что критерии служат образцом для написания критериев к другим способам решения тех же задач! То есть они перекладывают свою работу на экспертов, которые должны будут написать эти критерии для каждого нового способа решения задач С1–С5. Написать за считанные часы и в каждой территории свои! Сомневаюсь, что при этом каждая территория получит для одного и того же нового способа решения задачи идентичные критерии выставления пресловутых баллов. Что при разных способах решения одной и той же задачи баллы от 0 до 4 будут соответствовать одному и тому же уровню подготовки школьников. Кто это доказал? — Никто. Но тогда рушится одна из аксиом ЕГЭ — обещанное единство требований к проверке работ из разных регионов.
Разработчики КИМ не могут не понимать, что с особой тщательностью учителя математики и школьники будут отрабатывать те способы решения задач, под которые составлены критерии проверки заданий в демоверсии, так как по таким же критериям эксперты будут проверять работы школьников. А как будут проверять иное решение, не знает никто. Таков механизм дурного влияния на школьное математическое образование не самых лучших решений задач С1–С5 и критериев проверки к ним, написанных в одном варианте. Даже неловко объяснять столь очевидные вещи… Именно поэтому в своих статьях мы не «разжевывали» очевидные истины, а высказали сомнение в правильности принятого способа проверки работ с помощью критериев, написанных под единственный вариант решения задачи, привели в статье [4] несколько более простых решений, которые могут дать учащиеся и для которых на местах придётся составлять новые критерии. Интересно, что об этой статье (в ней приведены более убедительные примеры, чем в статье [3]) наши критики молчат, хотя она упомянута в начале критикуемой ими статьи. То есть возражать по существу нашей критики они не хотят, вот и придираются к полноте решений, стилю статьи [3] и прочим её «недостаткам», несущественным для обсуждаемой проблемы.
В статье [3] мы показали, что решение задачи С–3 не является «самым ожидаемым», что решение задачи С4 содержит неточности, и показали, как их можно устранить, чтобы решение приблизилось к реалиям школы. Уверен, что мы высказали не какую-то исключительную точку зрения на обсуждаемую проблему, так как не раз обсуждали её с преподавателями математики и учителями школ. Публикацией статей [3] и [4] мы не ставили себе задачу выполнить работу за разработчиков КИМ, то есть написать «правильные» варианты решений. Мы хотели показать проблематичность правильной оценки работ учащихся по критериям, написанным под единственный вариант решения задачи. Мы указали на ошибки разработчикам КИМ, а не делали за них работу над ошибками. Отсюда и стиль «публикации в учебно-методическом журнале [такой разве есть? — А. Ш.]», столь возмутивший наших критиков. Разве стиль нашей статьи не соответствовал органу печати, её опубликовавшему? Тогда о чём шумим?
Мне кажется, что выступая в газете с критикой несогласных с разработчиками КИМ, эти разработчики делают хорошую мину при плохой игре. С одной стороны, они признают, что «введение ЕГЭ пока что мало у кого вызывает чувство по-настоящему «глубокого» удовлетворения или хотя бы сдержанного оптимизма. Серьёзные проблемы отмечают до 90 % преподавателей математики» (П. Семёнов). С другой стороны, они не собираются вести дискуссию, которая могла бы хотя бы отчасти исправить положение дел. Их дело раскритиковать своих оппонентов, да так хлёстко, чтобы другим неповадно было устраивать дискуссии вокруг ЕГЭ в методической печати.
Вот теперь почитаем, что написали наши оппоненты.
В отклике [1] И. Сергеев ещё раз приводит задачу С3 и её решение из демоверсии, выделяет две идеи, на которых основано это решение, и заключает: «Трудно не согласиться с тем, что это решение, несмотря на его необычность, математически весьма элегантное и красивое».
Затем он оценивает наше решение как слишком многословное и притом малопонятное, логически громоздкое и «с пробелами в выкладках (замаскированными под фразы типа «легко проверить» и «ясно, что…»)» и отмечает, что наше решение идейно ближе к тому, чему учат в школе: учителя и школьники вполне способны придумать его сами. Хотя оно и не слишком простое…». Тут автор отзыва не определился: если наше решение идейно ближе к тому, чему учат в школе, если школьники вполне способны придумать его сами, то, может быть, наша критика «не того» способа решения задачи С3 справедлива? Тогда о чём с нами спорит уважаемый критик?
Далее И. Сергеев высказывает интересную мысль: «Наконец, где, как не в демоверсии, имеет смысл попытаться пробудить эстетические чувства школьников?» и отмечает, что ему «глубоко симпатична мысль М. Потапова и А. Шевкина о неприемлемости той стандартизации решений заданий ЕГЭ с помощью критериев оценки их выполнения, которая принята при нынешней организации проверки работ…».
Если не спорить о красоте метода решения конкретной задачи, а также об эстетическом воспитании выпускников школ средствами задач из ЕГЭ, то в главном наш критик с нами солидарен. Тогда зачем эта буря в стакане воды? Чтобы указать на наличие фраз «легко проверить» и «ясно, что…», вполне допустимых в полемической газетной статье? И всё?
Совсем по-другому выглядит отзыв [2], что отражено в его названии: «Введение в заблуждение методом подстановки» — так П. Семёнов называет приписываемый нам метод ведения дискуссии, то есть пишет об известном способе недобросовестного ведения дискуссии, который называют «сознательной подменой тезиса». Суть его состоит в замене тезиса оппонента на внешне сходный и в критике этого нового тезиса с целью демонстрации несостоятельности позиции оппонента. Вот как описывает этот метод П. Семёнов: «Сначала реальному положению дел приписываются некоторые предполагаемые значения. Затем результаты подстановки критикуются».
Забавно, что П. Семёнов спорит с нами именно «методом подстановки». Он пишет: «Начнём с названия статьи: «Ещё раз о критериях оценки работ ЕГЭ». Читатель, ожидающий разговора о том, каким образом выставляются (или могут быть выставлены) баллы от 0 до 4 за решения задач С1–С5 с развёрнутым ответом, будет разочарован. Ни о каких баллах, ни о каких способах выставления оценок в статье ни слова». Хочется спросить, откуда у П. Семёнова столь трогательная забота о читателе, который почему-то должен ожидать от статьи того, чего нет ни в её названии, ни в её содержании, но что подробно прописано в критериях из демоверсии? Да мало ли чего ещё нет в нашей статье? За отсутствие этого «всего» нас нужно ругать? П. Семёнов хотел бы свести разговор о критериях к технике выставления баллов. А мы об этом не писали сознательно, так как не считаем её научно обоснованной. Он не находит желаемого в нашей статье и от лица читателей высказывает своё возмущение нашим методом введения читателей в заблуждение! Разве это не «метод подстановки»? Между тем, наша статья посвящена именно критериям оценки работ ЕГЭ и их дурному влиянию на школьную практику, причём название статьи точно отражает её содержание.
Не нравится П. Семёнову использование нами слова «эталонное» применительно к решениям из демоверсии. Он пишет: «Как, собственно, трактовать понятие «эталон» — неизвестно никому». Так уж и никому? В словаре иностранных слов «эталон» трактуется как мерило, образец для сравнения с чем-либо. Именно в этом общепринятом смысле мы и применяем упомянутый термин. Разве решение из демоверсии (с критериями выставления отметки) не служит мерилом при проверке работ выпускников? Тогда чему так деланно удивляется П. Семёнов? Он пишет: «Авторы статьи, по существу, формируют у читателя мнение о том, что составители КИМ навязывают всем ученикам и учителям своё решение как самое стандартизированное. Мнение это ложно!» Ничего мы специально не формировали, такое мнение формируется автоматически у любого непредвзятого человека. Хотят того разработчики КИМ или нет, но они действительно навязывают учителям и учащимся своё решение как единственно верное. По причинам, описанным выше и воздействующим на учителей и учащихся даже в том случае, если они читали инструкцию разработчиков КИМ и не читали нашей статьи. Так что мнение это не ложно.
Далее П. Семёнов увлечённо защищает всех членов Федеральной предметной группы от неназванных им «менеджеров от образования, ни разу в жизни реально не проверивших даже десяти различных ученических решений одной и той же задачи с развёрнутым ответом». Зачем же наклеивать ярлыки в отзыве на нашу статью? Неужели П. Семёнов не догадывается, что часть читателей (по известным законом психологии) посчитает, что это он пишет про нас? Кстати, если сам П. Семёнов проверил более десяти различных ученических решений одной и той же задачи с развёрнутым ответом и до сих пор искренне доволен критериями, написанными под единственный вариант решения, то, на мой взгляд, это не украшает его профессиональную репутацию.
Вот ещё один пример применения «метода подстановки» П. Семёнова: «Встанем на точку зрения авторов, то есть допустим, что предлагаемые ими решения служат более правильным образцом». Подождите! Это вовсе не точка зрения авторов! Мы писали газетную статью, а не решение задачи для демоверсии. Отсюда и «легко проверить» в том месте, где это, действительно, легко сделать, и другие «недостатки», с таким удовольствием критикуемые П. Семёновым.
Вот ещё один его пассаж: «Авторы статьи ссылаются на отсутствие в школьных учебниках и стандартах образования понятия равносильности уравнений на множестве пар и понятия ОДЗ системы. Во-первых, стандарты не резиновые, а равносильность там всё же есть. Во-вторых, ОДЗ в демоверсии упомянута не в решении, а в критериях проверки… Наконец, в своём решении авторы говорят о равносильности на множестве М, чего, следуя их логике, делать нельзя — ведь в стандарте этого нет». Разве П. Семёнов нас в чём-то опроверг? Из того, что равносильность в стандартах есть, не следует, что в школе изучается равносильность уравнений с двумя неизвестными, о чём писали мы. Чтобы избежать обсуждения таких равносильностей при решении задачи С5 мы и заменили y на громоздкую дробь, что с таким сарказмом критикует П. Семёнов. Далее, разве наличие ОДЗ в критериях не предполагает проверить её наличие в работах учащихся? Тогда чем возмущается П. Семёнов? И ещё. Разве нашему критику не известно, что не бывает равносильности уравнений «вообще», они бывают равносильны на некотором множестве. Если говорят уравнения равносильны, то предполагают, что они равносильны на множестве R. В других случаях множество чисел, на котором уравнения равносильны, задают условиями, определяющими это множество, или выписывают это множество явно. Так как в стандартах равносильность есть, то можно говорить и о равносильности на множестве чисел. Трудно заподозрить, что П. Семёнов не знает об этом. Тогда о чём он так сердито спорит?
Мы не затронули всех «недостатков» нашей статьи [3], столь же «убедительно» критикуемых нашим оппонентом, думается, что и сказанного довольно, чтобы понять, что у П. Семёнова не получилось с нами поспорить по существу. Применяемый им «метод подстановки» как раз и говорит о том, что возразить нам ему нечего, а вот изобразить благородное возмущение очень хочется.
Именно недостатком аргументов и избытком эмоций объясняется его желание приписать нам слова и действия, глубоко его возмущающие, и повозражать им «как можно громче». Это чтобы и другим неповадно было критиковать его работу. Стоит ли говорить, что отзыв П. Семёнов на статью [3] написан не из заботы о читателях газеты, хотя подаётся именно так. На самом деле П. Семёнов борется за свою профессиональную репутацию, но в гневе не анализирует наши тексты всерьёз, а ищет в них места, которые можно покритиковать с помощью «метода подстановки». А жаль. Хотелось бы серьёзного обсуждения затронутой проблемы, и газета могла бы продолжить начатую дискуссию. Только желательно удерживать авторов публикаций от опрометчивых и непродуманных реакций, продиктованных не холодным анализом ситуации, а горячим желанием одёрнуть своих оппонентов окриком в духе «Это кто там посмел усомниться в том, что я прав?». Поэтому публиковать ответы на эмоциональные отклики надо обязательно. Для повышения культуры дискуссий на страницах газеты.
Литература
[1] И. Сергеев. О верных и неверных ориентирах. М.: Математика, 2007, № 10.
[2] П. Семёнов. Введение в заблуждение методом подстановки. М.: Математика, 2007, № 10.
[3] М. Потапов, А. Шевкин. Еще раз о критериях оценки работ ЕГЭ. М.: Математика, 2007, № 4.
[4] М. Потапов, А. Шевкин. Несколько замечаний по критериям оценки работ ЕГЭ. М.: Математика, 2006, № 21.
Примечание. Статьи [1] – [4] размещены на сайте «Математика. Школа. Будущее» (www.shevkin.ru).