Модуль 6. КачествоУрок 2 из 310 минут

Измерения и закон Гудхарта

Павел хочет поднять результаты седьмых классов по математике. Он вводит правило: учителю, чей класс получит на пробном тесте не менее 75%, доплата 5 000 ₽ в месяц. До этого средний результат был 61%. Через четверть он 78%, Павел счастлив. Но когда в классах провели диагностику с нестандартными задачами, оказалось, что их решают не 38%, а 31%. Доля пятёрок в журнале выросла с 18% до 31%. Все числа в этом примере вымышленные, но механизм хорошо известен.

Как показатель перестаёт быть показателем

Закон Гудхарта (1975) гласит: показатель, ставший целью, перестаёт быть хорошим показателем. Закон Кэмпбелла (1976) говорит близкое: чем сильнее количественный показатель используют для решений, тем больше давление на его искажение и тем сильнее он искажает процесс, который должен был измерять. В школе искажения принимают три формы:

• Натаскивание. Время уходит на типовые задания теста, а не на понимание предмета. Результат теста растёт, умение нет.
• Завышение. Требования снижаются, оценки растут. Число пятёрок увеличивается, знания не меняются.
• Отбор. Тест проходят «удобные» ученики, слабым советуют не приходить, группы формируют по результатам. Показатель растёт, а школа учит меньше детей.

Заметьте: учителя в этом примере не обязательно «обманывают». Они делают разумный выбор в условиях, когда за показатель платят. Виновата система стимулов.

Чтобы почувствовать механизм, воспользуйтесь моделью. Важно: это иллюстративная модель, а не данные. Она показывает, как ведут себя две величины при росте давления на один показатель. Меняйте давление и следите за двумя линиями: измеряемым показателем и реальным умением.

Модель: давление на один показатель

Иллюстрация механизма, а не данные. Двигайте давление на результат пробного теста и смотрите, что происходит с измеряемым и с реальным.

Давление на показатель, % 40

Времени на натаскивание

Измеряемый балл

Реальное умение

Разрыв

Обратите внимание на форму зависимости. При небольшом давлении оба показателя растут: цели помогают сосредоточиться. Дальше измеряемый показатель продолжает расти, а реальное умение выходит на плато и начинает падать, потому что время переходит от обучения к подготовке к тесту. Опасно не то, что показатель вообще используется, а то, что он один и за него отвечают деньгами или репутацией.

Похожая история случается и в дополнительном образовании. В «Мастерской» руководителю кружков поставили цель: 90% детей должны дойти до конца года. Через год показатель составил 92%. Но при разборе выяснилось, что руководитель перестал брать в группы детей без опыта и тех, кто нерегулярно ходит, и стал мягче относиться к пропускам, чтобы не терять учеников. Показатель вырос, а мастерская учит меньше детей, которым она нужнее всего. Парный показатель мог бы поймать это: доля новичков в наборе и доля детей с заметным прогрессом.

Как строить систему, которую трудно обыграть

1. Несколько показателей в связке. Результат плюс процесс плюс голос участников. Улучшить сразу все три, не улучшив обучение, трудно.
2. Качественные данные. Работы учеников, наблюдения уроков, интервью с детьми. Их сложнее подделать, чем число.
3. Развести измерение и вознаграждение. Данные нужны для разговора и решений, а не для расчёта премии напрямую. Чем ниже ставки, тем честнее данные.
4. Независимая проверка. Работы проверяют педагоги из другой параллели или другого класса, без фамилий. Часть заданий диагностики не публикуется заранее.
5. Динамика каждого ученика. Сравнивайте не «уровень класса», а то, насколько изменился результат у каждого от входа к выходу.

Отдельно об опросах. Спрашивайте о конкретном, а не «довольны ли вы». Вопрос «Вы понимаете, по каким критериям оценивают работы вашего ребёнка?» даст то, с чем можно работать. Вопрос «Довольны ли вы школой?» даст число, за которым не видно причин. Райхельд (2003) предложил индекс NPS: один вопрос и одно число. У него та же слабость: число не объясняет причин, поэтому к нему нужны открытые вопросы. И всегда указывайте долю ответивших: в «Горизонте» это 150 из 300, то есть половина семей, а молчат те, кому есть что сказать.

И последнее правило касается самих наблюдений. Если администратор приходит на урок и ставит оценку, педагог готовит показательный урок. Если же наблюдение используют для разговора о развитии (напомним модуль 5), оно даёт данные о реальной работе. Один и тот же инструмент, но разная цена искажения: она зависит от того, что за ним последует. Поэтому, проектируя любой показатель, спрашивайте не только «что мы измеряем», но и «что произойдёт с человеком, если число окажется плохим».

Измерения нужны, чтобы работать с результатами: разбирать их с педагогами, менять практику и слышать родителей. Как делать это без поиска виноватых и что делать, когда родитель приходит с жалобой на оценку, посмотрим в следующем уроке.