Глава 5. В защиту политики

Фрагмент 22. Полемика и качество: против количественных измерений качества

Однажды Луиза начала разговор с братом со слов «Том, мне удивительно…», и мистер Грэдграйнд, который подслушивал этот разговор, немедленно выдал себя, войдя и сказав: «Луиза, никогда не надо удивляться». Отсюда и растут ноги механистического искусства и тайна обучения разума — никакого пестования чувств и привязанностей. Никогда не удивляйся. Решай всё посредством сложения, вычитания, умножения и деления, и никогда не удивляйся.

Чарльз Диккенс. Тяжёлые времена

Сила частного предприятия лежит в его ужасающей простоте… оно в совершенстве вписывается в современный тренд тотального предпочтения количественных показателей качественным, так как частное предприятие заботится не о том, что оно производит, но о том, что оно получает в результате.

Эрнст Шумахер. Малое прекрасно

Миа Канг уставилась на листок с тестом, лежавший на её столе. Это был всего лишь учебный тест. Учителя назвали этот тест «пробным», чтобы они могли понять, как ученики справятся с принятым в Техасе способом оценивания знаний, умений и навыков. Но вместо того, чтобы заполнить пропущенные места и угодить учителю, Миа, ученица первого года обучения в старшей школе Мак-Артура, использовала листок с тестом для того, чтобы написать сочинение с критикой стандартизированных тестов и использования результатов тестирования для оценки учащихся и формирования рейтинга школ.

«Я написала о том, что стандартные тесты мешают, а не помогают школам и детям, — говорит Миа, которая вела себя удивительно по-взрослому и выглядела старше своих 14 лет. — Просто я бы не смогла участвовать в том, с чем совершенно не согласна. Эти тесты не дают детям того, что им действительно нужно знать; они лишь измеряют то, что легко измерить, — заявила она. — Нам стоило бы учиться понятиям и умениям, а не тому, как всё запомнить. Это плохо как для детей, так и для учителей».

Когда последствия Акта о всеобщем обучении (No Child Left Behind Act), принятого в 2001 году, докатились до школ на местах, поднялась волна сопротивления учеников, и храбрый поступок Мии Канг был всего лишь одним из примеров этого. Пятьдесят восемь учеников старшей школы Дэнверс (Danvers High School) в штате Массачусетс подписали петицию против обязательного экзамена под названием Массачусетская единая система оценивания (Massachusetts Comprehensive Assessment System, MCAS), а те, кто отказался участвовать в этом экзамене, были отстранены от занятий. Учащиеся других старших школ штата поддержали их. Подобные «очаги сопротивления» вспыхнули по всей стране: многие учащиеся штата Мичиган отказались принимать участие в местном тестировании, а в штате Висконсин выпускной экзамен (сдача которого обязательна для получения аттестата) был сорван из-за массового сопротивления со стороны учеников и их родителей. В одном из случаев учителя, возненавидевшие натаскивание на сдачу тестов, которое теперь от них требовалось, в знак протеста единодушно отказались от премий по итогам работы. Организовывали протесты вместо своих детей и родители младшеклассников, которых также вынуждали писать тесты. Понимая, что дети должны научиться читать, писать и считать с самого начала обучения в школе, родители, как и их дети, протестовали против начётнической атмосферы в классе. В основном, хотя и не повсеместно, это сопротивление было вызвано ненавистью учеников к пробным тестам, выводившим и без того заметный коэффициент скуки в школе на новый уровень.

Подготовка к тестам не только была мартышкиным трудом и для учеников, и для учителей; она отнимала много времени, которое можно было бы посвятить чему-нибудь другому — искусству, театральным постановкам, истории, физкультуре, изучению иностранных языков, написанию сочинений, стихов или совместным походам. Ушли в небытие многие другие задачи, которые могли бы оживить образовательный процесс: сотрудничество в обучении, поликультурная программа, формирование широких компетенций, обучение естественным наукам с упором на самостоятельные открытия и проблемно-ориентированное обучение. Школа угрожала превратиться в фабрику, производящую только один товар — учеников, могущих успешно пройти стандартные тесты, цель которых состоит в измерении узкого диапазона знаний и привитии умения сдавать тесты. Здесь уместно вновь вспомнить о том, что школа в том виде, в котором она существует сейчас, появилась примерно в одно время с текстильной фабрикой. И школа, и фабрика собирали всю рабочую силу под одной крышей; для упрощения контроля и оценивания и там, и там формировалась дисциплина в отношении времени и специализация по выполняемым задачам — и там, и там целью было производство стандартного товара заданного качества. Нынешний упор на региональные или национальные стандартные тесты основан на модели управления корпорацией с помощью количественных нормативов, позволяющих сравнивать учителей, школы, учеников с тем, чтобы вознаграждать их труд по-разному, в зависимости от того, насколько хорошо они соответствуют этим критериям.

Валидность этих тестов, т. е. адекватность результатов измерений остаётся под большим вопросом. Непонятно, что на самом деле выясняют тесты, на которые учеников натаскивают и тренируют. Исследования показали, что такие задания постоянно занижают оценки потенциальных работников женского пола, а также афроамериканцев и тех, для кого английский язык не является родным. Но главная опасность образования, при котором ставки чересчур высоки, а во главу угла ставятся тесты — в отчуждении, способном внушить миллионам молодых людей отвращение к обучению в школе.

Яростнее всего в защиту стандартных тестов как инструмента управления и измерения эффективности выступают те, кто находится дальше всего от непосредственной работы с детьми — инспекторы школ, местные чиновники от образования, губернаторы и Министерство образования. Эти тесты позволяют им сравнивать, хотя и неточно, эффективность работы подчиненных, а также служат мощным орудием мотивации для того, чтобы проводить в жизнь свои педагогические планы. Весьма любопытно, что в то время как в других странах стремятся сделать систему образования менее однородной, США берут курс на единообразие. Например, в Финляндии нет никаких централизованных тестов и никакого рейтинга учеников и школ, при этом Финляндия занимает верхние строчки во всех международных рейтингах качества образования. Многие колледжи и университеты, которые славятся качеством образования, перестали требовать от абитуриентов сертификаты о прохождении единого общенационального экзамена Scholastic Achievement Test (который ранее назывался Scholastic Aptitude Test). Страны, которые традиционно использовали единые общенациональные экзамены для того, чтобы отобрать тех, кто достоин учиться в университете, ныне изо всех сил пытаются снизить их значение или вовсе отменить их, чтобы способствовать «креативности»; удивительно, но при этом они зачастую считают такой подход «американской системой»!

Зная, что их судьбы и судьбы школ, в которых они работают, зависят от результатов ежегодных тестов, многие учителя не только безжалостно натаскивали учеников, но и занимались подтасовками, чтобы обеспечить успех. По всей стране прокатилась эпидемия фальсификаций. Один из недавних случаев произошел в Атланте, штат Джорджия, где расследование обнаружило, что 44 из 56 школ систематически подделывали ответы учащихся, удаляя неправильные и заменяя их правильными [33]. Выяснилось, что инспектор школ штата, получившая титул «Инспектор года-2009» за выдающиеся достижения в повышении успеваемости, создала атмосферу страха в подведомственных ей школах, под угрозой увольнения дав учителям три года на достижение нужных показателей. В подтасовке результатов участвовало почти две сотни учителей. Как и «самые умные» в Энроне, которым всегда удавалось перевыполнить квартальные нормы и получить премии, учителя в Атланте нашли способ достичь целей, но не тем путём, какой от них ждали. Ставки были ниже, но урон был не меньшим: ведь они следовали тому же принципу «перехитрить систему».

Фрагмент 23. Что, если...? Фантазия на тему общества аудита

Давайте немного помечтаем. Представьте, что сейчас 2020 год [34]. Ричард Левин, президент Йельского университета, после долгой и блестящей карьеры вышел на пенсию, напоследок объявив 2020 год Годом идеального видения. Были отремонтированы и вычищены до блеска все здания университета, студенты стали ещё более одарёнными, успешными и сплочёнными, чем в 2010 году, а в рейтинге US News & World Report и Consumer Reports (самостоятельных прежде, но к этому времени объединившихся) Йельский университет занял первое место, наряду с лучшими отелями, роскошными автомобилями и газонокосилками. Впрочем, его первое место в рейтинге не было устойчивым. Судя по всему, качественный уровень сотрудников университета, нашедший своё отражение в архиважном рейтинге, снизился. Видя это снижение, конкуренты Йеля качали головой. Те, кто умел читать между строк, чувствовали растущую, хотя и замаскированную панику, которая сквозила во внешне спокойных публичных заявлениях Йельской корпорации.

Одним из признаков этой паники было назначение преемником Левина Кондолизы Райс, бывшего госсекретаря США, последним местом работы которой был Фонд Форда, где она навела полный порядок. Да, она первая чернокожая женщина, ставшая во главе Йельского университета. Конечно, президентами четырёх других университетов Лиги плюща уже становились цветные женщины. Но это неудивительно, учитывая, что Йельский университет всегда следовал завету фермера из Новой Англии: «Никогда не пробуй что-то новое первым, но и не будь последним».

С другой стороны, президентом университета Кондолиза Райс была выбрана не из символических соображений. Её выбрали, потому что она олицетворяла собой обещание провести полную реструктуризацию преподавательской корпорации с использованием самых совершенных технологий контроля качества, истоки которых лежат в Гранд-Эколь в Париже конца XIX века. Самые известные их примеры — революция Роберта Мак-Намары на заводах Форда и позднее его работа в министерстве обороны в 1960-х, а также революция в управлении британской социальной политикой и высшим образованием, проведенная Маргарет Тэтчер в 1980-х. Эти технологии были отработаны благодаря развитию количественных измерений продуктивности коллективов и индивидов в управлении промышленным предприятием. Затем их развил Всемирный Банк, и, наконец, Большая Десятка (пул самых известных вузов) довела эти технологии практически до совершенства, по крайней мере, в сфере высшего образования, после чего они добрались, пусть и с опозданием, до университетов Лиги плюща.

Как сообщили пожелавшие остаться неизвестными источники из числа членов Йельской корпорации, Райс очаровала их во время собеседования при приёме на работу. По её словам, она восхищается балансом между феодализмом (в политике) и капитализмом (в управлении финансами), который удается поддерживать университету. Это в полной мере отвечает реформам, которые она задумала — как и свойственная этому университету долгая традиция так называемой «частичной автократии» в вопросах управления преподавательским составом. Но убедил работодателей в том, что она была ниспослана свыше в ответ на их молитвы, именно её всеобъемлющий план радикального улучшения качества преподавания — или, точнее, улучшения рейтинга университета на национальном уровне.

Она раскритиковала господствовавшие в Йельском университете устаревшие методы найма, повышения по службе и заключения бессрочного контракта с преподавателями, назвав их субъективными, средневековыми, несистематичными и зависящими от множества непредсказуемых факторов. По её мнению, именно из-за этих обычаев, ревностно охраняемых престарелыми (их средний возраст был около 80 лет), в основном белыми мужчинами, занимающими ведущие позиции в университете, Йель начал проигрывать в конкурентной борьбе. С одной стороны, из-за этих обычаев неуверенно себя чувствовали младшие члены преподавательской корпорации, не знающие, к чему им нужно стремиться и как угодить вышестоящим, чтобы достичь успеха и повышения по службе; с другой, неэффективная и самодовольная кучка геронтократов совершенно не заботилась об интересах университета в долгосрочной перспективе.

По сведениям наших источников, её план казался очень простым. Она предложила взять научные методы оценки качества, используемые повсеместно и впервые использовать их масштабно и прозрачно. За основу оценки были взяты индексы цитирования: Arts and Humanities Citation Index, Social Science Citation Index, а также их дедушка Science Citation Index. Несомненно, на данные о том, как часто работы какого-либо учёного цитировались другими учеными в этой области, время от времени уже обращали внимание, решая, заслуживает ли этот учёный повышения, но став ректором, Райс предложила сделать этот способ объективной оценки систематическим и всеобъемлющим. Она подчеркивала, что индекс цитирования, как и машинный подсчет голосов, никому не отдавал предпочтения; он не страдал от сознательной или неосознанной предвзятости; он обеспечивал единственную возможность судить о научных достижениях человека, невзирая на лица. Ввиду этого, индексы цитирования с этих пор будут единственным критерием продвижения по службе и получения места в штате университета. Кроме того, эти индексы будут служить основанием для автоматического увольнения штатных преподавателей, чья лень и невежество не позволяют им выполнить годовые нормативы цитирования (сокращенно ГНЦ).

В соответствии с неолиберальным уклоном в прозрачность, открытость и объективность, ректор Райс предлагает современную высокотехнологичную версию фабрики Роберта Оуэна в Нью-Ланарке с поправкой на особенности учебного заведения. Все преподаватели должны получить цифровые шапочки цветов Йельского университета (бело-синие). Их будут производить в хороших условиях, без использования детского труда, а после этого все преподаватели обязаны будут носить их на территории университета. Спереди на шапочке будет расположено цифровое табло, похожее на счётчик в такси, на котором в режиме реального времени будет отображаться общий индекс цитирования данного учёного. Когда полностью автоматические центры индексирования цитат будут регистрировать новые цитаты, данные будут передаваться по спутнику прямо на табло, наподобие миниатюрной версии постоянно обновляемого счетчика населения мира, который раньше находился на Таймс-сквер. Назовём этот счетчик Публичный Реестр Общих Достоверных Упоминаний в Каталоге Трудов, или ПРОДУКТ.

Кондолиза Райс описывает, с каким волнением студенты будут слушать лекцию блестящего и знаменитого профессора, чья шапочка во время лекции непрестанно сигнализирует об увеличении общего числа его цитирования. В то же самое время в соседней аудитории студенты с беспокойством взирают на пустой экран на шапочке стоящего перед ними сконфуженного лектора. Как при поступлении в магистратуру или ординатуру будут выглядеть приложения к их дипломам, в которых указывается совокупный индекс цитирования профессоров, чьи лекции они слушали, в сравнении с их конкурентами? Учились ли они у лучших и умнейших? Студентам больше не нужно будет полагаться на слухи, на не всегда объективные мнения друзей или на предрассудки составителей курсов. Численная «оценка качества» преподавателя будет выставлена на всеобщее обозрение. Младшие преподаватели больше не должны будут бояться переменчивого настроения своих старших коллег. Единый и неоспоримый стандарт будет, подобно ватерпасу, измерять качество работы и задавать цели, к которым нужно стремиться.

По мнению Райс, эта система решает извечную проблему: как реформировать кафедры, которые чахнут в тихой заводи своей науки и становятся оплотом кумовства. Отныне будет использоваться эта доступная общественности, прозрачная, обезличенная мера профессионализма вместо комиссий по продвижению и найму.

Нет, вы только представьте себе эту ясность! Самые выдающиеся преподаватели (подобранные в соответствии с новым критерием) собираются для того, чтобы установить несколько уровней цитирования. Для возобновления контракта требуется один уровень, для получения должности адъюнкт-профессора — другой; чтобы попасть в штат, понадобится следующий и, наконец, на высшем уровне будет оцениваться работа штатных профессоров. После этого, как только будет отработана «технология шапочек», процесс будет полностью автоматизирован.

Представим себе известного и широко цитируемого профессора политологии Харви Райталота. Он читает лекцию в переполненной аудитории, как вдруг его шапочка загорается бело-синим, и начинает играть туш — некий малоизвестный учёный в штате Аризона только что процитировал его последнюю статью в журнале «Новости заумных исследований», и по счастливой случайности именно эта цитата позволила Райталоту достичь нового уровня. Студенты, осознав, что произошло, аплодируют своему профессору стоя. Тот скромно кланяется, радуясь и одновременно смущаясь из-за поднявшегося шума, и продолжает лекцию, но теперь в качестве штатного профессора.

Пульт управления в кабинете ректорши в Вудбридж-холле возвещает о том, что «у Харви получилось» войти в число избранных. Она, в свою очередь, отправляет ему свои поздравления, которые воспроизводятся через динамик и на экране шапочки. Вскоре ему будет присвоена новая шапочка и выдан сертификат.

Члены преподавательской корпорации, мгновенно смекнув, сколько времени и сил может сэкономить эта автоматизированная система, и как она может резко поднять Йельский университет в рейтингах, принимаются за её шлифовку и улучшение. Кто-то предложил сделать так, чтобы цитаты обесценивались со временем, теряя одну восьмую своей ценности ежегодно, то есть в соответствии со скоростью развития данной области знания цитата восьмилетней давности должна будет исчезнуть. Один из преподавателей неохотно предлагает установить минимальный уровень задержки по времени даже для штатных профессоров. Ректорша признает, что наблюдать за тем, как у профессора прямо во время семинара индекс цитирования снижается ниже минимального уровня — это печальное зрелище. Тогда другой сотрудник предлагает запрограммировать шапочку таким образом, чтобы в таких случаях она полностью выключалась, хотя можно предположить, что злополучный профессор сможет прочесть свою судьбу во взглядах студентов…

Высмеивать количественные методы измерения продуктивности в высшей школе — само по себе занятие приятное, но у меня другая цель. Я пытаюсь показать, что демократические общества, особенно общества массовой демократии, такие, как Соединенные Штаты, приняв на вооружение критерии отбора элит и распределения расходов по достоинству, склонны использовать безличные, объективные и механические способы измерения качества. Неважно, какую форму они принимают: индекс цитирования в сфере социальных наук, аттестационный экзамен (впоследствии переименованный в выпускной экзамен, а позже — в экзамен на способность к дальнейшему обучению), анализ рентабельности — все они подчинены одной и той же логике. Почему? Краткий ответ таков: ситуаций выбора, которые и для семей, для отдельных граждан значат столько же, сколько и поиск жизненного пути посредством образования и трудоустройства, крайне мало; жителей определённой местности больше всего волнует распределение общественных средств на различные общественные нужды, а всё прочее им малоинтересно.

Привлекательность подобных способов измерения состоит в том, что они превращают качественные показания в количественные, позволяя эмпирическим путем, единообразно и непредвзято сравнивать различные случаи. Прежде всего, они являются огромной и обманчивой «системой антиполитики», которая задумана так, чтобы действительно заслуживающие интереса политические вопросы превращались в нейтральные и объективные административные процедуры, которыми управляют эксперты. Эта уловка маскирует глубокое недоверие к самой возможности совместной работы и взаимности обучения в политике, которые так важны и для анархистов, и для демократов. Но прежде, чем мы станем говорить о политике, давайте рассмотрим ещё два потенциально губительных возражения против методов количественного сопоставления.

Фрагмент 24. Неработающие и безнадёжно себя скомпрометировавшие

Первая и наиболее очевидная проблема с такими методами измерения заключается в том, что они часто не работают, т. е. хоть сколько-нибудь точно измерить то, что мы рассчитываем измерить с их помощью, получается редко. Индекс научного цитирования, этот дедушка всех остальных индексов, был придуман Юджином Гарфилдом (Eugene Garfield) в 1963 году. Его целью было измерение влияния на науку отдельной исследовательской работы и – в более широком смысле — отдельного учёного или отдельной лаборатории, в соответствии с тем, с какой частотой данная работа цитировалась другими исследователями. Почему бы и нет? Такой способ оценивания уж точно лучше, чем неформальные репутации, гранты, трудноразличимые внутренние иерархии в каждом институте, не говоря уж о простой плодовитости данного учёного. В конце концов, более половины всех научных публикаций, кажется, исчезают без следа; их никто и никогда не цитирует! 80% работ цитируются только однажды. Индекс научного цитирования, казалось, обеспечивал нейтральный, точный, прозрачный, непредвзятый и объективный способ измерить влияние данного учёного на последующие работы по теме. Какой удар по репутации! И так оно и было, по крайней мере, сначала в сравнении со способами, основанными на привилегиях и должностях, которые этот индекс стремился заменить.

Индекс научного цитирования быстро получил всеобщее признание не в последнюю очередь оттого, что его постоянно рекламировали — не забываем, что это коммерческое предприятие. Спустя немного времени им стали пользоваться повсеместно: для определения того, заслуживает ли данный учёный звания профессора, для продвижения журналов, для составления рейтингов учёных и институтов, а также в технологических анализах и правительственных исследованиях. Вскоре за этим индексом последовал Индекс цитирования в сфере общественных наук, а после этого не мог не прийти черед индекса цитирования в сфере гуманитарных дисциплин и искусств.

Что именно измерял индекс научного цитирования? В первую очередь бросается в глаза бессмысленный и абстрактный, сродни компьютерному, сбор данных. Индекс засчитывал цитаты самого себя, что добавляло самолюбования и без того чрезвычайно заметному в научных кругах нарциссизму. Также засчитывались негативные упоминания: «Статья учёного N — это худшее исследование, какое я когда-либо встречал!» Один балл в копилку учёного N!

Как сказала Мэй Уэст: «Слава не бывает плохой — вы только правильно напишите моё имя!» Цитаты из книг, в противоположность цитатам в научных статьях, не подлежат учету. Зададим более серьезный вопрос: что, если, как это часто бывает, никто и никогда не читает статьи, в которых упоминается данная работа?

Вдобавок отметим провинциализм этого предприятия: в конечном итоге этот индекс учитывает по большей части работы, написанные на английском языке. По мнению Гарфилда, французская наука провинциальна, потому что она не приняла английский язык в качестве языка науки. Что касается социальных наук, такое утверждение по меньшей мере нелепо; при этом, если вы переведете и продадите свою статью сотне тысяч китайских, бразильских или индонезийских учёных, это ничего не даст для вашего индекса цитирования, разве что они выразят свою благодарность в англоязычном журнале или в одном из горстки иноязычных журналов, включенных в волшебный список.

Обратите внимание и на то, что индекс цитирования чисто статистически должен давать преимущество специализациям, по которым производится больше всего исследований, т. наз. «научному мейнстриму» или, выражаясь языком Куна, «нормальной науке». Наконец, заметьте, что «объективированная субъективность» индекса цитирования в сфере общественных наук интересуется исключительно настоящим временем. А если современное направление исследований через три года признают тупиковым? Нынешняя волна публикаций и произведенный ею статистический пик может позволить счастливому исследователю, невзирая на явную ошибку, по-прежнему почивать на лаврах.

Распространяться о недостатках индекса научного цитирования нет нужды. Они интересуют нас лишь потому, что демонстрируют неизбежный разрыв между способами измерений такого рода и качеством, которое они пытаются измерить. Печально, что многие из вышеперечисленных недостатков можно исправить реформами и усовершенствованием методик расчёта индекса, потому что на практике предпочтительны более схематичные, абстрактные и простые в вычислении способы измерения — из-за легкости их использования и, соответственно, более низкой стоимости. Однако кажущееся объективным измерение количества упоминаний скрывает в себе множество «условностей подсчёта», тайком проникших в оценки, глубоко политических по своей сути и имеющих далеко идущие последствия.

Мои насмешки над индексом научного цитирования могут показаться чрезмерными. Однако то, о чём я говорю, относится к любому количественному стандарту, который применяется строго. Возьмём в качестве примера кажущееся оправданным требование «двух изданных книг», часто применяемое на некоторых кафедрах в Йельском университете при принятии решений о присвоении звания профессора. Сколько учёных всего одной книгой или статьей сумели произвести больше интеллектуальной энергии, чем всеми своими работами произвели другие, более «продуктивные» в количественном отношении ученые? Благодаря рулетке нам становится ясно, что и картина Вермеера, и коровья лепешка обе по полметра в ширину; однако на этом их сходство заканчивается.

Второй фатальный недостаток заключается в том, что даже если какой-нибудь метод измерения был вполне пригоден сразу же после того, как его изобрели, само его существование обычно запускает последовательность событий, которая делает его непригодным. Можно назвать этот процесс «изменением поведения под влиянием измерения», что лишает его всякого смысла. Я слышал о том, что существуют договоренности между некоторыми учеными о том, что они будут постоянно ссылаться друг на друга и таким образом повышать свой индекс цитирования! Сговор такого рода — это всего лишь крайность, иллюстрирующая более важное явление. Достаточно одного знания того, что индекс цитирования может способствовать или препятствовать дальнейшему карьерному росту, чтобы это знание оказывало немалое влияние на профессиональное поведение: этим объясняется, например, притягательность мейнстримовых методологий и отраслей, в которых работает множество исследователей, выбор журналов для публикации, всеобщее восхищение, которым окружены самые известные деятели в каждом направлении. Такое поведение необязательно говорит об изворотливости в стиле Макиавелли. Вместо этого мне хочется указать на постоянное давление со всех сторон, направленное на то, чтобы заставить человеку вести себя «целесообразно». В долгосрочной перспективе это давление служит для естественного отбора в сугубо дарвиновском смысле, которое увеличивает шансы на выживание для тех, кто выполняет или перевыполняет прогнозные показатели.

Индекс цитирования — это не просто порождение действительности; он сам способен продуцировать явления, которые описывает. Социальные теоретики были настолько впечатлены этим, что даже попытались сформулировать это в виде закона, который носит имя Гудхарта: «Когда способ измерения становится самоцелью, он перестаёт быть хорошим способом измерения» [35]. Мэтью Лайт поясняет: «После того, как установлен некий количественный порог для оценки определённых достижений, те, кто должен преодолеть этот порог, умудряются сделать это, но не так, как первоначально ожидалось».

Поясню то, что я имею в виду, на историческом примере. Во времена, когда Францией правили короли, сборщики налогов пытались найти способ облагать налогом дома в зависимости от размера. Им пришла в голову блестящая идея: рассчитывать размер налога исходя из количества окон и дверей.

Сначала всё шло как нельзя лучше: количество окон и дверей почти идеально характеризовало размер жилища. Однако в течение двух последующих веков налог на окна и двери привел к тому, что люди стали перестраивать дома и закладывать окна, чтобы уменьшить налог. Из-за этого на протяжении поколений французы задыхались в плохо вентилируемых «налоговых убежищах». Так адекватный способ стал неадекватным.

И историей с окнами в дореволюционной Франции такие методы не ограничиваются. На самом деле, похожие методы оценки и контроля качества стали господствовать в сфере образования по всему миру. В Соединенных Штатах единый тест стал олицетворять метод количественного измерения, позволяющий объективно определить достаточные для получения высшего образования способности. С той же легкостью мы могли бы перенять опыт «экзаменационного ада», который в других странах выпускники вынуждены преодолевать на пути к обучению в университете, а значит, и к возможностям для карьерного роста.

Достаточно сказать, что в отношении образования единый тест — больше, чем хвост, который виляет собакой. Он изменил породу собаки, её аппетит, условия её обитания и жизни всех, кто о ней заботится и её кормит. Это яркий пример колонизации. Набор количественных наблюдений, повторим, создаёт что-то подобное принципу неопределенности Гейзенберга, где стремление достичь результата полностью преображает поле измерения. Портер напоминает нам, что «…количественные методы лучше всего работают, если мир, который они стараются описать, может быть переделан по их образу и подобию» [36]. Иными словами, единый тест пересоздал образовательный процесс по своему чёрно-белому образу и подобию, и теперь с помощью этого теста измеряется то, что получилось в результате его собственного воздействия.

Таким образом, стремление изменить интеллектуальный уровень с помощью стандартных тестов и использование этих тестов для вознаграждения учащихся, учителей и школ приводит к искажениям и колонизации. На интенсивных курсах и методиках улучшения результатов тестов, которые, как обещалось, устойчивы к подобным ухищрениям, работает уже настоящая многомиллионная индустрия. Огромная бизнес-империя Стэнли Каплан, занимающаяся продажами курсов и учебников для подготовки к тестам, была основана на лозунге, согласно которому к успешному прохождению теста и поступлению в колледж, на юридический факультет, медицинский факультет и т. д., можно подготовиться. Возвращаются всемогущие критерии оценивания, которые захватывают и колонизируют образовательную сферу; инструмент для измерения заменяет качество, которое он должен был оценивать. Начинается что-то вроде гонки вооружений, где составители тестов пытаются перехитрить тех, кто продаёт курсы по подготовке к тестам. В итоге инструмент измерения разрушает желаемое качество. Получается, когда становятся известны качества, которыми должен обладать успешный абитуриент университета из Лиги плюща, возникает возможность перехитрить систему. Богатые родители нанимают консультантов, которые советуют их детям, какие внешкольные занятия им следует посещать и какой волонтерской деятельностью им следует заниматься для того, чтобы поступить в один из университетов Лиги плюща. То, что некогда было способом добросовестно оценивать качество подготовки, становится стратегией, которую родители используют для продвижения своих детей.

Оценить смысл или правильность поведения, искажённого оценкой, становится практически невозможным. Стремление измерять производительность обезличенно и объективно, используя при этом количественные показатели, безусловно, является неотъемлемой частью технологии управления, которую Роберт Мак-Намара принес с собой в Пентагон из компании Форд и в дальнейшем использовал во время войны в Индокитае. Как ещё можно оценить успехи в войне, на которой нет строго очерченного фронта? Мак-Намара попросил генерала Уэстморланда: «Пожалуйста, предоставьте мне график, из которого будет видно, выигрываем мы войну во Вьетнаме или проигрываем». В ответ ему предоставили как минимум два графика: один, самый скандально известный — это график потерь, в котором учитывались потери среди солдат противника. Поскольку на тех, кто производил подсчеты, оказывалось невероятное давление, и они осознавали, что данные, которые они предоставляют, непосредственно влияют на их карьерный рост, награды и отпуска, они всячески старались завысить потери противника. Они избегали того, чтобы делить потери на потери среди гражданского населения и среди солдат противника; почти все убитые со стороны противника записывались как военные потери. Вскоре число потерь среди солдат противника стало больше, чем совокупная численность так называемого Вьетконга и армии Северного Вьетнама, хотя на самом деле враг вовсе не был побеждён.

Второй индекс был попыткой оценить симпатии гражданского населения. В его основе лежала система оценки симпатий по районам: каждый из 12000 районов Южного Вьетнама был охарактеризован как «покорённый», «спорный» или «враждебный». И снова нужно было постоянно показывать прогресс, и пути, которыми этого можно было добиться, были найдены: достойные самого Григория Потемкина, фаворита императрицы Екатерины. Приписки, созданные на бумаге отряды ополчения, замалчивание случаев активности повстанцев — всё для того, чтобы на графике было видно улучшение. Случался и откровенный подлог, хотя он и был не столь распространен, как понятное желание разрешать все спорные вопросы в том ключе, который способствовал благоприятной оценке и продвижению по службе.

Казалось, что постепенно местность возвращалась к мирной жизни. Мак-Намара придумал дьявольскую систему контроля, которая не только создавала простой симулякр прогресса, но и препятствовала более широкому обсуждению того, что в данных обстоятельствах могло представлять собой прогресс. Им не мешало бы обратить внимание на слова настоящего ученого — Эйнштейна: «Не всё важное может быть подсчитано, и не всё, что может быть подсчитано, действительно важно».

Наконец, ещё один, более современный пример подобного тренда — это крушение корпорации Энрон, о котором до сих пор помнят многие американские инвесторы. В 1960-х годах бизнес-школы волновала проблема: как сделать так, чтобы управляющие корпорациями не ставили собственные интересы выше интересов акционеров. Решение, которое они предложили, заключалось в том, чтобы привязать зарплату топ-менеджеров к успехам компании, выражающимся в прибыли для акционеров (цене акций). Поскольку их зарплата в опционах, как правило, ежеквартально, менялась в зависимости от курса акций, менеджеры ответили на это тем, что немедленно снюхались с бухгалтерами и аудиторами и принялись оформлять бумаги так, чтобы выполнять квартальный план по росту стоимости акций и получать за это премии. Чтобы завысить стоимость акций компании, они приписывали прибыль и скрывали издержки таким образом, чтобы убедить биржевых игроков ставить на повышение цены их акций. Вот чем обернулась попытка сделать оценку эффективности управленцев полностью прозрачной с помощью замены зарплат на опционы.

Похожее стремление «обмануть систему» лежало у истоков махинаций с ипотечными кредитами, которые привели к мировому финансовому кризису 2008 года. Агентства, присваивающие рейтинг облигациям, не только получали деньги от эмитентов, но и, опять-таки для пущей прозрачности, сделали формулы, по которым они рассчитывали рейтинг, доступными для инвестиционных компаний. Зная, как рассчитывается рейтинг, и для большей уверенности подкупив тех, кто его рассчитывает, компании подстроились под формулы таким образом, что чрезвычайно рискованные финансовые инструменты получили высший рейтинг (ААА). И вновь по всем расчетам всё хорошо, а пациент возьми и умри.

Фрагмент 25. Демократия, заслуги и конец политики

Мне представляется, что количественные показатели качества кажутся настолько привлекательными по двум причинам: во-первых, они подпитывают веру в равные возможности, которые якобы выше полученных по наследству привилегий, богатств и титулов, а во-вторых, отвечают модернистской убежденности в возможности измерить заслуги посредством науки.

Применение законов науки и количественных показателей к большинству социальных проблем, по мнению модернистов, должно было пресечь бесплодные споры после установления реальных фактов. В основе этого взгляда на мир лежит глубоко скрытая политическая повестка. В этом мировоззрении существуют факты, обычно количественные, которые не нуждаются в интерпретации. Их использование должно нивелировать воздействие переживаний, чувств, предрассудков, привычек, преувеличений и эмоций, разрушающее общество. Способом разрешения конфликтов должен стать холодный расчет, а страсти и частные интересы должны быть заменены на нейтральное, чисто техническое обсуждение. Модернисты от науки надеялись минимизировать порождаемые субъективностью и частными интересами искажения, чтобы достичь «бесперспективной объективности», или, пользуясь выражением Лоррейн Дастон, взгляда из ниоткуда [37].

Наиболее соответствующий такому мировоззрению политический режим — это равнодушная и безликая технократия: власть с инженерным образованием, использующая научное знание для управления людьми. Эту идею считали новым «проектом насаждения цивилизации». Рационально мыслящие и настроенные на реформы американские прогрессисты начала ХХ века и, как это ни странно, Ленин считали, что объективное научное знание позволит «административным процедурам» в большой степени заменить собой политику. Проповедуемое ими евангелие от эффективности, технической подготовки и инженерных решений подразумевало, что миром должна управлять хорошо подготовленная, рациональная и профессиональная элита.

Идея о том, что власть должна принадлежать лучшим, — естественный спутник демократии и научного модернизма [38]. Принадлежность к правящему классу более не зависит от благородного происхождения, полученного по наследству богатства или статуса. Правители должны избираться и становиться легитимными благодаря их умениям, интеллекту и проявленным ими знаниям (на этом я остановлюсь и замечу, что другие качества, которые, возможно, неплохо было бы видеть у власть предержащих — например, сострадание, мудрость, мужество или большой опыт — в таком случае совершенно ускользают из виду). Согласно тогдашним представлениям образованных людей, считалось, что уровень интеллекта можно измерить. Большинство образованных людей считали также, что умственные способности были распределены между людьми если не совершенно случайным образом, то, по крайней мере, куда более равномерно, чем богатство или титулы. Сам принцип предоставления положения в обществе и перспектив тем, кто этого заслуживает, была глотком демократически свежего воздуха. Для общества в целом этот принцип обещал стать тем же, чем стал введенный Наполеоном для нового среднего класса профессионалов принцип карьерного роста в зависимости от таланта за век до этого во Франции.

Понятие о том, что достоинство человека поддаётся измерению и что от него зависит положение этого человека в обществе, было демократическим ещё в одном смысле: оно существенно ограничивало притязания на власть, свойственные профессиональным классам. Исторически различные профессии представляли собой ремесленные цеха, которые устанавливали свои собственные стандарты, ревностно оберегали секреты ремесла и не терпели никакого внедрения извне, которое могло противоречить их решениям. Адвокаты, врачи, бухгалтера, инженеры и преподаватели университетов — всех их принимали на работу для того, чтобы они высказывали своё экспертное мнение, хотя это мнение и бывало непонятным и туманным.

Фрагмент 26. В защиту политики

Ошибки, совершаемые революционным движением трудящихся, неизмеримо плодотворнее и ценнее, чем непогрешимость любой партии.

Роза Люксембург

Когда люди полагаются на количественное измерение заслуг и объективные системы контроля качества, нет ничего хуже, чем замена жизненно важных и нуждающихся в обсуждении вопросов мнениями индифферентных экспертов. Именно этот сомнительный поиск жизненно важных решений, от которых зависит жизнь миллионов людей и общин, за рамки политики приводит к тому, что общественные отношения лишаются того, что априори к ним относится. Если и существует убеждение, разделяемое как анархистскими мыслителями, так и истинными либералами, которые суть не демагоги, то это вера в способность граждан учиться и развиваться благодаря участию в общественной жизни. Мы уже задавались вопросом, как человека воспитывает работа в офисе или на заводе, теперь настало время спросить, как именно политический процесс может расширить знания и способности гражданина.

В этом отношении убежденность анархистов в способности обычных людей обучаться посредством участия в общественной жизни на основе взаимности и без иерархии намного превосходит замкнутый круг демократического дискурса. Мы видим это стремление к отрицанию политики использования индекса научного цитирования, единого тестирования и повсеместно распространенного ныне анализа преимуществ и затрат.

Индекс научного цитирования является антиполитическим, потому что он подменяет псевдонаучными вычислениями здоровое обсуждение качества. Настоящая политика в какой-либо дисциплине, по крайней мере, заслуживающей внимания, — это диалог о ценностях и знаниях. Я не питаю иллюзий по поводу того, насколько качествен обычно этот диалог. Влияют ли на него частные интересы и стремление к самоутверждению? Несомненно. Они есть везде. Однако эту дискуссию о качестве, как бы несовершенна она ни была, заменить просто нечем. Она определяет характер дисциплины, проявляющийся в обзорах, во время практических занятий, в круглых столах, дебатах о программах обучения, в найме на работу преподавателей и их продвижении по службе. Любая попытка ограничить эту дискуссию, например, через балканизацию дисциплины, т. е. её разбиение на полуавтономные подразделы, через следование строгим количественным стандартам или тщательно продуманным системам оценки приводит лишь к замораживанию текущего положения дел.

Система централизованного тестирования на протяжении последнего полувека как открывала, так и закрывала перспективы для миллионов студентов. Она позволила сформировать новые элиты. Неудивительно, что теперь они взирают на систему, позволившую им взобраться наверх, с благосклонностью. Она открыта, прозрачна и беспристрастна лишь в той степени, в которой элиты и их присные считают ее справедливым способом оценить тех, кто достоин продвижения. Она в большей степени, чем богатство или происхождение, позволяет победителям этого соревнования ощущать, что они честно заслужили свой успех, хотя корреляция между баллами на тестировании и социоэкономическим статусом достаточно красноречиво демонстрирует по-настоящему беспристрастному наблюдателю, что этот тест не является дверью, открытой для всех. В сущности, единое централизованное тестирование позволило сформироваться элите, которая выбрана более беспристрастно, нежели её предшественники, и поэтому является более легитимной, а значит, и более склонной к защите и укреплению института, благодаря которому они стали лидерами.

В то же время в политической жизни мы многое теряем. Влияние централизованного тестирования убеждает многих белых представителей среднего класса в том, что созидательная деятельность состоит в суровом выборе между объективными достоинствами, с одной стороны, и личными предпочтениями с другой.

Нам не хватает общественного обсуждения путей распределения возможностей, которые дает образование, в обществе демократии и равенства. Нам недостает дискуссии о том, какие качества мы хотели бы видеть в наших лидерах, в том числе в школах, потому что образовательные программы лишь отражают узкую перспективу, сформированную единым государственным экзаменом.

То, каким образом спорные утверждения проникают в саму структуру большинства оценок качества и количественных индексов, может проиллюстрировать пример из другой сферы социальной политики. Анализ выгод и затрат, который впервые применили инженеры французской Школы мостов и дорог, теперь вовсю используется всевозможными агентствами по развитию, структурами, занимающимися планированием, инженерным корпусом армии Соединенных Штатов и Всемирным Банком практически во всех их проектах, и является ярким подтверждением всего вышесказанного.

Анализ выгод и затрат представляет собой набор методик, по которым оценивается скорость окупаемости конкретного проекта — дороги, моста, дамбы, порта и т. д. Для этого необходимо, чтобы все понесенные затраты и получаемые выгоды были монетизированы, дабы их можно было сравнить. Поэтому издержки, связанные, скажем, с гибелью какого-то вида рыб, с потерей красивого ландшафта, с сокращением рабочих мест или с загрязнением воздуха, если мы собираемся их включать в анализ, должны быть выражены в долларах. Для того, чтобы это осуществить, требуются героические допущения. Так, для того, чтобы оценить, сколько стоит живописный вид из окон, жителей спрашивают, сколько они готовы дополнительно заплатить в качестве налогов за то, чтобы сохранить этот вид. Названная ими сумма принимается за реальную стоимость! Если рыбаки продают рыбу, которой угрожает гибель из-за постройки новой дамбы, то потеря прибыли включается в анализ издержек. Если же рыбу не продают, то в анализе она не учитывается. Возможно, скопы, выдры и крохали и расстроятся от того, что им нечем будет питаться, но в счёт идут только потери для человека.

Издержки, которые нельзя монетизировать, в анализ не включаются. Например, когда индейское племя отказывается от денежной компенсации и объявляет, что могилы их предков, которые будут затоплены в результате строительства дамбы, «бесценны», это не соответствует логике анализа выгоды и затрат и поэтому не учитывается. Всё — и выгоды, и потери — должно быть приведено к общему знаменателю и представлено в денежном выражении, чтобы можно было рассчитать окупаемость: вид на закат, форель, качество воздуха, рабочие места, рекреационные зоны, качество воды. Самым героическим допущением в анализе выгод и затрат, вероятно, является оценка будущего.

Возникает вопрос: как посчитать потенциальные выгоды — например, постепенное улучшение качества воды или перспективу создания новых рабочих мест? Общее правило гласит, что всё это рассчитывается, исходя из текущей или средней процентной ставки. На практике это означает, что через пять лет почти любая прибыль, кроме сверхприбылей, будет ничтожной. Вот так ключевое политическое решение о ценности будущего протаскивают в формулу расчета выгод и затрат под видом простой бухгалтерской условности.

Помимо свойственных анализу выгод и затрат манипуляций, даже при аптечной точности своего применения он наносит огромный вред тем, что полностью исключает из процесса принятия общественно значимых решений политику. Портер приписывает внедрение такого рода методов в США «недоверию бюрократическим элитам» и предполагает, что Соединенные Штаты «…куда больше, чем любая другая промышленного развитая демократическая страна, полагаются на правила, установленные для того, чтобы контролировать официальную точку зрения» [39].

Вот почему методы проверки, при которых необходимо добиться максимальной объективности путём подавления всякой самостоятельности, являют собой и апофеоз технократии, и её проклятие. Каждая такая методика — это попытка заменить подозрительные и кажущиеся недемократичными действия профессиональных элит на прозрачную, механистическую, очевидную и, как правило, основанную на количественных показателях процедуру оценки. Оба варианта сверху донизу полны противоречиями, так как эта новая методика также стала ответом на политическое давление — этот шумный народ алкал процедур принятия решений, а значит, и распределения благ, которые были бы открыты, прозрачны, то есть в принципе доступны.

Хотя анализ выгод и затрат является ответом на политическое давление масс (и в этом заключается первый парадокс), его успех полностью зависим от внешнего вида — якобы он абсолютно вне политики, объективен, беспристрастен и смахивает на научный. Конечно, под этой личиной анализ выгоды и затрат носит сугубо политический характер, спрятанный в методиках расчета. Он определяет, что измерять в первую очередь, как это измерять, какую шкалу измерения использовать, что и как «сбрасывать со счетов» и «сопоставлять», как переводить наблюдения в цифры и как использовать эти цифры в процессе принятия решений. Парируя обвинения в предвзятости и приукрашивании, эти методики — и в этом заключается второй парадокс — блестяще справляются с внедрением на уровне процедур и условий подсчёта определённой политической повестки, что делает её вдвойне непрозрачной и недоступной.

Когда политическая атмосфера благоприятна, методы вроде единого тестирования, анализа выгод и затрат, да даже коэффициента интеллекта выглядят так же солидно, объективно и бесспорно, как показатели артериального давления, температуры тела, уровня холестерина и количества эритроцитов. Эти показатели абсолютно обезличены, а что касаемо их истолкования, то «доктору виднее».

Создается видимость того, что они устраняют из процесса принятия решений прихотливый человеческий фактор. И действительно, по мере того, как эти методики и их глубоко укоренившиеся и откровенно политические предпосылки становятся общепризнанными, они ограничивают простор для чиновничьего злоупотребления. При обвинении в предвзятости чиновник может заявить, и в какой-то степени это будет правдой, что он «всего лишь нажимает на кнопку» принимающей решения аполитичной машины. Таким агрегатам жизненно необходима защита в виде объяснений, почему их обоснованность меньше волнует общество, чем стандартизация, точность и беспристрастность. Даже если индекс научного цитирования не может измерить качество работы ученого, даже если результаты на едином централизованном тесте не измеряют уровень знаний учащихся или не предсказывают их успех в колледже, каждый из этих способов оценивания представляет собой беспристрастный и точный общественный стандарт, прозрачный набор правил и целей.

Когда такие инструменты используются надлежащим образом, они позволяют волшебным образом превратить свирепую борьбу за ограниченные ресурсы, за жизненные перспективы, за выигрыши тендеров на мегапроекты и за статус в технические, аполитичные решения, которые принимают абсолютно нейтральные чиновники. Критерии принятия таких решений очевидны, стандартизированы и заранее известны. Произвол и политическая ангажированность как будто бы исчезают благодаря методикам, которые по сути целиком заполнены предрешенным выбором и политическими предпосылками, на этот раз надёжно замаскированными от взгляда общественности.

Широкое распространение количественных показателей не ограничивается рамками какой-либо одной страны, какой-то одной сферой общественной политики или настоящим временем. Совершенно очевидно, что на их нынешнее воплощение в форме «общества контроля» повлияло возникновение крупных корпораций, чьи акционеры стремятся измерить продуктивность и результаты деятельности, а также неолиберальная политика в сфере общественного управления 1970–1980-х годов, примерами которой являются Тэтчер и Рейган с их акцентом на «получение достойного качества за свои деньги», с заимствованием методов управления из частного сектора и стремлением установить рейтинговую и балльную систему оценки школ, больниц, отделений полиции, отделов пожарной охраны и т. д. Как ни парадоксально, более глубинная причина этого состоит в демократизации и спросе на политический контроль административных решений.

Соединенные Штаты, по-видимому, резко отличаются от других стран своим отношением к контролю и количественным показателям. Ни одна другая страна не восприняла количественные способы оценки в образовании, военном деле, общественно значимых проектах и в вопросах оплаты труда руководителей с таким же энтузиазмом, как это сделали в США. Наперекор их представлению о самих себе как о нации суровых индивидуалистов, американцы — один из самых законопослушных народов и постоянно находятся под наблюдением.

Самый крупный изъян всех этих административных технологий в том, что во имя равенства и демократии они служат огромной «аполитичной машине», которая выводит из сферы общественных отношений многие вопросы, подлежащие общественному обсуждению, и вверяет их в руки технических и административных комитетов. Они препятствуют потенциально важным и полезным дискуссиям на социально-политические темы — о значении разума, об избрании элит, о ценности равенства и разнообразия, а также о цели экономического роста и развития. В общем, эти технологии — средство, с помощью которого технические и административные элиты пытаются убедить скептически настроенную общественность (исключив при этом ее из обсуждения) в том, что они не дают никому преимуществ, не чинят произвол, а только лишь непредвзято выполняют прозрачные технические расчеты.

Сегодня эти технологии являются отличительной особенностью неолиберального политического режима, при котором технологии неоклассической экономики заменили остальные способы мышления во имя научного расчета и объективности [40]. Я думаю, вы поймете, о чём я говорю, когда услышите, как кто-нибудь говорит: «Я много инвестировал в него/неё», или упомянет социальный или человеческий «капитал», или, наконец, скажет об «упущенной выгоде» в отношениях с людьми.