estimating humanities

Заявление Совета по науке при Министерстве образования и науки РФ об особенностях оценки научной работы в гуманитарных науках
и комментарий к заявлению от от чл.-корр. РАН декана философского факультета МГУ имени М.В.Ломоносова В.В. Миронова

Совет по науке при Министерстве образования и науки РФ (далее – Совет) отмечает, что проблема специфики оценки научной работы в области гуманитарных наук (исторические науки, искусствоведение, филологические науки, культурология и философия) и, в частности, применимости к ним наукометрических методов, активно обсуждается в разных странах мира. По этому вопросу практически достигнут консенсус, что позволяет опираться не только на российский, но и на международный опыт, и сформулировать на их основе следующие рекомендации.

1. В гуманитарных науках монографии, включая коллективные труды, являются основной формой публикации научных результатов. Поэтому их необходимо в полной мере учитывать при оценке научной продуктивности. Для количественного сравнения со статьями следует учитывать их объем. В расчет должны приниматься только монографии, прошедшие экспертизу перед публикацией, аналогичную экспертизе статей в рецензируемых журналах. В России такая экспертиза могла бы быть организована профильными научными советами РАН, учеными советами ведущих академических институтов и вузов, а также экспертными советами научных фондов (в тех случаях, когда монография опубликована на средства этих фондов). Из зарубежных монографий нужно учитывать те, которые вышли в издательствах, публикующих рецензируемые научные монографии мирового уровня. Список этих издательств может быть составлен профильными отделениями РАН и периодически пересматриваться. Те же правила распространяются на главы в коллективных монографиях и публикации в тематических сборниках статей и сборниках трудов конференций. 
2. Особой формой публикации результатов научных исследований в гуманитарных науках является введение в научный оборот новых источников. Речь идет о публикации новых текстов (эпиграфических памятников, критических изданий текстов по рукописям, архивных материалов и др.), материальных и нематериальных памятников (результаты археологических, этнографических, лингвистических и др. полевых исследований, музейных коллекций и т.д.), а также создания научных словарей. Научная ценность и долговечность таких публикаций, если они выполнены на высоком уровне, существенно выше обычных публикаций, анализирующих источники. Соответственно, при их оценке им должен присваиваться повышающий коэффициент, размер которого должен определяться экспертной оценкой. Требования по предварительному рецензированию, используемые при оценке монографий и статей (см. пункт 1), должны применяться и к этому виду публикаций. Кроме того, в оценку научной деятельности следует включить и проведение полевых исследований (в том числе международных), по результатам которых формируются экспедиционные архивы, включающие как полевую документацию, так и неопубликованные отчеты. Составление полевой документации и полевых отчетов – трудоемкий и ответственный процесс, в результате которого по сути создаются первичные источники, и эта деятельность должна оцениваться наряду с публикациями, с применением коэффициентов, размер которых должен определяться экспертами. 
3. Для гуманитарных исследований во всем мире характерно сохранение языкового разнообразия публикаций. Наряду с английским, статус международных языков сохраняют немецкий и французский, а во многих дисциплинах к ним добавляются и другие языки (итальянский в римской истории и археологии, китайский в китаистике, русский в русских и славянских исследованиях и т.д.). Кроме того, гуманитарные исследования выполняют важную миссию, связанную с сохранением и развитием национальной культуры, поэтому во всех странах гуманитарные публикации на национальных языках продолжают сохранять значение. Следовательно, необходимо соблюдать баланс между публикациями на международных языках и на национальном; его соблюдение должно учитываться при оценке научной деятельности. Предлагается установить, что не менее 20 % публикаций ученый должен издавать на одном из международных языков (не только английском), но и не менее 20 % на русском (или одном из языков народов РФ). Недобор по одному из этих показателей должен негативно влиять на оценку научной деятельности. Дополнительно следует поощрять публикации на русском языке в международных зарубежных журналах и других изданиях высокого уровня, что способствует сохранению международного статуса русского языка в тех дисциплинах, где он его имеет. То же относится и к выступлениям на русском языке на международных конференциях высокого уровня, где этот язык признан рабочим. 
4. Международные базы данных WoS и Scopus неадекватно отражают положение дел в гуманитарных науках. Cитуация в последнее время несколько улучшилась (особенно с базой Scopus), однако это улучшение трудно назвать существенным. В еще меньшей мере они отражают ситуацию в российской науке, поскольку не индексируют ссылки на публикации, если они выполнены любой системой письма, кроме латинского алфавита; ссылки на публикации на языках, использующих кириллицу, таким образом, автоматически выпадают. Поэтому следует отказаться от монополии WoS и Scopus при оценке публикаций в этой области. Наравне с ними при подсчете числа журнальных статей должны использоваться списки ERIH+ и RSCI. Поскольку данные по гуманитарным наукам, содержащиеся в WoS и Scopus, не отражают реальную ситуацию, основанные на этих данных наукометрические методы неприменимы для оценки научной работы в этих областях. В то же время адекватных для гуманитарных наук индексов цитирования пока не создано. Поэтому при оценке исследований в этой области следует отказаться от использования таких наукометрических инструментов, как индексы цитирования и импакт-факторы. Это не означает, что наукометрические подходы неприменимы к гуманитарным наукам, однако соответствующие методы их использования должны быть специально разработаны, после чего к этому вопросу можно будет вернуться. Применяемые базы данных при этом должны в полной мере индексировать монографии и коллективные труды и разноязычные публикации, включая те, что используют разные системы письма, прежде всего кириллицу. 
5. Перечисленные выше показатели являются количественными и не должны использоваться в отрыве от экспертных оценок, с помощью которых можно оценить качество научных результатов. При этом основную роль должны играть экспертные оценки. При их проведении необходимо строго следить за соблюдением принципа исключения конфликта интересов. В частности, необходимо привлечение к оценке иностранных экспертов, не связанных с оцениваемыми институтами и учеными. При проведении экспертных оценок необходим дифференцированный подход к массовым и редким специальностям, требующим большого времени и больших усилий на профессиональную подготовку. Такие специальности нуждаются в особой защите и к ним должны применяться иные количественные критерии (число учеников, количество публикаций и рецензий на них и т.д.), чем к массовым специальностям. 

Комментарий чл.-корр.РАН декана философского факультета МГУ имени М.В.Ломоносова В.В. Миронова к Заявлению Совета по науке при Министерстве образования и науки РФ об особенностях оценки научной работы в гуманитарных науках (исторические науки, искусствоведение, филологические науки, культурология и философия) от 31.03.2016

Удивительные кульбиты совершает реформирование российского образования, многие из которых были предсказуемы, и мы о них неоднократно предупреждали. Когда-то опубликовав статью-гротеск, в которой я написал, что схема ЕГЭ это только начало процесса (электронный вариант которой можно найти: http://www.pravmir.ru/golosuyu-za-ege/ ) и что методы оценки работы абитуриентов могут трансформироваться и в другие сферы, в частности, в вузах и академии, я не подозревал насколько был близок к истине и к тому, что произошло буквально за последние 5 лет.

Реформа образования и науки длится с начала 90-х годов и очередной раз всё идёт «по кругу», что позволяет говорить, что она по сути выступает во многом как контрреформа. И это вообще характерно для истории реформ в России, которые представляют некие чередующиеся «волны реформ» (см.: Пантин В.И., Лапкин В.В. Волны политической модернизации в истории России http://ss.xsp.ru/st/003/). Реформы как правило затеваются с позиций «радикального либерализма», представители которого навязывают жёсткие модели изменений. Они разрушают «старое», вы том числе часто и весьма качественное, выступают чуть ли не от имени Абсолютной Истины, которая известна только им. Но уже скоро им почти всегда начинает противостоять позиция «государственного патернализма» или в более широком смысле консервативная позиция, которая в определённый момент эти реформы притормаживает. Наличие такого консервативного крыла, как это произошло в образовании, приостанавливает процесс окончательного разрушения. Но, к сожалению, пласт разрушенного, пусть и не до конца, остаётся и его фактически надо заново восстанавливать.

Всё это характерно и для реформирования науки и в, частности, в результате абсолютизации методов наукометрии для определения эффективности работы учёных. Ведь понятно было с самого начала, что это не просто ошибка, а скорее некий вариант «диверсии», ибо его результатом является не столько оценка научной работы, сколько нарастание способов и методов имитации научной деятельности, которая будет осуществляться, чтобы отвечать критериям наукометрических подходов. Мы просто наблюдаем как на наших глазах, особенно в среде молодых коллег, которые должны продвигаться по служебной лестнице, происходит «осваивание» принципов позволяющих соответствовать тем или иным формальным критериям.

Например, вместо большой статьи в 30 страниц издавать 3 статьи по 10 страниц. Мысли, которые должны были бы вынашиваться может быть несколько лет, сразу выбрасываются в публикации, за которые потом становится стыдно самим авторам. Но зато соблюдаются формальные критерии наличия определённого количества статей. Выстраивание различных рейтингов, позволяет считать публикацией присутствие в редакционных советах и коллегиях, что сразу даёт ощутимое преимущество руководителям. Возрастает практика соавторства, которая ранее в гуманитарных науках не была столь популярна. И людей за это нельзя обвинять, ибо это становится условием их выживания в вузах и университетах, на которые накладываются безумные требования количественного (а отнюдь не качественного) характера.

Наукометрия из средства, и очень важного средства, помогающего учёным ориентироваться в море информации, превращается, благодаря чиновникам, в свою противоположность, убивающую творчество, не различающую специфику творческой работы в разных науках.

Поэтому заявление Совета по науке об особенностях оценки научной работы гуманитариев является весьма важным документом и, надеюсь, не «опоздавшим к обеду» документом. А это возможно, если на его основе будут приняты соответствующие решения и нормативные акты государства.

Одновременно, он вызывает чувство досады, ибо обо всём этом неоднократно говорили специалисты-гуманитарии, профессорско-преподавательский состав университетов, более того, эти выводы просто тривиальны для любого здравомыслящего человека, который хоть как-то связан с гуманитарной наукой.

Сколько было сказано, в том числе и автором данного комментария о роли монографии у гуманитариев, сколько было выступлений и соответствующих аналитических записок и писем в адрес министерства или высшей аттестационной комиссии. И вот наконец получаем вывод о том, что монографии «являются основной формой публикации научных результатов. Поэтому их необходимо в полной мере учитывать при оценке научной продуктивности».

Сколько мне приходилось выступать в ВАКе, говоря о необходимости особым образом учитывать переводы как особый и весьма важную часть работы в гуманитарной сфере. В документе тоже говориться о важности введения в научный оборот новых источников, но ведь перевод текста с древнего языка или современного иноязычного текста в гуманитарной сфере тоже может быть отнесён к такому прибавлению смысла. Однако о переводах вновь не говорится.

Не очень понятно определение языкового разнообразия. Все языки являются важными, если с их помощью решаются задачи того или иного исследования. Поэтому не следует их перечислять и уж тем более придумывать какие-то проценты, которые опять нас возвращают к формальным оценкам. Сразу возникают вопросы. Почему 20%, а, например, не 10 или 40% публикаций. Как и кем это определяется? Может быть оставить учёному право самому это решать, в том числе и в тех случаях, когда необходимость в использовании иного языка отсутствует. А при этом опять же дают игрушку чиновникам в руки в виде механизма оценки недобора показателей по языку, и предписывается, исходя из этого, понижать оценку научной деятельности. Это опять же должен определять сам исследователь. Даже если он мало использует другой язык, это вовсе не говорит автоматически о низком качестве его научной работы.

По поводу публикаций в зарубежных журналах. Это, конечно важно, но для этого необходимо помогать учёном это делать, а опять же не превращать в механизм поощрения или наказания.

Мне представляется верной позиция по поводу международных баз. Здесь должен работать принцип помощи учёному. Опубликовался – очень хорошо. Но если не смог, а работа, тем не менее качественная, не нужно сам работу-то оценивать негативно. Дело не в том, что наукометрические подходы не применимы к гуманитарным работам, они столь же плохо применимы к математическим работам, а в том, что наукометрия не должна быть средством оценки качества работы учёного. И правильно указывается в документе, что главной оценкой должна выступать экспертная оценка наших и зарубежных коллег. Но опять же сам принцип оценки не должен доминировать, иначе это может привести к формированию «базы нужных экспертов». Надо доверять учёным и научным коллективам и дать возможность проводить экспертную работу кафедрам и учёным советам. Возможны ошибки при этом и неточные оценки? Да, возможны, но гораздо меньшие, чем наукометрические интерпретации.

Таким образом, документ своевременный и мало ожидаемый научной общественностью, но он требует обсуждения экспертного сообщества, в том числе и в ведущих научных структурах нашей страны.