Новости

2 декабря, 2019 11:55

Зачет автомату. РНФ шлифует экспертные процедуры

Нужно ли повышать степень автоматизации труда экспертных комиссий, оценивающих научные результаты? Казалось бы, ответ очевиден. Когда речь идет о значительном объеме работы (а Российский научный фонд, например, ежегодно выполняет более 50 тысяч экспертиз), грех не использовать возможности компьютера, разумеется, не передавая машине рычаги управления. Однако выяснилось, что не все ученые готовы доверить даже небольшую часть экспертных функций интеллектуальной системе поддержки принятия решений. Это показало обсуждение итогов эксперимента по автоматическому назначению экспертов, рассматривающих заявки конкурсов РНФ, на заседании Экспертного совета (ЭС) фонда по Президентской программе.
Фото: совершенствование программы «автоподбора»

Заседание началось с приятного. Председатель совета академик Александр Клименко поздравил членов экспертных советов фонда, которые на недавнем Общем собрании Российской академии наук были избраны в академики и члены-корреспонденты РАН. Их оказалось двенадцать. Примерно столько же было и после выборов 2016 года, напомнил А.Клименко. Выявившуюся закономерность он в шутку прокомментировал так: попадание в Экспертный совет РНФ определенно становится хорошим началом выборной кампании для желающих избраться в члены РАН.

Получивших академические звания коллег поприветствовали аплодисментами не только члены Экспертного совета РНФ по Президентской программе. Рассмотрение вопроса об автоматическом назначении экспертов происходило в расширенном составе: были приглашены представители Экспертного совета РНФ по научным проектам, РФФИ, Высшей школы экономики, дирекции Федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса» и других структур, занимающихся организацией научных конкурсов.

О том, что дало внедрение в экспертный процесс новых технологий в ходе реализации Президентской программы, рассказал заместитель генерального директора – начальник Управления программ и проектов РНФ Андрей Блинов. Для начала он объяснил, почему возникла необходимость прибегать при выборе экспертов к помощи компьютера. Главная причина – большая трудоемкость работы координаторов секций, которым при проведении отдельных конкурсов приходится назначать по тысяче и более экспертиз. При этом около 40% обращений к выбранным экспертам оказываются «холостыми выстрелами»: часть людей не отзывается, некоторые присылают отказы. Кроме того, координаторов нередко обвиняют в том, что, назначая экспертами определенных людей, они оказывают влияние на оценки. Свести к минимуму субъективный фактор – задача, которую поставило перед экспертными советами РНФ научное сообщество.

Программа автоматического назначения экспертов выполняет две главные функции – отбор и ранжирование, сообщил А.Блинов. На каждый проект изначально подбираются до 100 экспертов. Учитываются соответствие их специализации кодам классификатора и ключевым словам заявки, конфликт интересов, нагрузка на рецензента (не более 10 одновременно проводимых экспертиз), принадлежность к организациям, в которых работают заявители и другие назначенные на эту заявку эксперты (все трое не должны работать в одной структуре). Далее происходит отбор оптимальных вариантов с учетом «удельных весов» показателей. Важно, что в процессе работы оператор может менять все ключевые параметры.

А впервые она была использована при проведении конкурса Президентской программы РНФ на проведение исследований на базе существующей научной инфраструктуры мирового уровня 2018 года. Сначала работа шла в переходном режиме: компьютер назначал экспертов, а координаторы могли отклонить предложенные варианты. По разным секциям доля забракованных людьми машинных решений составила 2-25%, а в среднем – 7%. В основном руководители секций вмешивались в тех случаях, когда «отлавливали» конфликты интересов, не определяемые на формальном уровне.

В процессе тестирования программисты совершенствовали систему. Ее «боевые» испытания провели в ходе конкурса инициативных проектов молодых ученых 2019 года, когда все секции приняли решение полностью доверить отбор экспертов машине. Результаты сравнили с итогами «ручного» отбора, проведенного в рамках аналогичного конкурса предыдущего года.

А.Блинов представил собравшимся получившуюся картину. Характер распределения оценок при ручном и автоматическом назначении оказался близким. Сходство продемонстрировали даже результаты оценки проектов по такому критерию, как научная значимость и актуальность тематики, где уровень субъективности потенциально высок. При использовании «автомата» несколько увеличилось число отказов экспертов, зато возросла скорость проведения оценочного процесса. В целом опыт показал, что компьютер может успешно ассистировать человеку и даже подменять его в случае необходимости.

Координаторы секций Экспертного совета по Президентской программе отметили, что новая система серьезно экономит их время и облегчает труд.

– Когда много заявок и мало времени, координатор действует практически по тому же алгоритму, что и компьютер, оперируя ограниченным объемом доступных данных, – подчеркнул член совета академик Виталий Кведер. – Но человек может ошибиться: накапливается усталость, памяти на все не хватает. Машина же все делает точно.

О том, что работу в этом направлении нужно продолжать, а систему совершенствовать, говорили и другие координаторы. По словам А.Блинова, разработчики видят несколько направлений развития проекта: увеличение числа ключевых слов и шлифовка программы семантического анализа, расширение экспертного пула, уточнение информации об экспертах (их публикации, время, которое каждый из них тратит на рассмотрение заявки, реальная «цена» оценки «добрых» и «злых» рецензентов).

Приглашенные специалисты задавали много вопросов. Зачем формировать специальный, ограниченный по численности пул экспертов РНФ? Почему нельзя привлекать к оценке той или иной заявки всех известных в мире специалистов данного профиля? Мы работаем в рамках действующего законодательства, ответил А.Блинов. Поэтому РНФ может поручить экспертизу лишь ученым, которые подписали договор с фондом. Кроме того, конкурсный цикл в РНФ – один из самых коротких в мире, в большинстве зарубежных научных фондов он составляет около года. Многие иностранные коллеги не привыкли к таким темпам.

Долго обсуждалась неисчерпаемая тема конфликта интересов. Было внесено немало предложений по поводу того, как его выявлять.

Принципиальным оппонентом «автоматизации» выступил председатель Экспертного совета по научным проектам академик Александр Макаров. Он заявил, что считает машинную систему назначения экспертов в корне вредной.

– Такой практики нет нигде в мире, – подчеркнул академик. – И нам не стоит стремиться в этом вопросе стать впереди планеты всей, учитывая фрагментарность нашей науки. Родственные лаборатории, где понимают, чем занимаются коллеги, по многим направлениям найти непросто. Кроме того, в базе РНФ встречаются недостаточно компетентные ученые. Поскольку выбор компьютера носит стохастический характер, риск их привлечения к экспертизе возрастает.

А.Макаров рекомендовал не вводить практику автоматического назначения экспертов повсеместно и предложил обсудить этот вопрос на заседании возглавляемого им Экспертного совета.

А.Клименко заверил: каждый совет имеет право самостоятельно решать, использовать ли ему в своей работе новые возможности. О том, что человек уйдет из системы принятия решений, не может быть и речи, подытожил он. А.Клименко выступил и в защиту корпуса экспертов РНФ. Он напомнил, что «в эксперты фонда люди попадают не с улицы»: к кандидатам предъявляются очень серьезные требования, и все они утверждаются экспертными советами фонда.

Экспертный совет по Президентской программе РНФ единогласно одобрил проведенную фондом работу по совершенствованию экспертных процедур и заявил о необходимости продолжения работы по развитию автоматической системы подбора экспертов и целесообразности использования нового механизма в массовых конкурсах, находящихся в компетенции совета.

22 марта, 2024
Открыт прием заявок на премию в области корпоративных инноваций – GenerationS Innovation Award 2024
Премия призвана выделить наиболее яркие достижения российских компаний и вузов, которые способствую...
15 марта, 2024
Встреча представителей Фонда с научной общественностью Ульяновской области
14 марта Андрей Блинов, заместитель генерального директора РНФ, представил информацию о работе Фонда...