«Каждая метрика в отдельности создает возможности для манипуляций». Scopus, Россия и наукометрия: как быть дальше?

Почему российские научные журналы обычно не могут похвастаться высокими индексами цитирования, как искусственный интеллект помогает находить «хищнические» издания и по каким направлениям будут сотрудничать Elsevier и РАН, в интервью Indicator.Ru рассказал руководитель подразделения развития контента Scopus Вим Меестер.

— Судя по последним опубликованным данным, в базе Scopus индексируются почти 600 российских научных журналов, но только девять из них входят в первые квартили по показателям цитирования в своих дисциплинах. Это типичная ситуация для стран, где большинство научных работ выходят не на английском языке? Какие основные причины сравнительно невысокой цитируемости российских журналов вы видите?

— Одну вы уже назвали — это язык. Но есть и вторая — это предмет, темы журнала, давайте начнем с нее. Журналы с разными темами привлекают разную аудиторию, и издания, связанные с определенной страной или регионом, нацелены, как правило, на аудиторию из этого места. Предлагаемые темы выпусков будут привлекать авторов из этого региона, и опубликованные статьи будут заметнее для местного научного сообщества. Но всего в Scopus включено 25 тысяч журналов со всего мира. И чем заметнее и доступнее журналы, тем больше людей в мире узнают о них и в итоге процитируют статьи в них. Сейчас журналы из России часто ориентированы на темы, важные для российского научного сообщества, но не такие значимые за пределами страны. А те девять журналов, что вошли в первый квартиль, посвящены как раз интересным во всем мире темам, например физике, горному делу, и поэтому привлекают цитирования и из-за пределов России. А чтобы конкурировать на международном уровне, вы неизбежно должны получать цитирования не только из остальных 600 российских журналов.

Язык публикаций часто связан с темой — журналы с региональной аудиторией и темами могут не использовать английский язык. Значит, меньше читателей в мире познакомятся с этим контентом и процитируют его. Так что да, язык публикаций влияет на цитируемость. И я не думаю, что это проблема, актуальная только для России. В Китае, например, большое количество научных результатов публикуются только на китайском языке. Видимость и доступность этих публикаций тоже смещены внутрь страны.

— Давайте обсудим, как журналы попадают в Scopus. Подача заявки — достаточно прозрачный процесс, и хорошо известны базовые критерии, которым нужно соответствовать: рецензирование статей, регулярные выпуски, редакционная политика, опубликованная на достаточно качественном сайте, и так далее. А что происходит дальше, кто и как проводит содержательную научную оценку статей, опубликованных в журнале?

— Да, все журналы должны соответствовать определенным техническим критериям, прежде чем их рассмотрят на включение в Scopus. Далее у нас есть набор из 14 критериев и независимый экспертный совет по отбору контента. Ни Scopus, ни Elsevier не отбирают журналы — этим занимаются независимые эксперты. Сейчас это 17 человек, они представляют разные страны мира и разные области знаний. Для каждой широкой области знаний, которую охватывает база Scopus, в совете есть эксперт — по медицине, физике, химии и так далее. Они проводят оценку по тем полным текстам статей, которые журналы присылают вместе с заявкой на включение. Эксперты определяют научный вклад этих публикаций и то, насколько качественно они написаны, соответствуют ли стандартам этой области.

— Это тщательный многоэтапный подход, тем не менее все базы научных статей сталкиваются с проблемами нарушений публикационной этики. И во всем мире часто «сторожевыми псами» в публикационном процессе выступают научные сообщества. Например, в этом году в России Комиссия РАН по противодействию фальсификации научных исследований сообщила о тысячах статей, опубликованных российскими авторами в «хищнических» журналах. Как вы оцениваете роль таких ассоциаций и сообществ в выявлении нарушений научной этики? Scopus как-нибудь взаимодействует с такими организациями?

— Мы знаем об этом докладе и поддерживаем контакт с комиссией. Взаимодействие с такими организациями очень важно для Scopus, чтобы получать обратную связь от сообщества о журналах, которые мы включили в базу, особенно о проблемах публикационной этики. Когда мы получаем подобные сигналы, мы расследуем их, рассматриваем эти журналы сами и, если действительно видим какие-то свидетельства нарушений, направляем их на повторную оценку Экспертному совету по отбору контента. И совет решает, должны ли эти журналы оставаться в Scopus. Эта обратная связь очень важна: да, мы можем автоматизировать процессы, использовать алгоритмы, но человеческий взгляд тоже необходим. Мы работаем над этим совместно со многими организациями по всему миру, чтобы идентифицировать подобные журналы в базе и прекратить их индексацию. В России мы сотрудничаем также с Ассоциацией научных редакторов и издателей (АНРИ) и с Российской академией наук. По новому соглашению РАН и Elsevier мы будем взаимодействовать по вопросам оперативного выявления и реагирования на факты нарушения этики научных публикаций, а также вопросам отбора и индексации новых российских журналов в Scopus.

— Как я упоминал, сейчас в базе около 25 тысяч журналов. И на большинство из них включение в Scopus повлияло положительно: они получили больше видимости, стали доступнее, их начали чаще цитировать, показатели в целом возросли. Иногда это не происходит. Может быть, сменился издатель, может быть, темы публикаций; может быть, издатель просто пытался получить выгоду от включения в Scopus. И такие журналы мы пытаемся выявить с помощью четырех механизмов. Первый из них я уже описывал, это как раз сигналы со стороны пользователей о неэтичных публикационных практиках. Второй — неудовлетворительные показатели, их мы измеряем уже в самой базе. У нас есть стандарты для журналов в разных областях, и, если издание, например, имеет низкий уровень цитирований, выпускает мало статей или пользователи реже обращаются к ним, чем в среднем по области, это оценивается как неудовлетворительные показатели. Третий механизм — поиск нетипичного поведения, выбросов в продуктивности. Для этого мы используем инструмент машинного обучения, так называемый Radar. Он может выявить неожиданный экспоненциальный рост числа статей в журнале — допустим, их было 100 в год, а теперь публикуется по тысяче. Или журнал нацелен на сообщество в определенной стране, традиционно большинство авторов в нем были оттуда, но внезапно ситуация меняется. Применяя все эти три механизма, мы можем отметить журналы для повторной оценки экспертным советом. Четвертый механизм — непрерывное курирование. Это происходит, когда экспертный совет по отбору контента принимает новый журнал в Scopus, но не уверен, как он будет развиваться в будущем. В этом случае мы сразу помечаем журнал для переоценки через несколько лет.

— Вы упомянули метрики на базе Scopus, и еще одна тема, которую хотелось бы обсудить, — наукометрия в целом. Ученые часто говорят о негативных последствиях применения наукометрических оценок к управлению наукой, например когда ради большего числа статей один научный результат «нарезается» в серию «салями». Что, на ваш взгляд, можно противопоставить подобным явлениям как положительное последствие разумного применения публикационных метрик?

— Я думаю, что наукометрия играет большую и важную роль в оценке исследований. Конечно, со счетов нельзя сбрасывать и некоторые негативные эффекты. Но, думаю, польза их перевешивает. Я считаю, каждый раз, когда мы применяем наукометрию к оценке исследований, следует опираться на два «золотые правила», как мы их называем. Первое — количественные и качественные показатели должны использоваться совместно. Да, метрики важны и могут стать почвой для очень глубоких оценок, но количественные показатели должны обязательно использоваться вместе с качественными. Например, метрики по цитированиям говорят нам, что только девять российских журналов входят в первый квартиль по CiteScore. Но чтобы понять причины высоких или низких показателей цитирования, нам нужно знать контекст. Интерпретацию такой информации должны выполнять эксперты. Вот почему в национальных системах оценки науки часто можно увидеть, что учитываются не только количественные показатели, но также обычно действует экспертный комитет, который принимает решение на основе этих метрик.

Еще один положительный эффект наукометрии — возможности ее использования в исследованиях. Например, недавняя основанная на данных Scopus работа (она еще не опубликована, но вышла в виде препринта) об иммиграции и эмиграции российских ученых. Она рассматривает, какой эффект на развитие научных областей имела исследовательская мобильность. Scopus позволяет изучать это, так как мы знаем, какое влияние имели опубликованные статьи, знаем, в каких странах и кем проводились исследования. Такие работы, на мой взгляд, очень полезны, в том числе для формирования научной политики.

— Действительно, в научном сообществе происходит много изменений, всем нам важно их учитывать в своих системах, и Scopus пытается это делать. Например, в случае с препринтами. Это относительно новое явление, хотя некоторые агрегаторы существуют уже давно, но в последние три года мы действительно видим, что больше исследователей используют препринты. А в связи с пандемией COVID-19, когда важность скорости публикаций возросла, они начали играть еще более заметную роль. Мы в Scopus воспринимаем препринты как ранний индикатор исследования. Это очень ранняя стадия публикационного процесса, и, поскольку препринты не прошли рецензирование, это другой уровень качества, они не должны рассматриваться так же, как статьи в журналах. Тем не менее ученым важно знать, какие исследования ведутся, кто работает над определенной темой и готовит по ней публикации. Так что мы работаем над тем, чтобы встроить препринты в базу Scopus. Уже в ноябре они будут отображаться в авторских профилях. При этом препринты будут отделены от статей в рецензируемых журналах — очень важно разграничить эти разные типы публикаций с разными стандартами качества.

— Как изменяется наукометрия в связи с этими переменами в публикационном ландшафте? Например, не будут ли в будущем альтметрики более важным инструментом?

— Хотя метрики рассматриваются как определенные стандарты, они тоже развиваются. Сегодня важны одни показатели, через несколько лет другие показатели могут приобрести особую важность. Конечно, мы следим за тем, что происходит в научном сообществе, чтобы метрики Scopus отражали перемены. Например, наша метрика для журналов CiteSсore появилась не так давно, первая версия вышла в 2016 году. Но уже в этом году мы существенно улучшили этот показатель.

Наряду с эволюцией существующих показателей появляются новые, не основанные на цитировании, можно назвать их нетрадиционными. У нас есть инструмент для подсчета таких показателей Plum, уже встроенный в Scopus. Из новых метрик, к которым мы тоже присматриваемся, стоит назвать те, что отражают общественное влияние научных работ. Его можно измерить, например, по тому, как исследования влияют на политику, на принятие решений, цитируются ли они в политических документах, правительственными организациями и так далее. Практическое влияние научных статей можно также оценить по клиническим испытаниям новых лекарств, которые, безусловно, очень важны для общества. Еще одно направление — связь исследований с достижением Целей устойчивого развития ООН. Каждая из них может быть обозначена как тема или кластер тем исследований, и сейчас мы пытаемся сопоставить исследования в базе Scopus с этими целями, чтобы можно было увидеть, какие организации активны в этих вопросах, какие исследователи работают над ними.

Источник: Indicator.ru

30.10.2020