О новом рейтинге журналов SCIENCE INDEX

ЗАЧЕМ РАНЖИРОВАТЬ ЖУРНАЛЫ

Ранжирование научных журналов играет важную роль в системе оценки результативности научных исследований. Наиболее распространенная в настоящее время методика такой оценки довольно примитивна. Качество научной статьи оценивается через усредненную оценку журнала, где она была опубликована (например, через его импакт-фактор). Причем, чаще всего система оценки строится даже не на уровне отдельных журналов, а на уровне коллекций журналов (категорий, квартилей, белых списков и т.д.). Например, публикация в журнале, индексируемом в Scopus, засчитывается с большим весом, чем публикация в журнале из перечня ВАК.

Очевидно, что такой подход дает лишь очень грубую оценку. Даже в пределах одного журнала разброс статей по качеству может быть весьма значительным. Что уж говорить про коллекции журналов. Статья в журнале из хвоста первого квартиля может оказаться гораздо хуже статьи из журнала в начале второго квартиля, но при этом будет оцениваться на порядок выше. Поэтому такой подход может более или менее статистически корректно использоваться только для сравнения больших объектов (например, стран). Использование же такой оценки на уровне научных организаций, не говоря уже об отдельных ученых, может приводить к существенным искажениям реальной картины. Тем не менее такой подход действительно очень распространен, главным образом, в силу своей простоты и возможности оценивать "свежие" публикации (для которых проводить оценку через их непосредственное цитирование еще рано).

То есть, как мы видим, классическая схема оценки сейчас чаще всего строится так. Каким-то образом (библиометрически или путем экспертной оценки) журналы делятся на категории, каждой такой категории назначаются определенные весовые коэффициенты, и затем каждая публикация оценивается с весовым коэффициентом, соответствующим категории журнала, в котором она была опубликована. При таком подходе богатые возможности современной библиометрии и баз данных научного цитирования фактически не используются. Ну разве что, при учете импакт-факторов журналов в процессе принятия решения об отнесении журнала к той или иной категории.

Вторая существенная проблема системы оценки результативности научных исследований - это учет специфики научных направлений. Фактически при таком подходе можно сравнивать публикации или журналы только в пределах одного научного направления. А что делать, если журнал посвящен тематике на стыке наук или вообще мультидисциплинарный? И как учитывать разницу между чисто теоретическими и научно-практическими изданиями, даже в пределах одного направления?

Корректное решение этих проблем возможно только при переходе с уровня коллекций журналов на уровень отдельных публикаций. То есть оценивать не журналы, а научные публикации. Именно они в данном случае являются квантами производства научного знания. И специфику тематики тоже учитывать на уровне статьи, а не журнала. А все остальные объекты (авторы, организации, журналы и т.д.), которые по сути своей являются составными, уже должны оцениваться интегрально, по совокупности оценок отдельных публикаций.

Возможно ли это? Да, возможно. Современный библиометрический инструментарий уже давно позволяет использовать более точные методы, основанные на оценке отдельных публикаций и автоматическом учете особенностей тематических направлений. Будут ли такие подходы в ближайшее время внедрены в практику оценки научной деятельности? Сомнительно. Но двигаться в этом направлении необходимо. И первым шагом может стать переход хотя бы с уровня коллекций журналов на уровень отдельных журналов. Каждый журнал должен иметь свой весовой коэффициент, который и будет использоваться при оценке статей, опубликованных в данном журнале. Это уже сделает оценку более равномерной и справедливой, поскольку сгладит резкие скачки на границе категорий журналов. Можно также оставить категории, но увеличить их количество (например, используя процентили вместо квартилей).

В этом контексте попытки ранжирования российских журналов, которые мы наблюдаем в последнее время, можно считать движением в правильном направлении.

КАК ПРОВОДИТСЯ РАНЖИРОВАНИЕ ЖУРНАЛОВ

По данным РИНЦ, в России в настоящее время выпускается более 6 тысяч научных журналов. Конечно, эти журналы сильно отличаются по качеству - от журналов международного уровня до журналов, которые и научными то назвать можно с большой натяжкой. Ранжирование такого количества журналов уже само по себе представляет весьма нетривиальную задачу. Причем она осложняется еще и распространением в последнее время практики манипулирования и накрутки библиометрических показателей, как со стороны ученых, так и со стороны издателей журналов.

В настоящее время в России параллельно запущено сразу несколько проектов по ранжированию журналов.

1. Ранжирование журналов, входящих в Перечень ВАК

Выполняется с целью разбиения Перечня ВАК на несколько категорий. Методика разрабатывается в РИЭПП. В ранжировании участвуют все журналы, входящие в Перечень ВАК (около 2700 наименований). Для ранжирования используется комплексный показатель, использующий метрики журналов в РИНЦ с различными весовыми коэффициентами:

- рейтинг Science Index (включает нормированный по научным направлениям пятилетний импакт-фактор РИНЦ и индекс Херфиндаля по цитирующим журналам);

- индекс Херфиндаля по организациям авторов;

- индекс Джини;

- средний индекс Хирша авторов;

- десятилетний индекс Хирша журнала;

- среднее число просмотров аннотаций.

Ранжирование производится отдельно для каждой специальности ВАК. Для журналов, зарегистрированных в Перечне ВАК по нескольким специальностям, высчитывается усредненное значение рейтинга. Реальное распределение статей по специальностям в журнале на данный момент времени не учитывается. Хотя разработчиками рейтинга такой учет, по-видимому, планируется. Для этой цели издателям предписано занести в специально созданную систему информацию о всех статьях в журнале, опубликованных в 2022 году, с указанием кодов новой номенклатуры специальностей ВАК. Методически это можно считать движением в правильном направлении, но технологически заполнение вручную данных о 270 тыс. публикациях представляется совершенно неэффективным и чрезмерно трудоемким для редакций журналов. Особенно, если учесть, что вся необходимая информация об этих публикациях есть в РИНЦ и может быть легко оттуда экспортирована.

2. Ранжирование журналов, входящих в RSCI

Эта работа проводилась в РАН с целью совершенствования процедуры оценки, отбора и мониторинга качества журналов RSCI (около 950 наименований). Методика построения рейтинга похожа на методику ВАК, то есть используются несколько показателей журналов, рассчитываемых в РИНЦ, с различными весовыми коэффициентами. Однако, в отличие от ВАК, здесь в качестве основного показателя был использован импакт-фактор журнала по ядру РИНЦ, а не по РИНЦ в целом. Используемые метрики:

- пятилетний или двухлетний импакт-фактор по ядру РИНЦ (в зависимости от научного направления);

- индекс Херфиндаля по цитирующим журналам;

- индекс Херфиндаля по организациям авторов;

- индекс Джини;

- среднее число просмотров аннотаций за 2 или 5 лет.

Ранжирование проводилось отдельно для каждой области науки по верхнему уровню OECD, что соответствует структуре экспертных групп, отбирающих журналы для RSCI. Был построен также сквозной рейтинг путем нормирования показателей по отношению к средним значениям в тематических группах.

В данном случае, задача упрощалась тем, что ранжировались журналы, входящие в RSCI, то есть прошедшие достаточно строгую экспертную оценку. Вероятность махинаций и манипуляций с цитированиями в таких журналах гораздо ниже, чем в целом по РИНЦ. Поэтому, даже если для построения рейтинга был бы использован только импакт-фактор по ядру РИНЦ, результаты скорее всего были бы вполне адекватные.

3. Ранжирование журналов, входящих в Белый список

Работа по отбору и ранжированию журналов, входящих в Белый список (около 30 тысяч наименований), проводится в РЦНИ. Ранжирование этого списка необходимо хотя бы потому, что на основе этого ранжирования будет строиться обновленная методика расчета КБПР. Как это будет происходить, пока непонятно. Проведение полноценной экспертной оценки всех 30 тысяч журналов силами российских экспертов трудно себе представить. Библиометрическая оценка на основе собственных данных научного цитирования также невозможна из-за отсутствия таких данных. В РИНЦ есть данные только по цитированию российских журналов, которых достаточно для оценки журналов RSCI, но недостаточно для оценки зарубежных журналов. Открытые зарубежные базы данных пока еще недостаточно охватывают информацию о цитировании, да и качество этих данных вызывает много вопросов. Если же оценка журналов будет строиться на основе данных тех же международных баз данных Web of Science и Scopus, то в чем тогда заключается "суверенизация" и независимость от политически ангажированных поставщиков данных из "недружественных стран", заявленные как основные принципы при создании Белого списка? И зачем тогда вообще нужно было тратить целый год на создание Белого списка, если туда вошли те же журналы из WOS, Scopus и RSCI? Ведь, по сути, такой подход уже давно реализован в виде ядра РИНЦ, для которого рассчитываются все необходимые показатели? В общем, задача перед РЦНИ стоит непростая. А пока что "национальный" Белый список - это просто список журналов со ссылками исключительно на зарубежные источники данных.

Отдельного внимательного рассмотрения требует и вопрос установления правильных весовых коэффициентов для выделенных категорий журналов. Этот вопрос вызвал оживленную дискуссию еще на стадии разработки первой версии методики расчета КБПР, что привело в результате даже к коррекции применяемых коэффициентов. Для новой методики, основанной на Белом списке, наверно, разумно было бы использовать на первой стадии тот же подход, что был применен для сравнения категорий журналов в 2020 году (https://elibrary.ru/wos_scopus_rsci.asp). Этот подход дает справедливые базовые оценки среднего уровня российских публикаций в разных категориях журналов. Отметим, что для верхних категорий, основанных на зарубежных базах данных, этот уровень может быть значительно ниже среднего уровня всех публикаций в категории.

Как только категоризация Белого списка будет проведена, НЭБ планирует провести и опубликовать аналогичные расчеты для определения базовых весовых коэффициентов. Далее эти базовые коэффициенты могут быть, конечно, скорректированы в нужную сторону в соответствии с задачами научной политики. Например, для стимулирования публикаций ученых в лучших международных журналах, или в лучших российских журналах, или для учета специфики отдельных научных направлений.

4. Ранжирование журналов, входящих в РИНЦ

Первая версия рейтинга журналов Science Index была разработана в НЭБ более 6 лет назад. Рейтинг охватывает все научные журналы, индексируемые в РИНЦ и соответствующие некоторым формальным требованиям (связанным, в основном, с необходимостью иметь полный набор данных для расчета показателей). Всего включает на данный момент более 3800 наименований. При запуске этого проекта основной задачей было разработать методику, позволяющую построить сквозной рейтинг журналов по всем научным направлениям, а также учесть уровень самоцитирования и договорного цитирования в журналах. Последнее достигалось за счет использования индекса Херфиндаля по цитирующим журналам. В качестве базового показателя использовался пятилетний импакт-фактор РИНЦ, который нормировался с учетом среднего числа ссылок в списках цитируемой литературы в различных научных направлениях, а также доли ссылок, попадающих на пятилетний период, используемый при расчете импакт-фактора. Для переводных журналов при расчетах рейтинга учитывалось также цитирование англоязычных версий.

Рейтинг Science Index довольно неплохо отражал относительный уровень российских научных журналов в первые годы его использования. Однако в последнее время ранжирование журналов на его основе уже нельзя назвать удовлетворительным. Почему это произошло?

Во-первых, получили широкое распространение практики манипуляций и накрутки цитирований в некоторых журналах РИНЦ. В РИНЦ включаются практически все российские научные журналы, за исключением совсем уже откровенно хищнических. Порог качества журнала для попадания в РИНЦ достаточно низкий. Все-таки РИНЦ - это скорее реестр публикаций российских ученых, чем база данных только качественных журналов. Для учета и анализа качественной составляющей существует ядро РИНЦ.

Во-вторых, журналы научились регулировать значение индекса Херфиндаля за счет снижения самоцитирования и распространения договорного, дружеского и приписного цитирования. Особенно это касается мультидисциплинарных журналов, которые получают ссылки из множества журналов разных направлений.

В связи с этим назрела необходимость существенной доработки рейтинга журналов Science Index.

НОВЫЙ РЕЙТИНГ SCIENCE INDEX. ОСНОВНЫЕ ПРИНЦИПЫ

1. Переход на учет цитирования только из ядра РИНЦ

Все библиометрические показатели, используемые при расчете нового рейтинга, учитывают только цитирование из ядра РИНЦ. Сам оцениваемый журнал может и не входить в ядро, но ссылки на него берутся только из ядра. Это позволяет сразу отсечь основную массу манипулятивных ссылок, сильно искажающих библиометрические показатели. Все журналы из ядра РИНЦ проходят довольно строгую экспертизу, в том числе могут быть исключены из ядра за нарушения издательской этики и слабый контроль за обоснованностью цитирования в статьях.

2. Учет только идентифицированных ссылок

В первой версии рейтинга Science Index ссылка засчитывалась журналу, если его название в каком-то из вариантов было выделено в тексте ссылки. Сама ссылка при этом могла быть и не привязана к конкретной статье в РИНЦ, либо из-за ее отсутствия, либо если такую связь по какой-то причине установить не удалось. Такой подход позволял рассчитывать импакт-фактор даже при отсутствии полного архива выпусков журнала в РИНЦ. Сейчас проблемы с заполнением архивов в основном уже остались в прошлом. Подавляющее большинство журналов имеют полные архивы за последние 10-15 лет, что вполне достаточно для точного расчета всех библиометрических показателей, используемых при оценке журналов. Поэтому в новой версии рейтинга учитываются только идентифицированные ссылки, то есть те, которые привязаны к конкретной публикации в РИНЦ.

Это позволяет также свести практически к нулю вероятность ошибок при неправильной идентификации журнала в ссылке. Такая ссылка просто не будет привязана к статье и, соответственно, не будет засчитана журналу. Раньше же бывали случаи, когда целый пул чужих ссылок приписывался журналу из-за неправильной идентификации названия или сокращения журнала.

3. Тематическая нормировка на уровне статей

Практика цитирования в различных научных направлениях отличается. Поэтому сравнивать библиометрические показатели, основанные на цитировании, для разных направлений можно только с учетом соответствующей нормировки. Основные факторы, приводящие к различию показателей цитирования в различных научных направлениях:

- средняя длина списка цитируемой литературы;

- структура списка литературы по типам цитируемых публикаций;

- хронологическое распределение цитируемых статей.

В первой версии рейтинга Science Index тематическая нормировка осуществлялась путем отнесения каждого журнала к одному из десяти основных направлений по OECD (9 тематических плюс отдельно мультидисциплинарные журналы). Затем для каждой тематической коллекции журналов рассчитывались средние значения:

- среднее число ссылок в списках цитируемой литературы на статьи в журналах РИНЦ;

- средняя доля ссылок из публикаций текущего года на статьи в журнале за последние 5 лет по отношению ко всем ссылкам на данный журнал (за все годы). Эти значения и использовались в качестве нормировочных коэффициентов для тематической коррекции импакт-фактора.

У такого подхода есть ряд существенных недостатков:

1. Журнал рассматривается как монотематический, хотя может включать статьи из разных направлений.

2. Не учитывается различия в практике цитирования в пределах одного направления, например, между теоретическими и прикладными статьями.

3. Рубрикатор слишком грубый. Различия в практике цитирования могут быть на более низком уровне рубрикации. В то же время, переход на более детальную рубрикацию уменьшает число журналов в группе и приводит к увеличению статистических выбросов в малых группах.

В новом рейтинге Science Index использован кардинально другой подход. Нормировка происходит, во-первых, на уровне отдельных статей, и, во-вторых, вообще без использования каких-либо тематических рубрикаторов. Соответственно, снимаются все проблемы, связанные с отнесением журналов к каким-то рубрикам, неидеальности самих рубрикаторов, распределения статей в журнале по различным направлениям и учета практики цитирования для разных типов журналов и публикаций.

Как осуществляется такая автоматическая нормировка? Покажем на примере расчета пятилетнего импакт-фактора за 2021 год. Вначале для каждой цитирующей статьи (в нашем случае, для всех статей из ядра РИНЦ за 2021 год) рассчитывается так называемый потенциал цитирования (N). Это суммарное число ссылок из данной статьи только на статьи в журналах и только на предыдущие 5 лет. Каждая ссылка из этой статьи теперь будет засчитываться не как единица, а как 1/N. Чем больше ссылок в цитирующей статье, точнее, чем больше из них идет на статьи в журналах за последние 5 лет, тем меньше будет вес каждой ссылки. Просуммировав эти веса для каждой ссылки на статьи в оцениваемом журнале за 5 лет, получаем число цитирований, уже автоматически нормированное на специфику цитирующих статей. Для расчета нормированного таким образом импакт-фактора остается только поделить на число статей в журнале за эти 5 лет.

4. Выбор показателей и весовых коэффициентов

Методики расчета комплексного показателя для ранжирования журналов из Перечня ВАК и RSCI основаны на использовании нескольких показателей, отражающих различные аспекты качества журнала, которые суммируются с некоторыми весовыми коэффициентами. При этом в обоих случаях в качестве основного показателя был выбран импакт-фактор, а остальные добавлялись в формулу расчета со значительно более низкими весовыми коэффициентами. Проблема заключается в том, что выбор как состава участвующих в формуле показателей, так и их весовых коэффициентов, был проведен чисто интуитивно и никак не подтвержден библиометрически или путем экспертного сравнения различных комбинаций. То есть нельзя с уверенностью сказать, что этот выбор оптимальный. В процессе обсуждения результатов ранжирования также были предложения оставить единственный показатель - импакт-фактор, и не использовать дополнительные ввиду недоказанности факта, что они приводят к улучшению качества рейтинга.

Для получения аргументированного ответа на эти вопросы в НЭБ были проведены исследования влияния состава показателей и их весовых коэффициентов на качество ранжирования журнала. Были отобраны 12 показателей журналов, рассчитываемых в РИНЦ, включающих, в том числе, все показатели, используемые при расчетах рейтингов Перечня ВАК и RSCI. Также сравнивались различные варианты этих показателей (например, с учетом самоцитирования и без, по РИНЦ или по ядру РИНЦ, за разные периоды времени, разные способы нормировки и т.д.). Затем были рассчитаны рейтинги журналов для всех возможных комбинаций весовых коэффициентов (от нуля до 10). Для выбора наилучшей комбинации были использованы два основных подхода:

1. По количеству журналов из ядра РИНЦ

Для каждой комбинации показателей рассчитывалось число журналов из ядра РИНЦ, входящих в первые 200, 500, 1000 и 1500 журналов рейтинга, полученного на основе этой комбинации. Ядро РИНЦ включает лучшие журналы, отобранные в результате достаточно серьезной экспертизы, поэтому вполне ожидаемо увидеть эти журналы в начале рейтинга. Чем больше таких журналов, тем ближе рассчитанный рейтинг к экспертной оценке журналов из ядра РИНЦ.

2. По корреляции с рейтингом, полученным в ходе общественной экспертизы российских научных журналов

В отличие от ядра РИНЦ, где в нашем распоряжении есть только факт включения журнала в ядро, в данном случае у нас есть ранжированный список всех российских журналов, полученный на основе экспертной оценки более 40 тысяч ведущих российских ученых. Поэтому можно оптимизировать показатели рейтинга путем нахождения максимальной корреляции рассчитанного рейтинга и рейтинга общественной экспертизы.

Недостатком этого подхода является то, что общественная экспертиза проводилась последний раз более 5 лет назад, то есть ее результаты несколько устарели. С другой стороны, маловероятно, что качественные журналы за это время могли скатиться на уровень откровенно слабых, и наоборот, чтобы раскрутить журнал и вывести его в топ лучших, тоже требуется немало времени. Поэтому статистически такой подход вполне оправдан.

По результатам исследования из 12 показателей было отобрано четыре, показавших наилучшие результаты:

1. Пятилетний нормированный импакт-фактор по ядру РИНЦ

Этот показатель характеризует средний уровень статей в журнале за последние годы. Способы тематической нормировки и причины использования показателей по ядру РИНЦ были описаны выше.

2. Десятилетний нормированный индекс Хирша журнала по ядру РИНЦ

Этот показатель отражает количество высокоцитируемых статей в журнале. Его вес достаточно велик и иногда даже превышал вес импакт-фактора. Это может означать, что для экспертов, оценивающих журнал, очень важно наличие прорывных, запоминающихся работ в журнале. Также интересно отметить, что при использовании для оптимизации показателей подхода, основанного на количестве журналов из ядра РИНЦ, вес импакт-фактора оказывался выше. В то же время, если за основу оптимизации взять результаты общественной экспертизы, то больший вес получал индекс Хирша.

3. Средний индекс Хирша авторов статей за последние три года

Этот новый показатель был специально рассчитан для данного рейтинга. Для этого для каждого российского ученого был рассчитан нормированный индекс Хирша по ядру РИНЦ в ретроспективе. Это позволяет определить, какие индексы Хирша были у авторов статьи на момент ее публикации и рассчитать для каждой статьи среднее значение по авторскому коллективу. Данный показатель отражает средний научный уровень авторов статей в журнале и работает, в том числе, и для совсем свежих статей, еще не успевших набрать цитирования.

4. Средняя длина текста статей за последние 3 года

Этот показатель оказался в списке довольно неожиданно. Но тем не менее стабильно показывал хорошую корреляцию с уровнем качества журнала на основе экспертной оценки.

Почему отдельные показатели, которые по своему смыслу должны отражать качество журнала, не попали в результате в итоговую формулу? Рассмотрим некоторые из них:

Число просмотров аннотаций статей. По поводу включения этого показателя в формулу расчета были дискуссии при обсуждении как рейтинга ВАК, так и рейтинга RSCI. Нами были перепробованы различные варианты: и общее число просмотров, и число просмотров только зарегистрированными пользователями, и число просмотров только авторами научных публикаций, и с нормировкой на количество статей в РИНЦ. Ни в одном из вариантов этот показатель не показал улучшения рейтинга. По-видимому, слишком много случайных факторов влияет на число просмотров аннотаций.

Индекс Джини. Этот показатель отражает равномерность распределения цитирований в журнале. Но по факту он может плохо коррелировать с качеством журнала. Возможно, это связано с тем, что в хороших журналах многое определяют сильные, прорывные статьи, которые выделяются из основной массы, что приводит к ухудшению индекса Джини. А в слабых журналах наоборот, все может быть распределено равномернее, но на более низком научном уровне.

Индексы Херфиндаля по цитирующим журналам и организациям авторов. Роль этих показателей заключается в пессимизации журналов с высокой долей самоцитирования или договорного цитирования, а также локальных журналов. В то же время, влияние этих показателей может давать разнонаправленные эффекты. Например, повышенный уровень самоцитирования является вполне естественным для крупных специализированных журналов, где сконцентрирована значительная часть статей по данной тематике. Часто бывает, что при этом еще и авторы, в основном, из одной крупной организации. В результате индексы Херфиндаля у такого журнала плохие, хотя уровень публикаций достаточно высокий. И наоборот, мусорные журналы, публикующие все подряд по разным тематикам, цитирования получают из совершенно разных журналов по всем научным специальностям. И авторы у них публикуются со всей страны. Поэтому с индексами Херфиндаля у них все в порядке.

Также интересно, что использование импакт-фактора и индекса Хирша без учета самоцитирования журнала также не приводит к улучшению рейтинга. В то же время следует отметить, что даже среди журналов, входящих в ядро РИНЦ, есть такие, где уровень самоцитирования вызывает сомнения в естественности его происхождения.

5. Какие журналы участвуют в рейтинге

Интегральный показатель журнала в системе Science Index рассчитывается для журналов, удовлетворяющих следующим условиям:

- журнал входит в РИНЦ;

- тип журнала - научный (не учитываются реферативные, научно-популярные, информационные и т.д. издания);

- издательство или учредитель журнала - российские организации или физические лица, или журнал публикует статьи на русском языке;

- журнал имеет лицензионное соглашение на размещение информации в РИНЦ;

- в РИНЦ загружен полный набор выпусков журнала за расчетный год, а также за 5 лет, предыдущих расчетному году;

- журнал начал издаваться не позднее, чем за 2 года до расчетного года (то есть на момент расчета рейтинга должен выходить не менее трех лет);

- журнал продолжал издаваться в расчетном году;

- журнал имеет не менее 10 статей за расчетный год.

Если журнал имеет переводную версию на английском языке, то при расчете показателей учитывается цитирование обеих версий.

6. Результаты

В результате проведенного исследования были подобраны показатели и определены весовые коэффициенты, дающие максимальное приближение библиометрической оценки журналов к экспертной. Итоговая формула для расчета комплексного показателя нового рейтинга Science Index выглядит так:

SI = 8*IF5 + 7*H10 + 4*HA3 + 4*LN3

IF5 - нормированный импакт-фактор журнала по ядру РИНЦ за 5 лет;

H10 - нормированный индекс Хирша по ядру РИНЦ статей в журнале за 10 лет;

HA3 - средний нормированный индекс Хирша по ядру РИНЦ авторов статей в журнале за 3 года;

LN3 - средняя длина текста статей за 3 года.

Все используемые в формуле показатели нормализуются путем деления на максимальное значение в выборке. Значения индикаторов, по которым производилась оптимизация формулы рейтинга, приведены в таблице. Для сравнения указаны также результаты для предыдущей версии рейтинга Science Index.

В таблице: Core200, Core500, Core1000 и Core1500 - количество журналов из ядра РИНЦ, попадающих в первые 200, 500, 1000 и 1500 позиций рейтинга, соответственно, а SocCorr1000 - коэффициент корреляции Спирмена для первой 1000 журналов по рейтингу общественной экспертизы.

Значения комплексного показателя нового рейтинга Science Index рассчитаны для всех журналов за все годы и добавлены на страницу анализа публикационной активности журнала. Кроме значения самого показателя и соответствующего места в рейтинге, там указан процентиль журнала, рассчитанный на основе нового рейтинга.

Также обновлена страница "Сравнение показателей журналов". Ее удобно использовать для определения места журнала среди журналов определенной тематики или в определенной референтной группе (Web of Science, Scopus, RSCI, ядро РИНЦ, перечень ВАК). В качестве референтных групп могут также выступать персональные подборки журналов, которые может сформировать для себя любой пользователь eLIBRARY.RU.

При ранжировании по показателю Science Index журналов, относящихся к определенной тематике, добавлена возможность сравнения не только журналов целиком, но и только в части статей, относящихся к данной тематике. Для этого на странице "Сравнение показателей журналов" нужно установить опцию "Учитывать только публикации по данной тематике". При этом в списке будут показаны все журналы (в том числе мультидисциплинарные), имеющие не менее 15% статей по заданной тематике. Если же снять галочку, то формирование списка журналов происходит на основании тематик, указанных в анкете журнала при его регистрации.

РЕКОМЕНДАЦИИ ДЛЯ РЕДАКЦИЙ

Исходя из используемых в новом рейтинге показателей, можно рекомендовать редакциям журналов обратить внимание на следующие моменты:

1. Нужно контролировать содержание и состав списка цитируемой литературы в статьях. Необоснованное увеличение списка цитируемой литературы за счет включения ссылок, которые не являются необходимыми в контексте содержания данного исследования, приводит к уменьшению веса каждой отдельной ссылки.

2. Нужно стремиться привлекать авторитетных ученых. Даже небольшое количество высокоцитируемых публикаций дает улучшение показателя индекса Хирша статей. Сказывается это также и на среднем индексе Хирша авторов.

3. Все выпуски журнала должны быть загружены. Лакуны приводят к тому, что ссылки на эти отсутствующие в РИНЦ публикации не будут засчитаны журналу.

4. Все ссылки на статьи в журнале должны быть идентифицированы. Здесь требуется контроль списков цитируемой литературы на предмет соблюдения форматов библиографического описания. Рекомендуем также включать в ссылки коды DOI и EDN. Это значительно упрощает идентификацию ссылок. Наконец, любые проблемы с идентификацией ссылок, в том числе из других изданий, могут быть решены при использовании системы Science Space.

5. Все полные тексты статей или полнотекстовые индексы должны быть загружены. Пропуски или отсутствие этих текстов приводит к занижению соответствующего показателя.

6. Для переводных журналов переводные версии статей должны быть связаны с оригинальными. В этом случае для статьи засчитываются цитирования обеих ее версий. Такая связь в большинстве случаев в РИНЦ устанавливается автоматически. Если это не произошло, опять же поможет Science Space.

7. Нужно контролировать правильность указания типа статьи в журнале, а также наличие и точность указания тематической рубрики в каждой статье. В рейтинге учитываются только публикации типа научная статья, обзор и краткое сообщение.

Согласно Регламенту RSCI, заявку на включение журнала в RSCI могут подавать журналы, попадающие в первые 1500 позиций согласно рейтингу Science Index. В ближайшее время будет объявлено об открытии приема инициативных заявок на включение журнала в RSCI.

Также планируется проведение нового раунда общественной экспертизы российских научных журналов. После ее окончания результаты будут обработаны, проанализированы и опубликованы. В случае обнаружения серьезных изменений в ландшафте научных изданий возможно внесение некоторых корректировок в весовые коэффициенты формулы расчета рейтинга. Также планируется исследование влияния учета научного уровня цитирующих публикаций при расчете показателей, основанных на цитировании, на качество рейтинга.

Разработанная методика ранжирования журналов также может быть использована для корректной оценки и сравнения научной результативности организаций, подразделений, исследовательских групп и отдельных авторов.

Ваши вопросы и предложения по совершенствованию методики расчета рейтинга российских научных журналов Вы можете прислать по адресу: info@scienceindex.ru

Источник: Научная электронная библиотека eLibrary.ru

13.03.2023