Альтметрия

Запуск web 2.0 изменил подход к поиску публикации внутри академического сообщества или за его пределами, но также дало новые способы измерения научного воздействия работы в «широком» смысле. Традиционные метрики остаются значимыми, но их может быть недостаточно для измерения новых работ, особенно за пределами экспертной оценки[1].

Такие проекты, как ImpactStory[13][14] и различные компании, включая Altmetric[13][15] и Plum Analytics[13][16][17][18], рассчитывают альтметрию. Несколько издателей начали предоставлять такую информацию читателям, в том числе BioMed Central, Public Library of Science (PLOS)[19][20], Frontiers[21], Nature Publishing Group[22], и Elsevier[23][24].

В 2008 году журнал Medical Internet Research начал систематически собирать твиты о своих статьях[25]. Начиная с марта 2009 года Публичная научная библиотека также ввела метрики на уровне статей для всех статей[19][20][26]. Спонсоры начали проявлять интерес к альтернативным метрикам[27], включая Совет по медицинским исследованиям Великобритании[28]. Альтметрики были использованы в приложениях для обзора продвижения исследователями.[29] Кроме того, несколько университетов, включая Университет Питтсбурга, экспериментируют с альтметрией на уровне институтов[29].

Тем не менее, сложность попадания статьи в верхние квантили явно не достаточна[30], что объясняется недостатком источников альтметрии, чтобы дать сбалансированную картину воздействия для большинства работ.

Важное значение при определении относительного влияния работы, это сервис, который рассчитывает статистику альтметрии, и он нуждается в значительной базе знаний. В следующей таблице показано количество работ, покрываемых их услугами (по состоянию на 2016 год):

Альтметрики — это очень широкая группа метрик, фиксирующих различные части воздействия, которое может оказать бумага или произведение. Классификация альтметрик была предложена ImpactStory в сентябре 2012 года[34] и публичная библиотека наук использует очень похожую классификацию:[35]

• Просмотры — просмотр HTML и загрузка PDF;
• Обсуждения — комментарии в рамках журналов, научных блогов, Википедии, Twitter, Facebook и других социальных сетей;
• Сохранения — Mendeley, CiteULike и другие социальные закладки;
• Цитирование — цитаты в научной литературе, отслеживаемые Web of Science, Scopus, Crossref и другими;
• Рекомендации — например, используется F1000Prime[36].

Существует определённая дискуссия относительно достоверности и согласованности альтметрики[43], также активно обсуждается интерпретация альтметрики.

Сторонники альтметрии считают, что многие из метрик изначально показывают внимание или вовлеченность, а не влияние на работы на науку.[35] Даже метрики, основанные на цитировании, не указывают, означает ли высокий балл положительное влияние на науку. То есть документы также цитируются в статьях, которые не согласуются с цитируемым документом, — проблема, например, решаемая проектом онтологии цитирования[44].

Альтметрию можно было бы более правильно интерпретировать, предоставляя подробный контекст и качественные данные. Например, чтобы оценить научный вклад научной работы в формирование политики с помощью альтметрики, в качестве доказательства должны быть предоставлены качественные данные, например, кто цитирует[45] и в какой степени онлайн-цитирование имеет отношение к выработке политики[46].

Что касается относительно низкой корреляции между традиционными метриками и альтметриками, альтметрика скорее может измерять совокупное/комплексное влияние ученого. Альтметрика предоставляет удобные инструменты для оценки исследователей и учреждений, чтобы отслеживать влияние их работ и избегать неправильных интерпретаций[4].

Полезность метрик для оценки научного вклада является спорной[47][48]. Исследования показали, что онлайн-шум может усилить влияние других форм охвата на научное влияние исследователей. Для ученых, которые упоминаются в Твиттере, их общаются с журналистами и не-учеными, это приводит к завышенным оценкам h-индекс, тогда как не группа ученых, которая занималась непосредственно и исключительно исследованиями по этой же оценке провалилась[39]. Альтметрика расширяет измерение влияния ученых для сдерживания быстрого освоения, более широкого круга аудитории и разнообразных результатов исследований. Кроме того, сообщество демонстрирует явную потребность: спонсоры требуют измеримых результатов от воздействия своих расходов, таких как участие общественности.

Тем не менее, существуют ограничения, которые влияют на полезность из-за технических проблем и систематического смещения конструкции, таких как качество данных, неоднородность и конкретные зависимости.[47] С точки зрения технических проблем, данные могут быть неполными, потому что сложно собрать результаты онлайн-исследований без прямых ссылок на их упоминания (например, видео) и идентифицировать различные версии одной исследовательской работы.

Что касается систематического смещения, как и других метрик, то альтметрики склонны к самоцитированию, играм и другим механизмам для усиления видимого воздействия. Альтметрики могут быть игровыми, например, лайки и упоминания можно купить[49]. Альтметрию может быть сложнее стандартизировать, чем цитаты. Одним из примеров является количество твитов, связанных с бумагой, где число может широко варьироваться в зависимости от того, как собраны твиты[50]. Кроме того, популярность в Интернете может не совпадать с научными ценностями. Некоторые популярные онлайн-цитаты могут быть далеки от ценности создания дальнейших научных открытий, в то время как некоторые теоретические или ориентированные на интересы меньшинств исследования, имеющие большое научное значение, могут быть изолированы в Интернете[25]. Например, лучшие статьи в биомедицине, опубликованные в твиттере в 2011 году, были связаны с любопытным или забавным контентом, потенциальными приложениями для здоровья и катастрофой[4].

Альтметрика для более статей, вышедших позже, может быть выше из-за роста социальной сети, поскольку статьи упоминаются в большинстве случаев тогда, когда они публикуются[51]. В результате, возможно, будет несправедливо сравнивать оценки альтметрики статей, если они не были опубликованы в одно и то же время. Исследователи разработали тест, чтобы избежать предвзятого отношения к использованию, сравнивая метрики статьи с двумя статьями, опубликованными непосредственно до и после неё[51].

Следует иметь в виду, что метрики являются лишь одним из результатов отслеживания того, как исследования распространяются и используются. Альтметрию следует тщательно интерпретировать, чтобы преодолеть предвзятость. Ещё более информативно, чем знать, как часто цитируется статья, какие статьи цитируют её. Эта информация позволяет исследователям увидеть, как их работа влияет на область (или нет). Поставщики метрик также обычно предоставляют доступ к информации, из которой были рассчитаны метрики. Например, Web of Science показывает, какие статьи цитируют, ImpactStory показывает, какие страницы Википедии ссылаются на статью, а CitedIn показывает, какие базы данных извлекли данные из статьи[52].

Другая проблема, связанная с альтметрикой или любыми метриками, заключается в том, как университеты или учреждения используют метрики для ранжирования своих сотрудников при принятии решений о повышении или финансировании[53] и цель должна быть ограничена измерением вовлеченности[54].

В целом результаты онлайн-исследований очень незначительны и варьируются между различными дисциплинами[25][4]. Это явление может соответствовать использованию социальных сетей среди ученых. Опросы показали, что почти половина их респондентов придерживались неоднозначного отношения к влиянию социальных сетей на академическое влияние и никогда не заявляли о своей исследовательской работе в социальных сетях[55]. Со временем вероятно, будут приняты последовательные подходы к альтметрии по всем дисциплинам и учреждениям.

Конкретные варианты использования и характеристики — это активная область исследований в области библиометрии, предоставляющая столь необходимые данные для измерения воздействия самой альтметрии. Публичная научная библиотека имеет коллекцию альтметрики[56] и как Information Standards Quarterly и Aslib Journal of Information Management недавно опубликовали специальные выпуски по альтметрии[57][58]. Серия статей, в которых подробно рассматриваются альтметрики, была опубликована в конце 2015 года[59][60][61].

Существуют другие исследования, в которых рассматривается обоснованность одной альтметрии[4][25] и проводится сравнение на разных платформах[51]. Исследователи изучают корреляцию между альтметрикой и традиционными цитатами как критерий достоверности. Они предполагают, что положительная и значимая корреляция показывает точность альтметрии для измерения научного воздействия в виде цитат[51]. Низкая корреляция (менее 0,30[4]) приводит к выводу, что альтметрия играет дополнительную роль в измерении воздействия на ученых. Тем не менее, остается неясным, какие альтметрики являются наиболее ценными и какая степень корреляции между двумя метриками оказывает более сильное влияние на измерение. Кроме того, сам тест достоверности также сталкивается с некоторыми техническими проблемами. Например, репликация сбора данных невозможна из-за мгновенно меняющихся алгоритмов поставщиков данных.[62]

• Academic journal
• ORCID
• Сан-Францисская Декларация об оценке исследований
• Webometrics

• Альтметрический Манифест
• Белая книга проекта стандартов альтметрии NISO
• Специальный выпуск Research Trends: выпуск 37 — июнь 2014