Um golpe de impacto no fator de impacto

Recentemente, Larivière e colegas publicaram um artigo no repositório bioRxiv de preprints (artigos não submetidos a uma revista indexada) no qual apresentam uma nova métrica, curvas de distribuição de citações, para avaliar a qualidade dos periódicos científicos. É mais um contraponto ao polêmico fator de impacto (IF, em inglês), métrica tradicional de avaliação das revistas científicas amplamente utilizada nos dias de hoje. Mas, afinal, qual é o problema com o IF?

O IF é calculado utilizando a média do total de citações de uma revista científica nos últimos dois anos. Este índice hoje é utilizado de diversas formas, mas foi criado inicialmente para se avaliar a importância relativa de um periódico científico para fins bibliográficos (como tomada de decisões em uma biblioteca sobre quais periódicos adquirir quando se trabalha com recursos limitados).

O problema é que, por ser uma medida relativamente simples e com um resultado objetivo (um número) este índice vem sendo utilizado de diversas outras maneiras além da qual foi criado inicialmente. Hoje, o fator de impacto é muitas vezes utilizado para avaliar a produção científica de pesquisadores individuais. E essa avaliação é realizada em todo o mundo para a tomada de decisões objetivas e importantes, como contratação de novos pesquisadores, promoção dos já contratados, concessão de bolsas de pesquisa, entre outras.

Fica claro pela forma como é calculado o fator de impacto que ele avalia o desempenho dos periódicos, não de artigos individuais. Ao utilizar uma média do número total de citações, um grande número de artigos cai fora deste valor, geralmente abaixo dele. Por exemplo, nos periódicos científicos hoje com as maiores médias de citações, Nature e Science, cujo fator de impacto de 2015 é de 38,1 e 34,7, respectivamente, a grande maioria dos artigos publicados não atinge esta média. Na Nature, 74,8% dos artigos recebe menos citações do que seu fator de impacto sugere; na Science este número chega a 75,5%.

screenshot-from-2016-11-02-143644
Distribuição de citações por revista (parte 1). Número de citações (eixo x) pelo número de artigos (eixo y)

No Brasil, a Capes, fundação do Ministério da Educação que coordena os cursos de pós-graduação do país, desenvolveu outro índice para avaliar a produção científica dos pesquisadores brasileiros. O chamado Qualis leva em consideração outros critérios além do número de citações, que, segundo a definição da própria Capes, “procuram refletir a importância relativa dos diferentes periódicos para uma determinada área”. Portanto, por serem definidos por comitês compostos de consultores de cada uma das áreas pré-definidas, um mesmo periódico pode ter critérios Qualis diferentes dependendo da área avaliada.

Com esta medida de avaliação, a Capes faz o mesmo que outras agências internacionais e nacionais: avalia a produção de seus pesquisadores para tomada de decisões. Essas decisões, da mesma forma, podem ser destinação de verba a programas de pós-graduação ou concessão de bolsas de pesquisa e produtividade, que influenciam tanto na capacidade de realizar sua pesquisa (pela concessão de verba para estas) quanto na probabilidade de um pesquisador ser contratado ou promovido em seu departamento, universidade ou instituto de pesquisa.

À primeira vista o critério criado pela Capes parece ser melhor que o fator de impacto, porém, sofre do mesmo problema que seu primo distante: avaliar os periódicos e não os artigos ou produção individual. Na verdade, este é só um dos muitos problemas com o fator de impacto e índices similares. O artigo de Larivière e colegas traz uma lista nomeando vários outros, que vão desde o cálculo inapropriado (já que é uma simples média aritmética), até desconsiderar as particularidades de cada área do conhecimento, entre outros.

Diversos estudos, artigos, encontros e fóruns levantaram estas questões e propuseram novas métricas, seja para os artigos individualmente ou para as revistas. Por exemplo, a iniciativa Altmetric mede o impacto de cada artigo nas mídias sociais e parece ter sido bem aceita na comunidade científica, sendo inclusive incorporada no site de muitas revistas. Outro destaque foi o encontro de 2012 que resultou na San Francisco Declaration on Research Assessment (DORA), que reconheceu a urgência e importância de se melhorar a maneira como a ciência (ou seus produtos mais conhecidos, os artigos) é avaliada.

screenshot-from-2016-11-02-143808
Distribuição de citações por revista (parte 2).

Tudo bem, mas o que esse novo artigo tem de especial? Parte da novidade aqui é a métrica proposta, que apresenta uma visão “mais justa” do impacto dos artigos de uma revista científica. Os autores mostram que existe grande sobreposição da quantidade de citações da maior parte dos artigos de vários periódicos científicos. Ou seja, publicar em uma revista de alto impacto não é garantia de um número grande de citações.

Outro ponto importante deste artigo está no que ele representa para a comunidade científica. Larivière, o primeiro autor, é professor de Ciências da Informação na França, nada de “anormal”. Seus coautores, porém, chamam bastante atenção. A lista conta com mais oito autores, incluindo membros do corpo editorial das principais companhias de publicação científica, como a PloS (Public Library of Science), Science, eLife, European Molecular Biology Organisation (EMBO), Nature, e Royal Society de Londres. É um belo time! Mostra que até mesmo as grandes revistas (não só as Open Access) estão dispostas a mudar o sistema de avaliação. Além disso, diversos blogs sobre ciência comentaram a respeito da inciativa. E comentários sobre o artigo foram também publicados em diversas revistas, inclusive na Nature.

Apesar de ser uma nova métrica, as curvas de distribuição apenas ajudam a avaliar os periódicos de maneira mais justa e eficicaz. Porém, assim como o fator de impacto e o Qualis, estas medidas ainda não servem e não deveriam ser utilizadas como avaliações de produção individual. Ou seja, os cientistas, os indivíduos, deveriam ser avaliados de maneira distinta. Como novas ideias, temos a contagem individual de citações (como o fator h, por exemplo), outras métricas como a Proporção Relativa de Citações (disponível no bioRxiv), quantidade de artigos como primeiro autor (ou autor correspondente), e até análises mais críticas dos currículos, ponderando atividades científicas que estão além de publicações científicas, como atividades educacionais e de extensão à comunidade.

Contudo, essas críticas ainda não mudam o panorama que se apresenta atualmente na avaliação dos periódicos científicos. Nos últimos anos o poderoso fator de impacto tem sofrido diversos ataques. Este foi mais um. Um ataque forte, de impacto. Seria o começo do fim?

 

Escrito por: Gabriel S. Ferreira e Pedro L. Godoy

Fontes: Larivière V. et al. 2016. A simple proposal for the publication of journal citation distributions. bioRxiv.
Hutchins B. I. et al. 2016. Relative Citation Ratio (RCR): A new metric that uses citation rates to measure influence at the article level. bioRxiv.

Anúncios

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s