Acerca de Publicaciónes en Ciencias de la Computación

Envié variantes del texto adjunto en numerosas ocasiones cuando me tocó compartir comisiones de evaluación con colegas de otras disciplinas. El impacto generalmente ha sido primero de rechazo ("Cómo es posible que una disciplina tenga usos y costumbres distintas de las mía!?"), sin embargo quienes estuvieron predispuestos a escuchar (y leer las fuentes) al menos terminaron con una percepción distinta sobre como se publica en Ciencias de la Computación y como esto impacta la forma en que se evalúan los antecedentes científicos de personas y grupos en diversos organismos.



En Ciencias de la Computación las conferencias, congresos y simposios son altamente competitivas y tienen porcentajes de aceptación bajos. Estos suelen rondar, para las conferencias más prestigiosas en un 10-15%. Esto hace a este tipo de reuniones científicas tan competitivas como (y con factores de impacto comparables con) las revistas mas importantes del área. Por ejemplo CiteSeer [1] (Scientific Literature Digital Library. Sponsored by NSF, Nasa, MSR and others. Hosted by U. of Kansas, MIT, U. of Zurich and U. of Singapore) muestra a su ranking de impacto de revistas y conferencias a las dos revistas mas importantes del área de Ingeniería de Software en posiciones 32 y 136. Pero muestra algunas de las conferencias importantes del área en posiciones 28, 42, 43, 48, 128, ...


Una argumento explicando la importancia de relativa de conferencias en el área de Computación puede encontrarse en [2]. Este es un reporte realizado para la Computer Research Association (CRA) de EEUU. Notar que dos de los autores de este pequeño artículo aparecen en el ranking de autores mas citados (de todos los tiempos) [1] en posiciones 2 y 34! La CRA luego ha generado para el National Research Council de EEUU un listado de las conferencias [7] que deben ser tenidas en cuenta como equivalentes a revistas de prestigio para la evaluación de personas y programas.


En numerosas agencias nacionales de evaluación científica la importancia de las conferencias en Computación se reconoce y rankings para evaluarlas han sido confeccionados. El GRIN [3] es el "Gruppo di Informática" con sede en la 'Università degli Studi di Pisa' es una asociación cuyo objetivo es organizar, coordinar y promover a nivel nacional (italiano) e internacional las actividades de investigación y docencia en Informática que competen institucionalmente a docentes y científicos universitarios. El GRIN ha confeccionado un ranking de conferencias que se utliza en Italia para la evaluación de antecedentes científicos. Las conferencias se organizan en 4 categorías, tres de ellas son consideradas relevantes para los antecedentes científicos.


CORE, es el "Computing Research and Education Association of Australasia", una asociación de departamentos de ciencias de la computación de universidades en Australia y Nueva Zelanda. CORE participa activamente en la confección de rankings de conferencias. El ranking es utilizado por el Australian Research Council para evaluar antecedentes y consideran que conferencias clasificadas "A" son equivalentes a las revistas clasificadas A o A*. [8]


La asociación brasileña CAPES (Fundação Coordenação de Aperfeiçoamento de Pessoal de Nível Superior) que tiene injerencia sobre la evaluación de antecedentes en temas científicos en Brasil también considera las publicaciones en conferencias importantes en la evaluación de antecedentes científicos en el área de Computación [4]. En sus criterios de evaluación (p.12) le asignan el mismo peso a publicaciones en conferencias que revistas y no proponen un tope a este tipo de publicaciones. CAPES también utiliza una clasificación en 4 niveles para las conferencias [4] basado en ISI y CiteSeer.


El destacado B. Meyer (Prof. ETH Zurich) en [6] se explaya al respecto de las particularidades de la evaluación de investigación en ciencias de la computación. También critica el uso de ISI como medio de evaluación. La siguiente es una nota de color que no deja de ser significativa:


"An issue of concern to computer scientists is the tendency to use publication databases that do not adequately cover CS, such as Thomson Scientific's ISI Web of Science. The principal problem is what ISI counts. Many CS conferences and most books are not listed; conversely, some publications are included indiscriminately. The results make computer scientists cringe, Niklaus Wirth, Turing Award [El equivalente del Nobel en CS] winner, appears for minor papers from indexed publications, not his seminal 1970 Pascal report. Knuth's milestone book series, with an astounding 15,000 citations in Google Scholar, does not figure. Neither do Knuth's three articles most frequently cited according to Google. "


Un punto clave, respaldado por datos duros, que muestra la falencia de ISI como vara para la evaluación en CS es el siguiente (sigue Meyer [6]) "Evidence of ISI's shortcomings for CS is "internal coverage": the percentage of citations of a publication in the same database. ISI's internal coverage, over 80% for physics or chemistry, is only 38% for CS. ..... Its 50 most cited CS references include "Chemometrics in food science", from a "Chemometrics and Intelligent Laboratory Systems" journal. Many CS entries are not recognizable as milestone contributions. The cruelest comparison is with CiteSeer, whose Most Cited list includes many publications familiar to all computer scientists; it has not a single entry in common with the ISI list. ISI's "highly cited researchers" list includes many prestigious computer scientists but leaves out such iconic names as Wirth, Parnas, Knuth and all the ten 2000-2006 Turing Award winners but one.


Meyer concluye: In assessing publications and citations, ISI Web of Science is inadequate for most of CS and must not be used. Alternatives include Google Scholar, CiteSeer, and (potentially) ACM's Digital Library


Un punto que vale la pena remarcar es el rol de la serie de Springer denominada Lecture Notes in Computer Science (LNCS). Esta serie que fue indexada por ISI classified hasta el 2006 y luego desde el 2010 (este hueco, para el que no existe justificación académica produce todo tipo de descalabros al contar porotos LNCS!) provee un medio fácil y rápido para anales de conferencias y reportes. Es por ello que muchas conferencias pequeñas y reuniones científicas ad-hoc lo utilizan como medio de publicar sus resultados, no así muchas de las conferencias mas tradicionales y reputables que tienen su propio mecanismo de publicación (y en particular las de ACM y IEEE, las dos organizaciones profesionales mas importantes vinculadas a la computación, ya que tienen sus propias editoriales). Poner todas las LNCS juntas es un absurdo porque mezcla todo tipo de reuniones científicas y porque no incluye muchas de las conferencias mas importantes. Citando nuevamente a Meyer: "The International Conference on Software Engineering (ICSE), the top conference in a field that has its own ISI category, is not indexed ...An LNCS-published workshop at ICSE, where authors would typically try out ideas not yet ready for ICSE submission, was indexed."


Resumiendo, el área de Computación tiene un modo de evaluar, publicar y diseminar resultados científicos significativamente distinto al de otras disciplinas científicas. Muchas organizaciones reconocen esto y han adaptado sus métodos para poder hacer evaluaciones más certeras. Creo que en Argentina, tanto el CONICET, la AGENCIA y las UUNN deberían incorporar y hacer explícito un criterio que contemple las especificidades del área.


Sebastian Uchitel, Mayo 2012.


Referencias

[1] [pdf] Scientific Literature Digital Library. http://citeseer.ist.psu.edu/. Impact ranking: http://citeseer.ist.psu.edu/stats/venues. Autores mas citados: http://citeseer.ist.psu.edu/stats/authors


[2] [pdf] Evaluating Computer Scientists and Engineers For Promotion and Tenure, David Patterson, Lawrence Snyder, Jeffrey Ullman, September 1999, Computer Research Association. http://cra.org/resources/bp-view/evaluating_computer_scientists_and_engineers_for_promotion_and_tenure/


[3] [pdf] Gruppo di Informática, Università degli Studi di Pisa. http://www.di.unipi.it/grin/. Clasificación de conferencias: http://www.grin-informatica.it/opencms/opencms/grin/ricerca/valutazione/classificazione_grin.html


[4] [pdf] Fundação Coordenação de Aperfeiçoamento de Pessoal de Nível Superior, Critérios de Implantação QUALIS, Área de Avaliação: CIÊNCIA DA COMPUTAÇÃO Agosto / 2005


[6] [pdf] Research Evaluation for Computer Science, Meyer et al, APRIL 2009 | VOL. 52 | NO. 4 | COMMUNICATIONS OF THE ACM


[7] [pdf] Conference List for NRC Rankings, Computer Research Association. http://www.cra.org/resources/conferencelist/.


[8] [pdf] Australian Research Council, http://www.arc.gov.au/era/era_2010/archive/era_journal_list.htm.


Última actualización: 31-Mayo-2012 .