Por Marcelo Campo
Director del Instituto Superior de Ingeniería de Software Tandil (CONICET-UNICEN). Investigador principal de CONICET y profesor titular de la Facultad de Ciencias Exactas, UNICEN, Argentina.
El Dr. Pablo Jacovkis, prestigioso investigador, ha publicado el 5 de Marzo en el espacio de foros de CTS un interesantísimo artículo respecto del sistema de publicaciones científicas y su reconocimiento. En este artículo deseo agregar una opinión más al debate respecto de publicaciones “normales” y el sistema open access, desde el punto de vista de mi experiencia como miembro conspicuo de lo que denomino, eufemísticamente, la «patria evaluadora».
El Dr. Jacovkis realiza una descripción muy acertada de las realidades del sistema científico, la necesidad de publicar resultados importantes y demás. En una reunión que organicé en Febrero, Skunk Talks 2014, a la cual asistió la mayoría de los investigadores de peso en el área de TIC, planteó una cuestión interesante respecto de otro debate que existe en la comunidad informática respecto de revistas versus conferencias. Si hay una encrucijada y un autor tiene un artículo aceptado en una conferencia y en una revista top, ¿dónde decide publicarlo? La respuesta de importantes investigadores del área fue: «Depende de los tiempos». Pero lentamente se inclinaron a responder que si la revista fuera «X», la decisión sería la revista. Obviamente, la revista depende del área de experticia, pero ninguna de ellas es open access. ¿Por qué? En mi opinión, son dos razones que se resumen en una: “prestigio”. Prestigio ganado con marketing y aceptación de la comunidad como tal.
La experiencia open
Teniendo la mente abierta y curiosidad acepté ser editor de una publicación open access. Me envían un artículo para evaluar y lo asigno a dos evaluadores del mayor nivel en el tema. Las evaluaciones coincidían en la poca calidad del texto. Resultado, a pesar de mi informe negativo el artículo apareció publicado.
Es decir, creo que estamos hablando de dos modelos de negocio, pay per view versus pay per publish. En ambos casos considero que son leoninos, basados en diferente dialéctica. De hecho, las grandes editoriales adoptaron los dos modelos, con la excusa de la necesidad de que aparezcan rápidamente debido a las presiones de publicar que sufrimos los investigadores, los cuales somos evaluados en forma ya cuasi-persecutoria en diferentes estamentos, por la misma actividad.
John Bohannon publicó una impactante descripción de un experimento similar en Science (4 de Octubre 2013, Vol. 342 – disponible en: www.sciencemag.org), en el cual demuestra las falencias del sistema, aunque reconoce que el sistema puede der valioso.
El quinto elemento
Digo cuasi-persecutoria, pues cada dos años debo formatear un informe de mis actividades bi-anuales o anuales y desperdiciar tiempo llenando planillas diferentes para el CONICET, la Agencia, la Universidad, la CONEAU, el Ministerio y algo más. Este mismo informe, convertido en varios en diferente formato, es evaluado por comisiones diferentes y las respuestas son obviamente diferentes.
Con esto no quiero decir que no debe haber evaluaciones. Por el contrario: son necesarias y parte fundamental del sistema científico. El problema es el quinto elemento: la calidad de las evaluaciones.
Resulta bastante apropiado decir que cuando a un evaluador se le requiere una evaluación de una revista de factor de impacto muy elevado, se esmera mucho más por una cuestión de imagen con el editor. Así, las evaluaciones en ese tipo de revistas normalmente son de mejor calidad y contribuyen a generar un artículo más sólido y fundamentado. Las evaluaciones de este tipo son usualmente concisas y contundentes, más aún, constructivas cuando el trabajo es serio y contribuye de forma novedosa.
En el área de TIC, las evaluaciones extensas, típicas de conferencias, normalmente son realizadas por doctorandos o recién doctores quienes desean -usualmente- mostrar su erudición y generalmente aportan solo críticas, no sugerencias. En algunos casos resultan ofensivas. En mi experiencia, esto no sólo ocurre en conferencias, sino que las he visto en mis múltiples participaciones como miembro de comisión de TIC de CONICET y coordinador del área de TIC de la Agencia. En este contexto los miembros de comisión se ven obligados, a veces, a buscar alternativas de calidad, pidiendo por favor a otros investigadores líderes que realicen la evaluación, y los resultados son notoriamente diferentes. Este fenómeno también se nota en revistas de escaso impacto, a pesar de ser indexadas. De este modo, algunos alientan la publicación en open access, con el argumento de democratizar la difusión del conocimiento de forma supuestamente gratuita. Desde ya, no puedo generalizar esto a otras áreas de la ciencia.
La real democratización
La realidad es que las redes sociales, como por ejemplo Research Gate, están cambiando todo esto. Recibo, en promedio, una decena de pedidos de manuscritos de mis publicaciones y nada impide, sin violar la cesión de derechos, enviar a los investigadores interesados información relativa a mi investigación. Como bien dice Pablo, investigadores formados naturalmente encontrarán errores, si los hay, pues un investigador serio raramente publica resultados no comprobados adecuadamente.
Ya tenemos Tierra (los papers), Agua (la evaluación), Aire (la difusión) y Fuego (las reacciones de todo tipo). El Quinto Elemento es el que “abre el acceso” a la calidad final. No importa dónde se publique, Internet ya ha cambiado la forma de transferencia y los investigadores, como tales, somos muy hábiles para conseguir conocimiento si los medios están a nuestro alcance. Y lo interesante de todo esto es que los medios están, tanto para publicar como para evaluar…
El desafío consiste en cómo medir el impacto de estos trabajos, y por lo pronto el mecanismo, discutible por cierto, son las revistas con una clara trayectoria de seriedad aceptada por toda la comunidad. El ideal es que ese mecanismo sea gratuito. Como todo ideal, parece utópico.
Cinco intrigas respecto del quinto elemento
Existen muchos enfoques y propuestas, pero me surgen al menos cinco interrogantes respecto de las muchas cosas que he leído y escuchado, que resumo en las siguientes preguntas:
¿Este ideal será posible?
¿Podrán los open access alcanzar alguna vez la confianza de que cumplen con el quinto elemento?
Los repositorios nacionales de producción científica serían un camino, pero… ¿podrán garantizar políticamente el quinto elemento?
¿Las conferencias, versus las revistas, garantizan el quinto elemento?
¿Cómo es medible el quinto elemento sin una interpretación subjetiva?
Publicado el 7 de abril de 2014
El sistema de publicaciones actual es demencial: se publica a destajo sin demasiados criterios más que el de aumentar el CV, los cobros por licencias de acceso (en revistas de pago, casi todas) o por publicar (tipo PLOS, con taxas altísimas) son abusivos, el peer review o dirección de revistas se hace por amor al arte, el manta del índice de impacto es un engañabobos con contadas excepciones…por otro lado, el modelo es totalmente de ciencias como la física o la biología, lo cual no es una pauta las ciencias humanas…finalmente es un mundo anglosajón donde la propia vehicularidad idiomática condiciona el acceso pleno en igualdad de oportunidades tanto para lectores como para autores no nativos…pero bueno, a pesar de todo lo dicho, dirijo una revista (IJSE, sobre emociones sintéticas), estoy en diversos Editorial Board Committees o hago de reviewer y publico tanto como puedo (a un libro por año en los últimos 6, además de capítulos y artículos). Con todo, me reafirmo en lo dicho inicialmente: el sistema editorial está podrido y esta locura informacional no nos llevará a ninguna parte.
Yo creo que al argumento de que la revisión en las revistas de alto impacto es más rigurosa se le opone la evidencia de que justo en esas revistas hay una mayor proporción de artículos retractados.
Dr. Vallverdú
Mucho gusto. Un solo un comentario a sus apreciaciones. En el CONICET (Argentina) la publicación de libros típica de las ciencias sociales es reconocida como una publicación de altísimo impacto como en las biológicas, químicas o físicas. De hecho el coordinador actual de la Junta de Calificación y Evaluación es un historiador. Ciertamente, ignoro las realidades concretas de otros países, con lo cual no puedo generalizar mi opinión. Lo que si comparto es que dentro de los modelos de negocio los editores y revisores lo hacen por amor al arte, pero también en el caso de los más jóvenes, como Ud. bien dice para agregar una línea a su CV y de este mecanismo perverso proviene en mi opinión la baja calidad del quinto elemento.
Estimado Marcelo, te felicito por el comentario y porque dejas preguntas abiertas mas que certezas. Yo soy historiador y creo que es necesario un equilibrio para pensar el tema, particularmente en mi ambito de las ciencias sociales. Hace unos dias vuelvo de estar en algunas universidades del sudeste asiatico, por ejemplo, en Malasia, directamente cada año las facultades tienen un numero que cumplir de articulos en base ISI (no aceptan ni SCOPUS). Y eso es porque la universidad esta planificando en funcion del ranking. Cada investigador tiene su contrato atado a realizar una cantidad minima de articulos bianualmente (2 en revistas ISI). Eso es medio exagerado pero, a la vez, pensando en nuestro pais, con una academia de las ciencias sociales muy numerosa, con una gran inversion publica y donde hay pocas revistas donde publicar. A la vez no se publica mucho en el exterior porque hay una fuerte desconexion con agendas, debates y metodos internacionales en funcion de un nacionalismo metodologico que esconde una confusion entre produccion cientifica y ensayismo. Las revistas tienen miles de problemas y el sistema se vuelve absurdo muchaas veces, pero me parece que peor es ningun criterio.
Una cosa mas, en el CONICET los libros se cuentan segun la editorial o si han tenido referato. Para entrar a carrera no vale nada excepto las publicaciones y de categoria 1.
Muy interesante el debate, sobre todo en un momento donde se está por reglamentar la Ley de Repositorios Digitales en Argentina. Me gustaría saber qué opina usted al respecto. Sin duda, el libre acceso a la información es una tendencia actual, y muy útil para el desarrollo de las investigaciones. Sin embargo, en la tarea de publicar en revistas bien indexadas, en las cuales se ceden los derechos de autor a la revista, no se entraría en una contradicción? Podrían esas revistas rechazar artículos si luego el investigador hará de dominio público el artículo?
lo que esta sucediendo es reconocer las realidades en el mundo y preguntarnos si vale la pena contribuir con lo que esta pasando debido a que llevar un debido registro de la cosas que estan sucediendo y podrlas mejorar
muestra que en las revistas buscan artículos para que los evaluadores puedan hacer una redacción que beneficie a la revista.estoy de acuerdo con el comentario de marcelo campo
Me parece muy interesante el articulo, ya que la información que se adquiere de una revista es un recopilación de varios científicos y es muy útil para el desarrollo siempre y cuando se respeten los derechos de autor
En mi opinión este modelo de revistas evidencian de manera factible el manejo del campo de las ciencias ya que como futuros investigadores nos dará las bases necesarias y aspectos importantes respecto a debates o foros que sean relacionado con la ciencia .
Este articulo me parece algo interesante debido a que gracias a este podremos obtener nuevos conocimientos sobre el debate y las diferentes perspectivas y grandes descubrimientos de algunos autores sobre el tema del cual se esta tratando en la lectura anterior, por otro lado gracias este articulo obtenemos nuevos conocimientos.
Este articulo nos parece muy interesante , puesto que muestra las diferentes opiniones e ideas de la tecnología , ciencia , etc .
Nos da ha conocer la importancia de las revistas científicas , este es un medio que posee libre acceso a la información a cual quier tema relevante de lo que día a día pasa en nuestra comunidad y lo que no se informa en los medios de comunicación .
me parece muy bienn que hagan debates sobre temas de tecnologia ya que los jovenes podemos informarnos sobre temas de tecnologia, y repecto al texto me paerece que se debe mirar como se ven las revistas de tecnologias y los articulos relacionados con este tema .
mucho gusto el articulo estuvo muy bueno , ademas lo que unas personas pueden decir sobre esto pueden ser coherente o incoherentes pero gracias a comentarios como estos un inventor puede llegar a mejorar sus proyectos y esto puede ser mejor para un estilo de vida diferente y mas eficaz
Señor Marcelo Campo, gracias a su articulo hemos comprobado que la información, a través de los años ha perdido mucha relevancia con respecto a las evaluaciones, y el proceso que se debería llevar a cabo en cuanto a la verdad sobre la información, con respecto a lo que usted dice del quinto elemento, tiene un punto a favor, ya que si nos ponemos en el trabajo de observar la forma en que son evaluados dichos artículos, obtendremos en algunos casos información incorrecta, y por lo tanto llegar al punto de confundir al verdadero lector, las personas que realizan los artículos tienen fines diferentes pero el verdadero objetivo es transmitir información contundente hacia el lector.
Muy buen articulo, ya que nos informa el manejo del campo de las ciencias ademas de que habla sobre temas de tecnología conociendo la importancia de la revistas científicas, ya que nos mantienen al tanto de los avances y mas a un publico joven
Estimado Marcelo,
La democratización del agua (la evaluación) ocurre cuando los lectores en potencial encuentran y leen el resumen y, quizás, el paper. Hasta qué punto esta evaluación es sesgada por problemas de muestreo del suelo (la tierra/el paper)? Los cinco pasos recomendados (antecedentes, propósito, método, resultados, discusión o conclusiones) están inclusos en el abstract? La propia traducción al inglés traiciona el significado?
Evaluation of abstracts: a critical review of the abstracts published in the Revista Brasileira de Economia in 2010
By: Robert K. Walker (Freelancer, Brasilia). robert@rkw-brazil.com
The full text of this paper, co-authored by José Roberto Novaes de Almeida, is available at http://www.rkw-brazil.com . Both authors were at the Universidade de Brasilia.
This study examines the practice of abstract writing in Brazilian economics, specifically the 25 informative abstracts published in 2010 in the Revista Brasileira de Economia (RBE) (www.scielo.br/scielo.php?script=sci_seri…-7140&lng=en&nrm=iso) with regard to presence of five moves: (1. background, 2. purpose, 3. method, 4. results, and 5. discussion or conclusions). Occurrences of each were counted, and the quality of the English critiqued. Wherever move 4, results, was absent, move 5, conclusions, was present; but as a strategy of substitution, this seemed inadequate. A move number 4 is suggested for the six abstracts in which one was missing. Clarification of local context, within move 1, often seems needed, especially for international readers. Poor translation is a major problem for several of the abstracts.
Swales and Feak (2009) found that in 8 fields, in both 1980 and 1997, the product/results move was practically universal; the second most common move was purpose/objective. In only about half of the abstracts was the method presented. The last move, conclusions/implications/discussion/significance, was present in only 7% of the abstracts surveyed in 1980, but tripled in frequency in the ensuing 17 years.
Inclusion of numerical results in abstracts seems not to be widespread in economics journals. For example, among 18 articles available (in late February 2011) before print publication in the Journal of Economics, a Springer journal (www.springerlink.com/content/108909), none have abstracts which include any figures.
Of the 26 articles published in the RBE in 2010 (volume 65), 11 were in English and 14 in Portuguese. Each clause (or occasionally phrase) of the English abstract was given an identifying number from 1 to 5, representing the moves enumerated by Swales and Feak (2009). Subsequently, mistakes and areas of possible improvement in the English abstracts were highlighted in red. In addition, slack (excessive wordiness), the elimination of which might make room for key moves not included in the original abstract, was identified.
Three of the 14 abstracts of articles written in Portuguese, and 3 of the 11 with the primary text in English, were counted as having no move 4 (product/results); in each of these, the abstract had 117 or fewer words. Each of these abstracts was, however, counted as having move 5 (conclusions/ implications/ discussion/ significance). It is, therefore, possible that moves 4 and 5 are implicitly regarded by some authors as equivalent or interchangeable, or that misclassification is involved here. Let us examine the situation more closely, looking at final sentences and examining the abstracts of papers written in Portuguese which omitted results.
The final sentence of the 85-word English abstract of one Portuguese language paper reads “Despite the difficulty of measuring institutional quality, the experiment provides results which are consistent with the ones obtained by Acemoglu et al. (2001) on the causality between economic growth and the quality of institutions, illustrating the importance of history in the growth process of a country.” Here we have a conclusion derived from the unspecified findings of another researcher (the full reference to whose work could not, of course, be included in the abstract), as well as those of the three authors themselves. A reader who is unfamiliar with Acelmogu’s work will probably not be able to understand the ambiguous reference to “causality between economic growth and the quality of institutions.” Even the title, “Qualidade institucional: uma ampliação do modelo de Solow,” doesn’t clarify the matter much. Checking the primary text, we discover that it is quality of institutions that is posited to influence economic growth (and not the other way around), and that inclusion of variable I (institutions) in Solow’s equation (which includes human capital) does indeed increase R2 by 12.37 percentage points, from .7343 to .8580. This seems to be the main finding, which should perhaps be highlighted in the main text and in the two versions of the abstract.
The title, “Implicações econômicas da reforma tributária: análise com um modelo CGE,” does succintly describe the second paper. The concluding sentence of the abstract reads “The comparative static analysis allows the detailed identification of the long term effects of those changes [three changes in the Brazilian tax structure] on economic performance, at the macro and sector levels, after all the transitory effects are exhausted, and their indirect effects are absorbed.” But what exactly were these effects? The macroeconomic impacts are synthesized in Table 13 of the primary text. The first two lines contrast the fiscal impact calculated using the CGE model with that erroneously found when the effects of general equilibrium are ignored: a loss of .5 percent of revenue versus a supposed loss of only .1 percent when they are not ignored. The total effect on factor cost GDP and average remuneration of capital is positive (.3 and 1.8 percent), while that on the real to dollar exchange rate is -2.0; there is no effect on mean wages.
The title of the third Portuguese article with no explicit mention of results in the abstract is “É o mercado míope em relação à política fiscal brasileira?” The last sentence of the abstract reads “The empirical analysis, (based on Brazilian monthly data for the period of 2003-2006), suggests that the expectations have not been affected by fiscal policy consistency.” The abstract has only 64 words, and the last 8 are a repetition of the purpose statement. We might suggest, therefore, that the following 93 words, or something similar, be added to comprise move 4 (results/product): “There are positive relationships between publication and expectations with regard to primary surplus and consolidated net public sector debt. However, in forming its expectations in this regard, the market ignores the evolution of executed versus authorized expenditure. With regard to the former, the evolution of the liquidation of residual accounts payable in relation to primary expenditures is also ignored until the fourth and fifth months, when the relationship becomes significantly negative, provided there is an ‘impulse,’ as shown by VAR (vector autoregressive analysis).”
Abstracters, and perhaps even translators, need to be familiar with the foundations of the mathematics, statistics and econometrics commonly employed in economics research, particularly multiple regression. Equations are supposedly closer to deep structures than are words, and are usually at the root of verbal technical texts in every language, so just translating surface structures from Portuguese into English may sometimes produce unsatisfactory results. Abstracts do tend to be rather “abstract,” so going below the surface is particularly important. Whether other researchers will find the abstract, read it, consult the primary text and translate it if necessary depends largely on the quality of the abstract.
References
Hyland, Ken (2004). Social interactions in academic writing. Ann Arbor: University of Michigan Press.
Müller, Ina (2008). Die Übersetzung von Abstracts aus translationswissenschaftlicher Sicht (Russisch – Deutsch – Englisch).Berlin, Frank & Timme.
Reitbauer, Margit (2000). Effektiver lesen mit Superstrukturen: eine empirische Untersuchung anhand der Fachtextorte Abstract. Tübingen (Germany), Gunter Narr Verlag.
Swales, John M. & Feak, Christine B. (2009). Abstracts and the writing of abstracts. Ann Arbor, The University of Michigan.