La revisión de manuscritos científicos por pares evaluadores pretende evaluar la originalidad, calidad y pertinencia de datos asociados a una investigación. El proceso fue aplicado por primera vez en 1731, por la Sociedad Real de Edimburgo en su revista Medical Essays and Observations, con el envío de los artículos sometidos a publicación, a individuos considerados por el editor como los más versados en el tema (Kronick, 1990). Aunque con algunas variaciones, este sistema se ha institucionalizado, sigue siendo parte central en la validación de publicaciones científicas y es aceptado por la mayoría de científicos como la mejor alternativa entre todas las disponibles.
 

En su forma más generalizada, el proceso de evaluación de un artículo científico supone una evaluación inicial del manuscrito por parte del editor, que decide si este puede ser publicado en su versión original, si solicita modificaciones que serán luego enviadas a evaluación, o si lo rechaza inmediatamente.

La decisión del editor usualmente se basa en comentarios y recomendaciones hechas por expertos, cuyo rol es evaluar de manera independiente, imparcial y sin sesgos los manuscritos que le son remitidos. En la práctica, sin embargo, los editores de revistas se ven obligados a desarrollar métodos que se aproximan a este ideal, debido a la falta de un cuerpo relativamente grande de evaluadores, especialmente cuando se habla de la evaluación de artículos en comunidades académicas en proceso de consolidación, como es el caso de las comunidades hispanohablantes (Red de Editores de Revistas de Psicología, comunicación personal, 22 de septiembre, 2010).

Para implementar la evaluación por pares, el editor puede llevar a cabo dos estrategias. Por un lado, el editor puede seleccionar los evaluadores eligiendo aquellos que conoce personalmente, o revisar una base de datos en la que se incluyan expertos en diferentes campos y elegir, entre ellos, a aquellos cuyas anotaciones en revisiones previas hayan contribuido de manera significativa a aumentar la calidad de lo que se ha publicado en la revista; pero también debe tener en cuenta la rapidez con que dichos pares responden. El Open Journal System, un sistema diseñado para facilitar la tarea editorial, resulta una herramienta valiosa en la medida en que dispone de un mecanismo en el que es posible asignar una calificación (de 1 a 5) a las evaluaciones que se reciben y que, además, permite llevar un registro de las evaluaciones solicitadas y el tiempo tomado por cada uno de los revisores para la entrega de las mismas. Esta estrategia de selección de revisores, aunque ideal, suele generar problemas cuando el manuscrito pertenece a un campo relativamente pequeño, y especialmente en ciencias básicas, por cuanto la lista de potenciales expertos suele ser reducida, lo que hace difícil encontrar un revisor (Riss, 2011).

Una segunda opción es solicitar a los autores nominar posibles evaluadores para el artículo que someten. Aunque comparaciones entre la evaluación y las recomendaciones de revisores sugeridos por los autores y de revisores elegidos por el editor no muestran diferencias significativas en la calidad o en el tono de la revisión, sí evidencian una mayor frecuencia en la aceptación del manuscrito cuando los revisores son propuestos por los autores (Wager, Parkin & Tamber, 2006). La falta de anonimato en el sistema de evaluación por pares tiene así el potencial de reducir la tendencia a evadir responsabilidades, al tiempo que ofrece al evaluador el refuerzo asociado al reconocimiento social por su trabajo (Armstrong, 1982; Leek, Taub & Pineda, 2011; Suls & Martin, 2009).

Un elemento adicional a tener en cuenta al elegir revisores tiene que ver con la posibilidad de que el revisor, elegido por el editor, pueda pertenecer a un grupo que compite con el de los autores del manuscrito y puede, por tanto, sesgar sus comentarios. Aunque los revisores están obligados a declarar conflictos de intereses, quizás convendría incluir la posibilidad de que los autores nominen evaluadores a los que el manuscrito no debería ser remitido, práctica que ya ha sido implementada en algunas revistas (Rossdale, 2010). Quizás sea necesario señalar que estudios que han evaluado esta estrategia han encontrado que las probabilidades de que un manuscrito sea aceptado son el doble cuando el autor ha eliminado ciertos revisores (Goldsmith, Blalock, Bobkova & Hall, 2006; Grimm, 2005).