Anexo 2. Proceso de evaluación

Evaluación de propuestas nuevas de investigación

1. Objetivo

   Describir el proceso para la evaluación de propuestas nuevas de investigación.

2. Alcance

   Aplica a todas las propuestas nuevas de investigación que sean formuladas en el 2018 para inscribirse en la Vicerrectoría de Investigación y ser #:ejecutadas con vigencia a partir del 2019, tanto por las vías ordinarias de inscripción y asignación presupuestaria, como por las vías de fondos #:concursables.

   Esta propuesta responde a un proceso de mejora que inició con la identificación de una serie de limitaciones en los formularios de evaluación que la #:Vicerrectoría de Investigación (VI) utilizaba. A través de conversatorios abiertos con personal investigador y consultas a Consejos Científicos y #:Comisiones de Investigación durante 2016 y 2017, se documentó que: a) Los instrumentos previos no permitían discriminar adecuadamente la calidad de los #:proyectos ni priorizarles para la asignación presupuestaria. b) La interpretación de los criterios era disímil en áreas distintas y los usos eran diversos, pues los constructos no se entendían de la misma manera en diversos colectivos y no existía un manual de llenado que les definiera o permitiera #:entender los usos y alcances de los ítems. c) Pares externos podrían no participar del proceso de evaluación y podrían existir limitaciones y sesgos en #:la evaluación entre colegas.

   
   

   Para la presente formulación, se conformó un grupo de trabajo experto con personas investigadoras voluntarias de nuestra comunidad universitaria; se #:tomaron, como base, estudios psicométricos sobre las propiedades de las escalas y los aportes de los colectivos de personas investigadoras. Se #:analizaron la consistencia interna, la validez y el comportamiento de los ítems actuales, de lo cual se concluyó la necesidad de modificación de los #:instrumentos y de elaboración de este documento, al que se ha denominado “Instructivo de llenado”.

   Finalmente, los ítems y el instructivo fueron validados por medio de una consulta electrónica y un grupo focal con personas investigadoras con amplia #:experiencia en Consejos Científicos y Comisiones de Investigación de diversas ciencias y áreas del conocimiento. Fueron también validados en el Consejo #:de Evaluación de la Vicerrectoría de Investigación.

   Además, con la experiencia de uso durante el 2018, se solicitará, a las diversas unidades, centros, institutos y estaciones experimentales, que brinden #:su criterio respecto a los posibles pesos de los ítems según sus áreas de conocimiento, de tal manera que pueda validarse una propuesta de ponderación #:que mejore la discriminación de calidad, de manera que se ajuste al uso real en distintas disciplinas y áreas de la comunidad universitaria. Un proceso #:idéntico se seguirá durante el 2018 para ponderar el peso que se otorgue al par académico y al órgano colegiado en la evaluación.

   
   

   Los instrumentos estarán disponibles en línea y en idioma español e inglés. La persona que ocupa la Dirección de la unidad será la responsable de #:garantizar el llenado en línea de los formularios, tanto en sus contenidos cuantitativos como cualitativos. Dicho llenado se deberá llevar a cabo #:durante la sesión del órgano colegiado.

3. Definiciones/Glosario: Sinónimos según área de conocimiento

   • Tema específico: problema, núcleo problemático, pregunta de investigación, nudo problemático, situación problema.
   • Estado del conocimiento: estado de la cuestión, estado del arte, revisión de antecedentes, revisión del conocimiento público en un tema.
   • Recurso humano: personal investigador, personas investigadoras y colaboradoras, equipo de trabajo.
   • Equipamiento: equipo, infraestructura, materiales.
   • Productos: resultados de investigación; difusión con publicaciones (libros, capítulos, artículos en revistas indexadas, artículos en revistas no #:indexadas); divulgación (poster, exposiciones, conferencias, ponencias, mesas redondas, eventos académicos); conciertos; fotografías; exposiciones #:artísticas; videos; obra de arte; impactos específicos en la docencia, acción social y en la generación de nuevas investigaciones, tanto como en el #:apoyo a la organización y desarrollo comunitario; impacto en agenda pública e impacto político, entre otros.

4. Abreviaturas

   CEC: Comité Ético Científico

   CIB: Comisión Institucional de Biodiversidad

   CICUA: Comité Institucional para el Cuidado y Uso de los Animales

   VI: Vicerrectoría de Investigación

   UCR: Universidad de Costa Rica

   SIPPRES: Sistema Institucional de Plan Presupuesto

   SIGPRO: Sistema de Información y Gestión de Proyectos

5. Responsabilidades

   Con respecto a la gestión de nuevas propuestas de investigación, la Vicerrectoría de Investigación:

   • Recibe propuestas evaluadas y avaladas por las Comisiones de Investigación o Consejos Científicos de las diversas áreas académicas que cumplen con todos los requerimientos específicos.
   • Establece pautas para la asignación presupuestaria y opciones de fondos concursables con los requisitos para que una propuesta de investigación pueda optar por ellos.
   • Promueve anualmente una agenda de talleres para el fortalecimiento de capacidades en investigación basadas en mejores prácticas y criterios de excelencia.
   • Define las directrices para inscribir y evaluar las propuestas de investigación.
   • Aprueba y asigna el presupuesto a las propuestas de investigación.

   
   

   La persona investigadora:

   • Formula las propuestas de investigación siguiendo las directrices de la Comisión de Investigación, Consejo Científico y Vicerrectoría de Investigación.
   • Somete sus propuestas de investigación a procesos de discusión, revisión y mejora con sus pares académicos o grupo de investigación, previo al envío de las propuestas a evaluación con la Comisión de Investigación o Consejo Científico.
   • Conoce las posibilidades de financiamiento ordinario, así como las bases de convocatoria de los fondos concursables por los que su propuesta podría optar.
   • Realiza las mejoras recomendadas a su propuesta de investigación y atiende los señalamientos y recomendaciones de la Comisión de Investigación o Consejo Científico, entendiendo que la evaluación de su propuesta no se modificará posteriormente.
   • Atiende las observaciones éticas y sugerencias realizadas por el CEC, CICUA o CIB, en el caso de que el protocolo o proyecto investigativo deba someterse a estas instancias, según lo dispuesto en la normativa institucional y de orden público vigente.

   
   

   La Comisión de Investigación o el Consejo Científico:

   • En conjunto con la Dirección de la unidad, mantiene actualizada una lista de pares académicos nacionales e internacionales para evaluación de propuestas de investigación.
   • Garantiza la confidencialidad y el manejo ético para evitar el conflicto de intereses en la asignación de pares académicos nacionales e internacionales para la evaluación de las propuestas en la primera fase.
   • Evalúa, en conjunto con la Dirección de la unidad, las propuestas de investigación en su segunda fase, considerando el Instrumento para la evaluación de la calidad y pertinencia de la propuesta de investigación por el órgano colegiado.
   • Avala o rechaza las propuestas de investigación, según las evaluaciones realizadas en ambas fases.
   • Envía a la Vicerrectoría de Investigación las propuestas avaladas para la asignación de fondos por vías tradicionales o fondos concursables.
   • Sirve como instancia de cumplimiento y supervisión de los parámetros éticos de la investigación presentada a su conocimiento, de acuerdo con la normativa institucional y de orden público, y según señalamientos del CEC, CICUA o CIB.

   
   

   Personal gestor de proyectos de investigación:

   • Coordina la gestión de acuerdo con los procesos internos de la VI y aprueba o rechaza las propuestas de investigación enviadas a la VI, según el cumplimiento de los criterios establecidos para la inscripción, asignación presupuestaria e inclusión en fondos concursables.
   • Comunica a la persona investigadora la aprobación o rechazo de las propuestas de investigación y su vigencia.
   • Inscribe las propuestas de investigación aprobadas en la VI y comunica la asignación presupuestaria.

6. Desarrollo

   La VI abre anualmente la recepción de nuevas propuestas para la asignación presupuestaria y promueve la participación por fondos concursables de #:investigación. Adicionalmente, busca el fortalecimiento de capacidades en investigación basadas en mejores prácticas y experiencias exitosas, #:programando talleres anuales en diversos temas, tales como: formación en investigación; formulación para la gestión, presupuestos y estructura de #:costos; internacionalización y búsqueda de fondos; difusión, divulgación y transferencia; innovación; emprendimiento, entre otros.

   Asimismo, la VI promueve tanto impactos claros en la docencia, acción social y en la generación de nuevas investigaciones, como en el apoyo a la #:organización y desarrollo comunitario.

   Uno de los requisitos fundamentales que debe cumplirse para la presentación de nuevas propuestas ante la VI es la evaluación de la propuesta en las #:Comisiones de Investigación o los Consejos Científicos. Estos órganos colegiados deben otorgar o negar el aval para que la propuesta sea enviada a la #:VI, mediante un proceso de evaluación en dos fases. A continuación, en el diagrama del proceso de inscripción de propuestas de investigación se #:representa el flujo del proceso de una nueva propuesta.

   

   
   

   6.1 Primera fase: Evaluación de la calidad y excelencia de la propuesta de investigación

   Este instrumento debe ser completado por pares académicos (nacionales o internacionales) externos a la unidad académica. Se propone que la unidad #:académica, centro o instituto deberá elaborar, actualizar y mantener un listado de posibles personas evaluadoras por afinidad temática, y deberá #:asegurarse de la planificación y tiempos necesarios para realizar la evaluación por pares. Este listado podría ampliarse con la consulta al Colegio #:Profesional respectivo y deberá enviarse anualmente a la Vicerrectoría de Investigación para generar una base de datos con personas evaluadoras, que se #:dispondrá para uso de las unidades en caso de requerirse los servicios de tales personas.

   En esta fase, se le consultará la disponibilidad a la persona que pueda fungir como par académico, se le detallará el título y una breve descripción de #:la propuesta que se encuentra en los apartados iniciales del SIPPRES. Tras la aceptación del encargo de evaluación (máximo 10 días naturales después de #:enviada la solicitud), se le debe aportar a la persona evaluadora la propuesta completa y el instrumento correspondiente de calidad y excelencia, y se #:le define un plazo máximo para la devolución de 15 días naturales tras su aceptación.

   
   

   En caso de que se venciera el tiempo y no hubiera respuesta, esta situación deberá documentarse por escrito en observaciones y se le enviará la #:propuesta a una persona evaluadora interna, sin vínculo alguno con el proyecto; igualmente se considerarán 15 días naturales tras su aceptación. En #:todos los casos, deberá optimizarse internamente el mecanismo que garantice el anonimato (doble ciego) y detallarse en las observaciones el proceso #:seguido, así como el manejo para evitar conflicto de interés.

   Cuando se cuente con las evaluaciones, es responsabilidad de la Dirección de la unidad académica, centro, instituto o estación experimental garantizar #:que, durante la sesión de la Comisión de Investigación o el Consejo Científico, se realice la transcripción fidedigna de esta evaluación o evaluaciones #:en el apartado correspondiente de la evaluación en línea disponible en el SIGPRO.

   La calificación de la propuesta en esta fase será el promedio de las evaluaciones realizadas por pares académicos, que corresponden a un 50% de la nota #:final (sin considerar los “no aplica”) y deberá enviarse de forma razonada con justificación escrita de la Comisión de Investigación o el Consejo #:Científico, según las observaciones cualitativas de los pares evaluadores y las conclusiones de la discusión generada durante la sesión del órgano #:colegiado.

   
   

   6.1.1 Instrumento para la evaluación de la calidad y excelencia de la propuesta de investigación por pares académicos

   Instrucciones al par evaluador: A continuación, se presenta una lista de indicadores para evaluar la propuesta de investigación asignada a su juicio #:experto. Después de leer cada uno de ellos, otorgue una calificación del 1 al 5, donde 1 corresponde a Muy insatisfactorio, 3 Satisfactorio y 5 Muy #:Satisfactorio. A mayor calificación, mayor satisfacción con la calidad y excelencia en el rubro indicado. Debe aportarse, sin excepción, una breve #:justificación de la calificación asignada a cada rubro. Puede optarse por completar “No aplica” cuando parezca que el indicador no es pertinente para la #:propuesta evaluada y se deben adicionar las observaciones respectivas, así como los comentarios cualitativos.

   

   
   

   La escala de evaluación será de 1 a 5 donde 1 es Muy insatisfactorio, 3 Satisfactorio y 5 es Muy satisfactorio. N/A: no aplica

   Para todos los casos:

   a) brindar el argumento correspondiente para justificar el puntaje asignado;

   b) explicitar la oportunidad de mejora: ¿cómo puede mejorar la propuesta en este rubro?

   
   

   6.2 Segunda fase: Evaluación de la calidad y pertinencia de la propuesta de investigación

   Esta segunda fase de evaluación deberá ser llenada por la Comisión de Investigación o Consejo Científico en conjunto con la Dirección de la unidad #:académica, centro, instituto o estación experimental durante la sesión. Se incluye el análisis del componente de viabilidad y factibilidad, por lo que #:se solicita valorar el currículum de las personas investigadoras participantes, su idoneidad y las cartas de compromiso con personas colaboradoras o #:instancias externas para uso de equipos entre varias unidades, otras instituciones involucradas, colaboración y avales, entre otros.

   Los órganos colegiados deben enviar a la Vicerrectoría de Investigación, sin excepción, sus observaciones cualitativas razonadas y recomendaciones, #:según los criterios que consideran pertinentes para su unidad y basada en la valoración de la relación que tiene la propuesta de investigación con las #:políticas institucionales, su plan estratégico o su visión de desarrollo, integrando globalmente los aspectos cuantitativos, cualitativos y éticos. Ha #:de recordarse que la persona investigadora debe someter sus propuestas de investigación a procesos de discusión, revisión y mejora con sus pares #:académicos o grupo de investigación previo al envío de las propuestas a evaluación con la Comisión de Investigación o Consejo Científico. En ese #:sentido, la inclusión de las mejoras recomendadas a su propuesta de investigación, tras la evaluación, son indispensables, pero no modificarán la #:calificación obtenida.

   La calificación de esta segunda fase corresponde a un 50% de la nota final (sin considerar los “no aplica”). Además, considera cinco ítems adicionales #:que deben responderse marcando sí o no y brindar el detalle respectivo, para consideración de la VI.

   
   

   6.2.1 Instrumento para la evaluación de la calidad y pertinencia de la propuesta de investigación por el órgano colegiado

   Este instrumento debe ser llenado por la Comisión de Investigación o Consejo Científico en conjunto con la Dirección.

   A continuación, se presenta una lista de indicadores para evaluar la propuesta de investigación de forma conjunta entre las personas que conforman la #:Comisión de Investigación o Consejo Científico y la Dirección de la unidad, centro, instituto o estación experimental.

   Después de leer cada uno de los rubros, debe asignarse una calificación del 1 al 5, donde 1 es Muy insatisfactorio, 3 Satisfactorio y 5 Muy #:Satisfactorio. A mayor calificación, mayor satisfacción con la calidad y pertinencia en el rubro indicado. Debe aportarse, sin excepción, una breve #:justificación de la calificación asignada a cada rubro. Puede optarse por completar “No aplica” cuando parezca que el indicador no es pertinente para la #:propuesta evaluada y se deben adicionar las observaciones respectivas, así como los comentarios cualitativos. En este instrumento se incluyen ítems #:adicionales, cuyo criterio de evaluación corresponde a "Sí o No” y el detalle respectivo.

   

   

   
   

   En el caso de investigaciones biomédicas observacionales y experimentales, a la luz de la Ley N.°9234, debe contarse con la acreditación expedida por el #:Consejo Nacional de Investigaciones en Salud (CONIS), adscrito al Ministerio de Salud, para poder investigar en este ámbito.

   
   

   

   
   

   La escala de evaluación será de 1 a 5, donde 1 es Muy insatisfactorio, 3 Satisfactorio y 5 es Muy satisfactorio. N/A: no aplica

   Para todos los casos:

   a) brindar el argumento correspondiente para justificar el puntaje asignado;

   b) explicitar la oportunidad de mejora: ¿cómo puede mejorar la propuesta en este rubro?