- Según el CEAACES, (2011) presenta el Modelo de Evaluación para la acreditación, al cual nos referimos,
se presenta bajo las siguientes concepciones:
Las nuevas realidades tecnológicas y comunicacionales así como las políticas locales, nacionales y mundiales, que se encuentran estrechamente relacionadas entre sí, crean condiciones de gran competencia y dinamismo en todos los ámbitos del desarrollo del país. Esto condiciona a las IES a mantener una continua actualización y un permanente mejoramiento de la calidad de su oferta académica de carreras y de igual forma una constante adecuación de éstas y de los procesos de aprendizaje-enseñanza, a estas realidades. Los criterios definidos en el modelo de evaluación no solamente que permiten una evaluación de la calidad de las carreras, sino que los subcriterios e indicadores están en concordancia con los artículos pertinentes de la LOES, lo que se traduce en su adecuación y sintonía con los objetivos de desarrollo de los diversos sectores económicos y sociales del país y de una educación superior pertinente. Como lo establece el Art. 107 de la LOES.
Las nuevas realidades tecnológicas y comunicacionales así como las políticas locales, nacionales y mundiales, que se encuentran estrechamente relacionadas entre sí, crean condiciones de gran competencia y dinamismo en todos los ámbitos del desarrollo del país. Esto condiciona a las IES a mantener una continua actualización y un permanente mejoramiento de la calidad de su oferta académica de carreras y de igual forma una constante adecuación de éstas y de los procesos de aprendizaje-enseñanza, a estas realidades. Los criterios definidos en el modelo de evaluación no solamente que permiten una evaluación de la calidad de las carreras, sino que los subcriterios e indicadores están en concordancia con los artículos pertinentes de la LOES, lo que se traduce en su adecuación y sintonía con los objetivos de desarrollo de los diversos sectores económicos y sociales del país y de una educación superior pertinente. Como lo establece el Art. 107 de la LOES.
Los conceptos y el marco teórico que a continuación se enuncian provienen de la aproximación constante en la documentación del informe del CONEA de la evaluación del desempeño de las IES, correspondiente al Mandato 14, adaptada a la evaluación de carreras.
La evaluación de carreras corresponde a un “concepto pluridimensional que debería comprender todas sus funciones y actividades: enseñanza y programas académicos, investigación y becas, personal, estudiantes, edificios, instalaciones, equipamiento y servicios a la comunidad y al mundo universitario” (UNESCO, 1998). Estas dimensiones múltiples constituyen los ejes que sirven de referencia para determinar en qué medida el desempeño de las instituciones superiores y específicamente de sus carreras responden al compromiso de calidad de la enseñanza.
Generalmente, al realizar un ejercicio de evaluación, se presenta un problema que consiste en que el objetivo central y las dimensiones que lo caracterizan no son claramente definidos. Es más, existe un alto nivel de ambigüedad en los criterios de evaluación, los mismos que pueden entrar en conflicto; una parte considerable de la información a ser procesada es información semántica y por consiguiente, sujeta a amplios márgenes de discrecionalidad en su interpretación; y la naturaleza misma del problema exige modificaciones en el curso de su exploración.
En otras palabras, la evaluación de las carreras de una IES y por lo tanto la evaluación de las mismas corresponde a la categoría de problemas llamados problemas vagamente estructurados en contraposición con los problemas claramente estructurados y cuyas diferencias substanciales se resumen en el gráfico siguiente:
Fig. 1 Problemas estructurados y no-estructurados (Tomado del Modelo del CEAACES)
La carencia de estructuración clara es el problema. En efecto, la evaluación de las instituciones de educación superior y de sus carreras plantea un tipo de problema caracterizado como “vagamente estructurado” en tanto conduce a criterios en conflicto (básicamente por la limitación de recursos); ambigüedad en sus valores y/o conceptos (el propio concepto de calidad); naturaleza híbrida de su problema (información cuantitativa y cualitativa); incertidumbre en la información (escasa confiabilidad de los datos; dificultad para identificar los criterios adecuados) heterogeneidad de los objetos de evaluación de carreras de tipos tan diferentes como informática , ingeniería mecánica o ingeniería en biotecnología, que son dados en diferentes modalidades y ubicados en distintas regiones del país), ausencia de métrica común (no todos los indicadores pueden ser sometidos a una misma escala de valoración) carácter multidisciplinario (armonización de conceptos y métodos de varias disciplinas científicas) mediación de lo cualitativo (percepciones del entorno social y apreciación de múltiples actores involucrados).
Estas características conducen a plantear el ejercicio de evaluación como un problema de decisión bajo criterios múltiples, un tipo de problema abordado por la rama de las matemáticas aplicadas conocida bajo la denominación de Métodos de Decisión Multicriterio (MDM). Se trata, a la vez, de un enfoque conceptual y un conjunto de técnicas diseñadas para asistir en la toma de decisiones que implican una evaluación bajo objetivos y valores caracterizados por criterios múltiples, muchas veces en conflicto y no conmensurables. El abordaje de la evaluación de las carreras como un problema multicriterial se sustenta en tres principios:
- Principio de identidad y descomposición, que establece la posibilidad de identificar eventos y establecer relaciones entre ellos (identificación de los elementos de la estructura de evaluación y su articulación en un cuadro coherente de análisis);
- Principio de discriminación comparativa, que establece la posibilidad de discriminar eventos a partir de sus relaciones y definir un orden de intensidad de los fenómenos observados (definición de un orden de preferencia y escalas de valoración en la estructura de evaluación); y
- Principio de síntesis, que posibilita condensar las relaciones y sus intensidades en una totalidad comprensible (agregación de valoraciones parciales en una valoración de conjunto)
Se debe anotar que el orden de preferencia y la valoración que definen la estructura de evaluación son numéricos; pero, en esencia, ambos son inherentemente subjetivos, en el sentido de que puede existir desacuerdo sobre ellos y no existe posibilidad de resolverlo. El principio fundamental de la categoría de métodos multicriterio, como el propuesto para la evaluación de las carreras de las IES (métodos basados en el concepto de la Utilidad Subjetiva Esperada), parte de la idea que los juicios subjetivos son más útiles si éstos son expresados numéricamente. Este principio, conocido como subjetividad numérica, contradice el mito ampliamente difundido sobre la precisión y objetividad de la información expresada en números.
Es verdad que los juicios son raramente precisos, pero también es verdad que la precisión de los números es ilusoria (Kosko, 1993). Casi todos los números que describen el mundo físico, así como aquellos que describen juicios, son imprecisos en cierto grado. La ventaja de la subjetividad numérica consiste en que la expresión de juicios en forma numérica facilita el uso de herramientas aritméticas para su agregación. La agregación de varias categorías de juicios es la etapa esencial en la evaluación multicriterial.
El uso de conceptos de la teoría multicriterial de decisión en la evaluación de calidad de las carreras de las IES, además de sustentar el análisis en el marco de un riguroso esquema conceptual y académico, pretende, por un lado, asegurar niveles aceptables de coherencia del análisis con ayuda de herramientas y técnicas de control de consistencia; y por otro, transparentar el proceso de evaluación asegurando la claridad en las hipótesis del método de análisis en la interpretación de la información y en la formulación de las conclusiones.
El modelo de evaluación, cuyos fundamentos y estructura se describen en las secciones siguientes, como todo modelo, constituye una representación aproximada de la realidad, y, como tal, parte de un conjunto de hipótesis y está sujeto a limitaciones que son necesarias tener en cuenta con el fin de aclarar su campo de aplicación y el alcance de los resultados que se obtienen con su aplicación. En el caso de un ejercicio de evaluación como el que aquí nos ocupa, es necesario puntualizar tres aspectos:
- En primer lugar, el problema de evaluación no existe simplemente como una realidad objetiva sino que es un producto de nuestra cognición. Por consiguiente, la evaluación no puede establecer una clara distinción entre lo deseable y lo posible. Se trata, más bien, de definir ciertos “niveles de aspiración” (Lewandowski, 1989) que actúan como mediadores entre lo ideal y lo realizable o alcanzable.
- Existe una capacidad limitada para la generación, procesamiento y análisis de la información. Esta “racionalidad limitada” (Simón, 1986) plantea el problema de evaluación en términos de “satisfacción” antes que en términos de optimización. En este sentido, se puede pensar en la acción de depuración que implica el mejoramiento o la eliminación de la oferta de una carrera cuando esta no “satisface” los niveles de calidad correspondiente a “niveles de aspiración” establecidos a priori de la evaluación.
- El reconocimiento de una “racionalidad limitada” por una parte, y por otra, el objetivo de evaluar la calidad, conducen a diseñar un proceso de evaluación centrado, sobre todo, en la efectividad de las herramientas e instrumentos de evaluación (racionalidad procedimental), antes que en la efectividad de los resultados (racionalidad sustantiva). En este sentido, el modelo de evaluación propuesto se orienta a un proceso que va más allá de los resultados del ejercicio de evaluación.
El diagrama a continuación (Fig. 2) presenta de manera esquemática las principales actividades que comprenden el diseño del modelo de evaluación de carreras. Las actividades señaladas cubren tres etapas principales: i) el diseño y construcción de un modelo de evaluación de carreras; ii) la recopilación y verificación de la información solicitada a las IES de acuerdo a los requerimientos del modelo; y iii) el diagnóstico de consistencia y análisis de la información.
Fig. 2 Principales etapas en la implementación de la evaluación de carreras (Tomado del Modelo de CEAACES)
La implementación de las actividades requerirá el concurso de un grupo de profesionales (pares) especializados en el tipo de carreras a evaluar con el fin de verificar y complementar, in-situ, la información necesaria para evaluar la calidad de las carreras ofrecidas por las universidades y escuelas politécnicas, extensiones Disposiciones transitorias Primera y Quinta LOES[1]. Esta tarea se debe llevar a cabo mediante la conformación de equipos especializados que realizarán el trabajo de verificación en las IES, que se describe detalladamente en los procedimientos de evaluación de carreras. La transparencia y la integralidad en el manejo de la información han sido los dos factores determinantes en el diseño de una plataforma informática para el almacenamiento y procesamiento de datos. La información suministrada por las IES se debe someter a un proceso de verificación para luego pasar por una prueba de consistencia y coherencia antes de ser procesada por el modelo de evaluación.
[1]Disposición Primera.- En cumplimiento de la Disposición Transitoria Vigésima de la Constitución de la República del Ecuador, en el plazo de cinco años contados a partir de la vigencia de la Carta Magna, todas las universidades y escuelas politécnicas, sus extensiones y modalidades, institutos superiores técnicos, tecnológicos, pedagógicos, de artes y conservatorios superiores, tanto públicos y particulares, así como sus carreras, programas y posgrados, deberán haber cumplido con la evaluación y acreditación del Consejo de Evaluación, Acreditación y Aseguramiento de la Calidad de la Educación Superior.
Este proceso se realizará a todas las instituciones de educación superior, aun a las que hayan sido evaluadas y acreditadas por el Consejo Nacional de Evaluación y Acreditación de la Educación Superior (CONEA). Las universidades y escuelas politécnicas de reciente creación que tengan menos de cinco años de existencia legal a la fecha de vigencia de la presente Ley, continuarán en sus procesos de institucionalización ya iniciados, hasta su conclusión, sin perjuicio de lo previsto en la Transitoria Vigésima de la Constitución de la República del Ecuador.
Disposición Quinta.-En cumplimiento a lo dispuesto en esta Ley, el Consejo de Evaluación, Acreditación y Aseguramiento de la Calidad de la Educación Superior, en el plazo de dieciocho meses contados desde su instalación, realizará una depuración de sedes, extensiones, programas, paralelos y otras modalidades de similares características que mantengan las instituciones de Educación Superior fuera de su sede o domicilio principal.
Para ello realizará previamente un estudio con el fin de establecer las que pueden continuar funcionando. Para autorizar su funcionamiento ulterior, el Consejo emitirá normas necesarias que deberán tomar en cuenta el tiempo de funcionamiento, infraestructura, necesidad local, disponibilidad de personal académico y existencia de otros centros de educación superior en la localidad.
Las sedes, extensiones, programas, paralelos y otras modalidades de similares características que no calificaren para continuar funcionando, no podrán recibir nuevos estudiantes en el futuro.
Fig. 3 Verificación y consistencia de la información (Tomado del Modelo del CEAACES)
Al respecto es necesario destacar lo siguiente:
- La información requerida es suministrada directamente al servidor del CEAACES mediante una conexión en línea. Cada IES recibe una clave de acceso y, una vez que ha terminado el proceso de envío de información, ésta es registrada en un archivo correspondiente, sin que exista ninguna posibilidad de que la información pueda ser modificada.
- Cada carrera en evaluación en una IES tiene asignada un equipo especializado verificador de la información (dos o tres personas). Este equipo verifica in situ la información suministrada por la IES.
- Un nuevo archivo de datos es generado (al que únicamente tiene acceso el equipo verificador) y una vez finalizado el proceso de verificación, cualquier modificación u observación queda registrada. Al igual que en el caso anterior, una vez finalizada la verificación, no existe posibilidad de introducir cambios en el contenido del archivo de datos correspondiente.
- La información verificada es sometida a pruebas de consistencia y coherencia por el Grupo Interinstitucional de Evaluación de Carreras compuesto por un representante del CEAACES y docentes de la carrera de las IES y que cumplan con los requisitos planteados para evaluadores externos (Art. 102 LOES) [2] por el CEAACES. En el caso de encontrar inconsistencias en la información, si las observaciones registradas no son suficientes para explicarlas, se pide aclaración al equipo verificador y si es necesario a la IES con el fin de confirmar la información suministrada. Cualquier cambio u observación quedan registrados. Estos mecanismos de seguridad garantizan plenamente un manejo claro y transparente de la información; asegurando que cualquier modificación a un dato originalmente suministrado por una IES quede debidamente justificada y respaldada.
