EFECTOS DE UN INSTRUMENTO PARA EVALUAR PROYECTOS DE INVESTIGACIÓN EXPERIMENTAL por ENRIQUE MARTINEZ OROZCO TRABAJO DE INVESTIGACIÓN Presentado a la Facultad de Educación de la Universidad del Valle de Guatemala como requisito previo a optar al Grado de MAESTRÍA en MEDICIÓN, EVALUAOS E INVESTIGACIÓN EDUCATIVA Guatemala, noviembre, 1974 rto Montan° EFECTOS DE UN INSTRUMENTO PARA EVALUAR PROYECTOS DE INVESTIGACIÓN EXPERIMENTAL. APROBADA: INDICE Capitulo Página INTRODUCCIÓN 1 II REVISIÓN DE LITERATURA 4 III HIPÓTESIS Y DISEÑO EXPERIMENTAL 15 IV METODOLOGÍA 18 V DISCUSIÓN, CONCLUSIONES, LIMITACIONES Y RECOMENDACIONES 44 ANEXOS 51 REFERENCIAS BIBLIOGRÁFICAS 83 CAPÍTULO I INTRODUCCIÓN En el curso de Maestría en Medición, Evaluación e In- vestigación Educativa de la Universidad del Valle de Guatemala, se incluye una materia llamada Diseño experimental cuyos obje- tivos principales son: primero, que el estudiante obtenga los recursos necesarios para iniciarse en la investigación y en par- ticular para presentar una propuesta formal de un trabajo de in- vestigación; segundo, que el estudiante adquiera con respecto a los informes de investigación educativa no sólo capacidad críti- ca para su lectura, sino también habilidad para redactarlos y organizarlos. Como prueba final de la obtención de algunos de los ob- jetivos del curso por parte de los alumnos, es necesario presen- tar un trabajo de investigación, que es requisito para obtener el grado de Maestría. El trabajo de investigación incluye la elaboración de un proyecto del mismo, como el estudiante es novicio en investi- gación, toda ayuda con respecto a una estructuración y sistema- tización de la elaboración del proyecto redundará en un ahorro de tiempo por un lado y en una mayor calidad por el otro. Una forma donde el estudiante puede lograr esta estructuración y sistematización es a través de un instrumento que le permita se- guir un procedimiento adecuado y además autoevaluar cada uno de 2 los pasos que constituyen el proyecto de investigación. Además con este instrumento el estudiante puede lograr una discrimina- ción adecuada de aquella literatura científica que tiene cierta calidad para fundamentar su trabajo. En la evaluación posterior del proyecto de investiga- ción por parte del profesor del curso, se hace necesario la sistematización de la experiencia del evaluador a través de un instrumento, con el objeto de que éste evalúe con cierta homoge- neidad de criterio los diferentes proyectos de investigación presentados por los alumnos. Si bien existen estudios sobre el uso de instrumentos para la evaluación de informes de investigación experimental, estos han sido en su mayoría realizados por expertos estadouni- denses. Como la ciencia y la tecnología está invadiendo todos los paises, en particular los de latinoamérica, se considera necesario la creación y/o adaptación de instrumentos de evalua- ción de informes de investigación a este medio. El propósito de este trabajo fue estudiar el efecto de un instrumento de evaluacihn de proyectos de investigación ex- perimental utilizado por alumnos inscritos en un curso de pos- grado en Medición, Evaluación e Investigación Educativa de la Universidad del Valle de Guatemala. Definiciones Proyecto--propuesta formal de una investigación expe- rimental. 3 Instrumento--significa la adaptación del instrumento de Suydas (1968) la cual consiste de siete pautas de evaluación de proyectos de investigación experimental educativa y una guía del instrumento. Evaluador--cada uno de los estudiantes de la Maestría en Medición, Evaluación e Investigación Educativa perteneciente a la muestra seleccionada en el presente estudio. CAPÍTULO II REVISI6N DE LITERATURA Este capitulo tiene por objeto incluir inicialmente, aquella literatura científica pertinente al presente trabajo, la cual se ha distribuido para su presentación en la forma si- guiente; primero, juicios sobre proyectos de investigación; segundo, juicios sobre informes de investigación; tercero, es- tudio relacionado con la aplicación de un instrumento de evalua- ción de informes de investigación educativa experimental y cuar- to, estudio sobre una guía para la evaluación de informes de in- vestigación. Finalmente, se dan las razones para configurar el instrumento de evaluación de proyectos de investigación experi- mental educativa, propuesto en el presente estudio, en la forma en que se hizo. Juicios sobre proyectos Ary y otros (1972) enfatizan que escribir el proyecto de investigación es la etapa más crucial y excitante en el pro- ceso de investigación; en esta etapa el proceso cristaliza en forma concreta. En el proyecto el investigador demuestra que sabe lo que está buscando, como lo verá si está allí, y porqué la investigación vale la pena. Un proyecto bien definido por parte del investigador indica que él está realmente listo para poner su estudio en movimiento y muestra que sabe lo que hace, por qué lo hace, y como hacerlo. Si el investigador no puede 4 5 producir un proyecto completo y bien definido, no estará aún en condiciones de proceder a la etapa de recolección de datos de su investigación. Ary y otros, mencionaron también que "reco- lectar los datos y escribir el proyecto simultáneamente puede parecer un procedimiento sano de ahorrar tiempo pero tal caso es raro; innumerables horas-hombre y miles de dólares han sido desperdiciados justamente de esta manera (pág. 233)". Hasta que el proyecto está formulado, no se puede asegurar qué datos serán necesarios, ni cuál será la mejor forma de manejar esta información a la luz del propósito del estudio. Por otra par- te, cuando el investigador trabaja en base a fechas fijadas de antemano para cumplir ciertas etapas de la investigación, debe establecer una fecha para completar el proyecto antes del día fijado para terminar la investigación total. En general, dice Ary y otros, el investigador necesi- ta presentar proyectos en forma escrita y organizada. Esta presentación consta de dos etapas: el proyecto de investiga- ción y el reporte de los resultados de la investigación. En la primera etapa deben aparecer los siguientes rubros: estableci- miento del problema, revisión de la literatura, pregunta y/o hipótesis, instrumentación, muestreo, diseño, recolección de datos y procedimientos estadísticos, nivel de significación, presupuesto y cédula de tiempo. Esta lista proporciona una útil guía para la redacción de cualquier proyecto. Best (1969) señala que la preparación de un proyecto es un paso importante en el proceso de la investigación. Muchas 6 instituciones exigen que un proyecto sea presentado a su consi- deración antes de aprobarlo. Este proyecto proporciona un fun- damento para su evaluación y da una base para aconsejar durante el periodo que dure la investigación, también proporciona un plan sistemático que ha de seguir el investigador. Best propo- ne asimismo, como las partes esenciales de un proyecto de inves- tigación: el enunciado del problema, la importancia del proble- ma, definiciones, supuestos y limitaciones, un resumen de la bi- bliografía acerca del tema, un cuidadoso y detallado análisis de los métodos de investigación propuestos, y un esquema de tiempo. El proyecto puede ser muy modesto y necesariamente limitado por el tiempo, como puede ocurrir en el caso de la necesidad de un estudiante de presentar un proyecto de investigación para la op- ción al grado universitario. Cook (1966) dice que es difícil enfatizar la importan- cia del proyecto de investigación como base para realizar una investigación. En el caso de un estudiante de un curso para principiantes en investigación educativa, la importancia radica en la presentación de un cuidadoso proyecto ya que, debido a su poca experiencia, el estudiante puede olvidar la inclusión de pautas importantes en la investigación que hagan ésta inválida. Entre mayor esfuerzo y cuidado pongan los estudiantes en la ela- boración del proyecto, más probabilidad de éxito tendrá la eje- cución de la investigación. Con respecto al contenido de un buen proyecto, Cook dice que no existe una respuesta directa a esta pregunta, y cualquier sugerencia dependerá, en alguna 7 extensión, sobre las condiciones en las cuales la investigación se hace. La clase de proyectes que un estudiante principiante somete antes de intentar un proyecto de investigación para un curso de métodos de investigación, debe tener probablemente seis partes principales: titulo tentativo, establecimiento del pro- blema, método de investigación y procedimiento, datos a ser re- colectados, de dende serán obtenidos los datos e investigación relevante y teoría. Según Hayman (1969), antes de comenzar a trabajar ac- tivamente en una investigación se debe redactar un plan en de- talle. A menudo esta redacción tomará la forma de un proyecto pero, cualquiera que sea la forma que se le dé, es muy importan- te formular un plan completo de la investigación antes de comen- zar el trabajo efectivo. Un error que cometen comúnmente los investigadores, en especial los inexpertos, consiste en comen- zar un estudio sin un adecuado planteamiento previo, y por lo tanto, el investigador comienza a reunir una serie de evidencias dispersas que no tienen ninguna relación con su estudio y que además le hacen perder tiempo valioso para la realización de la investigación. Hayman dice que los pasos que debe incluir un plan o proyecto son: selección de un problema, formulación por escrito del problema, desarrollo de una teoría apropiada, formulación de las hipótesis y mediante ellas, formulación de los objetivos es- pecíficos del estudio, planeamiento de los procedimientos a 8 seguir en la realización del estudio y en la selección de los métodos de investigación que e utilizarán, 1c3 datos necesarios y los medios destinados a obtenerlos, las técnicas a utilizar en el análisis de los datos obtenidos y la muestra de estudio, así como el método para seleccionarla. Juicios sobre informes Después de aceptado el proyecto, la siguiente etapa en la investigación es la que constituye propiamente la parte diná- mica de la investigación que comienza con la recolección de da- tos y termina con el informe de la investigación. Best (1969) propone un esquema de evaluación de un in- forme de investigación constituido por los siguientes grandes rubros y sus correspondientes subrubros: problema, significa- ción, planteamiento, delimitación, hipótesis específicas, su- puestos establecidos, limitaciones reconocidas; desarrollo del problema, apropiado, descripción detallada, planeamiento cuida- doso, recolección sistemática de datos; análisis y conclusiones, lógica, basados sobre los datos presentados con objetividad, re- sumidos con efectividad; bibliografía, revisión adecuada, bien organizada; forma y estilo, márgenes, colocación, espaciado, epígrafes, notas, citas, paginación, mecanografía, tablas, fi- guras, bibliografía, ortografía, redacción, estilo, otras carac- terísticas. Zufliga (1967) propone las siguientes pautas de evalua- ción de informes de investigación, con sus correspondientes 9 subrubros que las integran: formulación del problema, antece- dentes, justificación, definición, alcance y l'illites; marco conceptual, premisas, hipótesis, definición de términos; fuen- tes y métodos, tenido de las catión procedimiento general; muestreo; pruebas, con- de las pruebas, prueba preliminar; cuestionarios, forma preguntas, orden de las preguntas, respuestas; clasifi- de los datos; recopilación de los datos; análisis de los datos; conclusiones; algunas anotaciones sobre estudios de tipo histórico; consideraciones sobre estudios de tipo descrip- tivo; consideraciones sobre estudios de tipo experimental; con- sideraciones sobre organización y formato. Fox (1969) propone la división del proceso de investi- gación en tres partes: primero, diseño del plan de investiga- ción; segundo, implementación del plan de investigación y terce- ro, implementación de los resultados. La primera parte incluye: idea inicial y área del problema, revisión inicial de la litera- tura, definición especifica del problema a investigar, estima- ción de los sucesos potenciales de la investigación contemplada, segunda revisión de la literatura, selección del abordaje de la investigación, establecimiento de las hipótesis de la investiga- ción, selección de métodos y técnicas de recolección de datos, selección y desarrollo de los instrumentos de recolección de da- tos, diseño del plan de recolección de datos, identificación de la población y muestra considerada, estudios para abordar la re- colección de datos. La segunda parte incluye: implementación del plan de recolección de datos, implementación del plan de 10 análisis de datos, preparación del reporte de investigación. La tercera parte está formada por la difusión de los resultados y agitación para la acción. Estudio de un instrumento de evaluación de informes Suydam (1968) diseñó un instrumento para evaluar in- formes de investigación experimental educativa a partir de una síntesis de las sugerencias hechas por algunos expertos. En una recopilación hecha por él a partir de las listas de las sugerencias hechas por los expertos en el campo de la evalua- ción de investigación educativa, encontró que nueve pautas eran repetidas consistentemente y éstas formaron la base de su ins- trumento para evaluar informes de investigación experimental educativa. Estas nueve pautas son: la significación teórica y práctica del problema, la definición del problema, la adecua- ción del diseño y las preguntas de la investigación, el control de las variables por el diseñe, la adecuación de la muestra se- leccionada para el diseño y el propósito de la investigación, la validez y confiabilidad de los instrumentos o técnicas em- pleadas, la validez de las técnicas de análisis de datos, la interpretación y generalización de los datos y la adecuación del reporte de investigación. Suydam hizo dos estudios con el objeto de determinar la confiabilidad o grado de acuerdo entre evaluadores que em- plearon el instrumento. El primer trabajo en particular tuvo por objeto estudiar la confiabilidad del uso del instrumento, 11 sin que dicha confiabilidad se viera aumentada por el entrena- miento previo de los evaluadores y para ello el periodo de en- trenamiento fue limitado. Entre los artículos de investigación experimental seleccionados de los publicados en The American Teacher en el período de 1954 a 1965, escogió una muestra al azar de diez de dichos artículos para su reproducción y evalua- ción. Dentro de esta muestra seleccionada al azar, a su vez escogió al azar cinco artículos a los cuales les suprimió el nombre del autor y el año de la publicación, de tal forma de ha- cer posible el testar el efecto de la condición del autor y del año de publicación. Los evaluadores, en número de tres, eran candidatos al doctorado en educación elemental. Ellos efectua- ron las evaluaciones de los diez artículos independientemente, usando el instrumento de evaluación de informes de investigación propuesto por Suydam, encontrando éste, un coeficiente de corre- lación de .91 utilizando la fórmula de análisis de varianza para obtener el coeficiente de correlación entre evsluadores. Para medir la probable consistencia del uso del instru- mento por parte de un mismo evaluador se utilizó la fórmula de Snedecor para la confiabilidad de evaluaciones individuales. El coeficiente de confiabilidad encontrado con el uso de esta fórmu- la fue de .77. En el segundo trabajo, Suydam, tuvo por objeto medir la utilidad del instrumento para diversos tipos de profesionistas ligados con la evaluación de investigación educativa, y a quienes 12 supuestamente sólo es posible darles un entrenamiento limitado o nulo sobre dicho uso del imtrumento, para semejar esta con- dición en el estudio Suydam sólo consideró como orientación para los evaluadores las instrucciones dadas en el instrumento. Entre artículos de investigación experimental, tomados de los publicados en revistas de los Estados Unidos en el periodo de 1930 a 1965, Suydam seleccionó una muestra estratificada de diez de esos artículos, basando su estratificación en la fuente de la revista, la condición del autor y el año de la publica- ción. Con el objeto de establecer el efecto de la condición del autor, la fuente de la revista y el año de la publicación, estos datos fueron suprimidos en cinco de los diez artículos que forman la muestra aleatoria de artículos a evaluar, los cinco artículos fueron seleccionados al azar. Los evaluadores consi- derados en el estudio fueron doce distribuidos en la forma si- guiente: tres candidatos al doctorado en educación elemental, tres candidatos al doctorado en psicología educativa y tres pro- fesores en psicología educativa, teniendo como común denominador, estos grupos de evaluadores, el ser representativos de sectores interesados en evaluación de investigación educativa. La eva- luación de los diez artículos fue hecha independientemente por los evaluadores aplicando el instrumento de evaluación de infor- mes de investigación experimental propuesto por Suydam, encon- trando éste, un coeficiente de correlación entre evaluadores de .94 utilizando la fórmula de análisis de varianza para obtener el coeficiente de correlación entre evaluadores. Con la 13 fórmula de Snedecor para. la confiabilidad de evaluaciones indi- viduales el coeficiente de confiabilidad encontrado fue de .57. Estudio sobre una guía de evaluación de informes de investigación Strauss (1969) propuso un conjunto de lineamientos para analizar informes de investigación, principalmente de investiga- ción experimental. Estos lineamientos consisten en veinte cri- terios que fueron probados durante varios años en estudiantes que no hablan tenido entrenamiento formal en métodos de investi- gación por un lado y en algunas otras personas que habían tenido entrenamiento en diferentes disciplinas de la educación. Les criterios probados son relativamente obvios y simples de aplicar y relacionan algunos hechos del informe de investigación que son descuidados algunas veces. Los criterios propuestos por Strauss son: establecimiento del problema, trabajos previos citados, objetivos establecidos, hipótesis formuladas, presuposiciones hechas, población estudiada, extracción de la muestra, instru- mentos usados, examen del diseño, procedimiento seguido, seguri- dades tomadas, observaciones registradas, resultados registrados, interpretación estadística, discusión de interpretaciones, con- clusiones alcanzadas, limitaciones reconocidas, proyección de otros trabajos, mejoramientos sugeridos y claridad del informe. Sumario Los estudios anteriores permiten fundamentar la elec- ción de un mínimo de siete pautas de evaluación para un 14 instrumento de evaluación de proyectos de investigación experi- mental. También permiten considerar que un informe de investi- gación completo se puede dividir en dos partes, una es el pro- yecto de investigación y la otra es el informe de investigación. Las siete pautas que han sido seleccionadas, tomando en cuenta fundamentalmente el trabajo de Suydam, coinciden con las pautas seleccionadas también por otros investigadores así como con las pautas mencionadas en la revisión de literatura. CAPÍTULO III HIPÓTESIS Y DISEÑO EXPERIMENTAL En el capítulo anterior se discutió el marco teórico del presente trabajo, en el presente capitulo se da introduc- toriamente las hipótesis convencionales a ser testadas en el diseño experimental, a continuación se presentan las variables relevantes de dicho diseño y finalmente se informa al lector de los modelos estadísticos utilizados para testar las hipóte- sis bajo estudio. Hipótesis Para poder analizar los efectos de adaptación por el autor del instrumento diseñado por Suydam se formularon las siguientes hipótesis: Hipótesis uno: la media de los puntales obtenidos por los evaluadores que aplicaron el instrumento de evaluación de proyectos de investigación experimental es igual a la media de los puntajes obtenidos por los evaluadores que no aplicaron el instrumento. El valor crítico para la confirmación de la hipótesis fue establecido a un nivel de significación de 0.05. Hipótesis dos: la desviación estándar de los puntajes obtenidos por los evaluadores que aplicaron el instrumento de 15 16 evaluación de proyectos de investigación experimental es igual a la desviación estándar de los puntajes obtenidos por los eva- luadores que no aplicaron el instrumento. El valor crítico para la confirmación de la hipótesis fue establecido a un nivel de significación de 0.05. Diseño experimental Este subtítulo comprende la descripción de las varia- bles relevantes del estudio en un principio para posteriormente también describir como fueron testadas las hipótesis convencio- nales sujetas a estudio. La variable independiente--es la evaluación del traba- jo y constará de dos niveles: el primer nivel será la evalua- ción con instrumento y el segundo la evaluación sin instrumen- to. La variable dependiente--los puntajes dados por los evaluadores. Las constantes--el nivel del curso, la escuela, el profesor del curso. kszeriitlentalGruoe) --tomando como base la premisa de que el conocimiento del vocabulario ha sido frecuentemente usa- do como un índice del conocimiento de la persona de un campo especializado Ebel (1960), se aplicaron a los integrantes de la población bajo estudio dos inventarios: uno de vocabulario 17 básico en medición y evaluación educativa Ebel (1960) traducido por el investigador y agregada una lista de los términos del vo- cabulario en español y otro de vocabulario básico en investiga- ción educativa elaborado por el investigador, completado con una lista de los términos del vocabulario en inglés. Para el estudio, los sujetos fueron asignados al azar en dos grupos cada uno de los cuales contribuyó al establecimiento de los niveles de la variable independiente como se describirá en la selección de la muestra. El modelo estadístico--para el testado de la hipótesis uno se usó el modelo Ilt /I de Student, el cual fue seleccionado debido a que la muestra empleada fue menor que 30 y por lo tan- to se hizo necesario utilizar una distribución muestral de es- tadísticos para pequeñas muestras como lo señala la teoría es- tadística. El test hecho fue de dos colas. Para testar la hipótesis dos, la probable diferencia en variabilidad, medida en desviación estándar, entre los pun- tajes obtenidos por los evaluadores que utilizaron el instru- mento y los que no lo emplearon, se hizo una prueba F de sig- nificación de la diferencia entre desviaciones estándar en muestras pequeñas; esta prueba fue seleccionada debido a que la muestra considerada es menor de 30, muestra pequeña, y no correlacionadas. El test aplicada fue bilateral y a un nivel de sig- nificación de 0.05. Los grados, de libertad de este test fue de N-I para ambos puntajes debido a que el número de observaciones es igual para ambos grupos de evaluadores, CAPÍTULO IV METODOLOGÍA Se presentaron en el capítulo anterior las hipótesis convencionales y el diseño estadístico. En este capítulo con el objeto de describir el análisis de datos como punto final de una metodología empleada, se hace necesario proceder a de- finir primeramente la población bajo estudio, para inmediata- mente realizar la selección de la muestra. A continuación se describe la selección de materiales usados por todos los eva- luadores en el experimento así como el instrumento de evalua- ción empleado por los evaluadores del grupo experimental y los instrumentos de medición del conocimiento de vocabulario bási- co de medición y evaluación educativa y de medición del cono- cimiento de vocabulario básico de investigación educativa. Se termina este capítulo con el análisis de datos precedido de la descripción de la recolección de datos pertinentes al estudio. Población La población sobre la cual se hizo este estudio, estu- vo constituida por un total de 16 alumnos de la Maestría en Me— dición, Evaluación e Investigación Educativa de la Universidad del Valle de Guatemala que cursaron sus estudios durante el año académico de 1974. Esta población se encontró constituida por profesionales en las siguientes ramas: nueve pedagogos, dos 18 19 psicólogos, dos licenciados en filosofía y letras, una economis- ta, un odontólogo y un matemático; todos estos profesionales tienen experiencia en la docencia que varía desde un mínimo de dos años hasta un máximo de 15. La edad promedio de la pobla- ción fue de 29 años y estuvo constituida por cuatro mujeres y doce hombres. Selección de la muestra La muestra para este estudio se obtuvo haciendo una lista de los integrantes de la población descrita anteriormen- te asignándoles a cada uno un número y utilizando una tabla de números aleatorios se seleccionó seis integrantes de la pobla- ción. De estos seis se decidió, por medio de una moneda, la mitad que utilizaría el instrumento y la mitad que no. Uno de los sujetos seleccionados tuvo que ser sustituido arbitraria- mente por otro por causas ajenas a este investigador. Selección de materiales El primer problema con que se encontró el autor fue el escoger la literatura apropiada para ser evaluada en el presen- te estudio. La selección de los artículos a ser considerados en la investigación de que se informa, se hizo después de una cuidadosa revisión de los números existentes de la Revista In- teramericana de Psicología a partir de 1969 a 1974 y de los nú- meros existentes de la Revista Mexicana de Psicología de 1963 a 1971, en la biblioteca de la Universidad del Valle de Guatemala. 20 De la revisión, del contenido de las revistas anteriormente men- cionadas, se obtuvieron 15 artículos que correspondían a otros tantos informes de investigación experimental. Estos artículos seleccionados fueron numerados en una lista hecha a propósito y por medio de una tabla de números aleatorios se escogieron al azar tres artículos para ser reproducidos y evaluados posterior- mente por la muestra de evaluadores seleccionados dentro de la población considerada para el estudio; estos artículos fueron: El "dibujo de la persona" en esquizofrénicos y normales y el MMPI (español) aplicado a jóvenes mexicanos: influencia de sexo, edad y nivel de inteligencia cuya fuente fue la Revista Inter- americana de Psicología y de la Revista Mexicana de Psicología el articulo Influencia del prejuicio del experimentador sobre la observación de un evento físico. Descripción del instrumento En este subtítulo se describirán los tres instrumentos empleados en este estudia; el primero que se presentará será el instrumento propuesto para evaluar proyectos de investigación experimental educativa y finalmente dos instrumentos más que corresponden a dos inventarios, uno de conocimiento de vocabu- lario básico en medición y evaluación educativa y otro de voca- bulario básico en investigación educativa. Instrumento propuesto para evaluar proyectos--el ins- trumento propuesto para evaluar proyectos de investigación ex- perimental educativa (ver Anexo A) es, en parte, una adaptación 21 del instrumento de evaluación de informes de investigación ex- perimental propuesto por Suydam (1968), al cual se le anexó una guía para el instrumento. El instrumento para evaluar proyectos de investiga- ción experimental educativa, está constituido por seis grandes títulos: el problema, relación problema-diseño, presuposicio- nes, extracción de la muestra, instrumentos y técnicas de ob- servación y estadística. El primer gran título es el problema y como su nombre lo indica contiene las pautas de evaluación relacionadas con el problema propiamente dicho, estas pautas son la significa- ción del problema por una parte y por otra la definición del problema. Cada una de estas dos pautas se encuentran a su vez divididas en sub-pautas que son consideradas como puntos impor- tantes dentro de cada pauta a evaluar. Para la pauta signifi- cación del problema las sub-pautas correspondientes son: el propósito y el origen del problema; por otra parte para la pau- ta definición del problema las sub-pautas correspondientes son: la pregunta, la hipótesis, las variables dependientes o inde- pendientes. Junto a cada sub-pauta (ver Anexo A) están dados dos adjetivos bipolares, es decir adjetivos cuyo significado son extremos en cuanto a una cualidad considerada, que permitan al evaluador fijar su atención sobre los mismos aspectos perti- nentes de cada sub-pauta. El segundo gran título es la relación problema-diseño que contiene la pauta de evaluación que corresponde al grado 22 de adecuación del diseño con respecto al problema que se inves- tiga. Esta pauta contiene las sub-pautas: hipótesis, procedi- miento, tratamiento y duración. Junto a cada sub-pauta (ver Anexo A) están dados los adjetivos bipolares apropiados. El tercer gran título presuposiciones, contiene la pauta de evaluación que corresponde al grado en que el diseño controla las variables. Está compuesta de una serie de sub- pautas que son: variables independientes, aplicación de tra- tamiento, factores de grupo o profesor, prejuicio del sujeto o experimentador, factores extraños y factores individuales. Junto a cada sub-pauta (ver Anexo A) están dados los adjetivos bipolares apropiados. El cuarto gran titulo extracción de la muestra, con- tiene la pauta de evaluación que permite evaluar el grado de adecuación de la muestra seleccionada. con respecto al diseño y propósito de la investigación. Contiene las sub-pautas: po- blación, extracción de la muestra, aplicación de tratamiento, tamaño y características. Todas ellas con sus respectivos ad- jetivos bipolares (ver Anexo A). El quinto gran título instrumentos y técnicas de ob- servación, permite evaluar el grado de validez y confiabilidad de las técnicas de observación y de los instrumentos. Las sub- pautas que incluye son: validez y confiabilidad para la pobla- ción, procedimientos de recolección de datos. Junto a cada sub-pauta (ver Anexo A) están dados los adjetivos bipolares apropiados. 23 Finalmente el sexto gran título estadística, contiene la pauta de evaluación que permite evaluar el grado en el que los estadísticos empleados para analizar los datos se ajustan a las características de las variables. Contiene las sub-pautas: tests estadísticos y datos. Cada sub-pauta está acompañada de sus respectivos adjetivos bipolares (ver Anexo A). Cada pauta de evaluación contiene una escala de cinco puntos dónde el evaluador hará su evaluación. El punto uno de la escala corresponde a excelente, el punto dos a muy bueno, el punto tres a bueno, el punto cuatro a regular y el punto cinco a malo. El puntaje total de la evaluación estará dado por la suma de los puntajes obtenidos sobre cada una de las escalas de cinco puntos de las siete pautas de evaluación dando un puntaje de cinco al punto uno de la escala, un puntaje de cuatro al pun- to dos de la escala, un puntaje de tres al punto tres de la esca- la, un runtaje de dos al punto cuatro de la escala y un puntaje de uno al punto uno de la escala. El puntaje total variará de un mínimo 'de uno a 35 puntos. Estos puntajes fueron reducidos a una escala de 0-100 para poder compararlos con los puntajes dados por los evaluadores que no utilizaron el instrumento. Como parte del instrumento propuesto para evaluar pro- yectos de investigación experimental educativa, el investigador hizo una guía para el instrumento adaptado de Suydam (ver Anexo B). Esta guía intenta dar los aspectos fundamentales de cada una de las pautas de evaluación consideradas. También ayuda a 24 que se constituya en una primera aproximación global de la in- vestigación por parte del estudiante que inicia una investiga- ción y le permita situarse rápidamente en cada uno de los as- pectos que constituirán su investigación. Inventarios--con el objeto de dar un primer paso en la evaluación de los conocimientos de los cursos de Medición, Evaluación e Investigación Educativa que permitieran caracteri- zar mejor a la población bajo estudio, se aplicaron dos inven- tarios denominados uno Inventario de medición del conocimiento de vocabulario básico en medición y evaluación educativa y otro Inventario de medición del conocimiento de vocabulario básico en investigación educativa. Para facilidad de ubicación del lector se reescribe la premisa que fundamenta la aplicación de dichos inventarios y que fue dada en el diseño experimental. La premisa es: el conocimiento del vocabulario ha sido frecuen- temente usado como un indice del conocimiento de la persona de un campo especializado Ebel (1960). El Inventario de medición del conocimiento de vocabu- lario básico de medición y evaluación educativa Ebel (1960)-- es- te inventario está constituido de 149 términos de uso común en medición educativa, tomados de varios glosarios de términos de medición, prevaleciendo para su selección el juicio del construc- tor. El investigador para facilitar el uso del inventario agregó una lista complementaria de los 149 términos en español. Junto a cada término del vocabulario se encuentra una escala de cuatro 25 puntos cada uno de los cuales en grado ascendente indicó el co- nocimiento del término considerado por parte del sujeto de la población bajo estudio (ver Anexo C). El inventario de medición del conocimiento de vocabu- lario básico en investigación educativa--está constituido de 120 términos de uso común en investigación educativa, tomados de varios glosarios de términos de investigación existentes en libros de investigación educativa, prevaleciendo para su selec- ción en el juicio del investigador la experiencia en el curso de Medición, Evaluación e Investigación Educativa desarrollada principalmente en la materia de Diseño experimental. Junto a cada término del vocabulario se encuentra una escala de cuatro puntos cada uno de los cuales en grado ascendente indicó el co- nocimiento del término considerado por parte del sujeto de la población bajo estudio (ver Anexo D). Recolección de datos A cada evaluador, le fue entregada una copia del ins- trumento de evaluación de proyectos de investigación experimen- tal para emplearla en la evaluación de cada articulo. A los evaluadores que aplicaron el instrumento sólo se les hicieron algunas observaciones acerca del uso del instrumento, pero no les fue dado un entrenamiento previo del instrumento y a los evaluadores que no aplicaron el instrumento se les recomendó que calificaran cada articulo en la escala de 0-100. 26 El grupo experimental que empleó el instrumento, así como el de control, que no lo empleó, efectuaron su evaluación independientemente tanto de un grupo a otro como entre cada evaluador y los demás. El tiempo empleado por cada evaluador fue a discreción para que se realizara la evaluación totalmen- te. Análisis de los datos En este subtítulo se presenta la relación formal entre las hipótesis planteadas y los resultados obtenidos, los resul- tados del test F de diferencias de desviaciones estándar y en último término el resumen de los resultados obtenidos de la aplicación de los inventarios descritos en, el sub-título de ins- trumentos. Para facilidad en la lectura del presente informe de investigación, los enunciados de las hipótesis planteadas serán escritas nuevamente antes de dar los resultados que permitan es- tablecer la relación formal entre las hipótesis y sus resultados. Hipótesis uno: la media de los puntajes obtenidos por los evaluadores que aplicaron el instrumento de evaluación de proyectos de investigación experimental es igual a la media de los puntajes obtenidos por los evaluadores que no aplicaron el instrumento. Los resultados obtenidos en esta investigación se en- cuentran tabulados en el cuadro 4.1. 27 Las medias se testaron con el modelo ntu de Student mediante un ensayo bilateral. CUADRO 4.1 Medias de la variable independiente "t" observado y "t" crítico Variable independiente Sin Con "t" instrumento instrumento Media Media observado "t" critico Artículo Ia/ Artículo IIb/ Artículo IIIc 73.33 83.33 88.33 86.67 80.00 88.57 3.12± .47 .06 2.78 2.78 2.78 + Significativo al nivel del 0.05 a/ El "dibujo de la persona" en esquizofrénicos y normales. b/ Influencia del prejuicio del experimentador sobre la ob- servación de un evento físico. c/ El Mili (espalol) aplicado a jóvenes mexicanos; influen- cias de sexo, edad y nivel de inteligencia. Los resultados encontrados, en el cuadro 4.1, al tes- tar la hipótesis uno bajo estudio para el articulo I--el "di- bujo de la persona" en esquizofrénicos y normales-- fue que ésta resultó significativa; para el articulo II--influencia del prejuicio del experimentador sobre la observación de un evento físico-- fue que la hipótesis resulté no significativa y para 28 el articulo III--el MM PI (español) aplicado a jóvenes mexicanos influencia de sexo, edad y nivel de inteligencia-- la hipótesis resultó no significativa. Hipótesis dos: la desviación estándar de los puntajes obtenidos por los evaluadores que aplicaron el instrumento de evaluación de proyectos de investigación experimental es igual a la desviación estándar de los puntajes obtenidos por los eva- luadores que no aplicaron el instrumento. En el cuadro 4.2 se presentan los resultados obtenidos en el test F de significación de diferencia de desviaciones es- tándar para muestras pequeñas. Las desviaciones estándar se testaron con el estadísti- co F mediante un ensayo bilateral, a un nivel de significación de 0.05. CUADRO 4.2 Test F de significación de diferencia de desviaciones estándar para muestras pequeñas Variable independiente Sin Con instrumento instrumento F F Media D.E. Media D.E. g.l. observada crítico n = 9 n = 9 81.66 7.44 85.08 11.1 8 2.24 3.23 29 El resultado encontrado, en el cuadro 4.2, al testar la significación de la diferencia de desviacieJes estándar para los puntajes obtenidos por los dos tipos de evaluadores no es significativa al nivel de 0.05, es decir, no hay prueba alguna de que los dos, grupos difieran en variabilidad. Resumen de resultados de inventarios Con el objeto de calcular los porcentajes de conoci- miento de cada término, de los inventarios de medición del cono- cimiento de vocabulario básico en medición y evaluación educati- va y de medicién del conocimiento de vocabulario básico en in- vestigación edUcativa, por parte de los 16 alumnos de la maes- tría se asignó', tres puntos para cada término que podía ser iden- tificado y un ipunto para cada término que únicamente haya sido alguna vez escpchado o visto. Combinando los puntajes de los 16 alumnos en cada ítem y dividiendo por el máximo puntaje posible, se obtiene la Figura de conocimiento de cada término y que es dada en los cuadros 4.3 y 4.4 para los respectivos inventarios ya mencionados. 30 CUADRO 4.3 Figura de conocimiento para el inventario de medición del conocimiento de vocabulario básico en medición y evaluación educativa Vocabulario Figura de conocimiento 1. 2. 3. Análisis factorial Aprendizaje de memoria Atenuación 97.6% 97.6 40.5 4. Batería de aptitudes diferenciales 95.2 5. Batería de tests 100.0 6. Calificación ponderada 90.5 7. Clasificación Q, (una escala) 69.0 8. Clave empírica 64.3 9. Clave para calificar 100.0 10. Cociente de inteligencia IQ 97.6 11. Cociente de rendimiento 85.7 12. Coeficiente de confiabilidad 100.0 13. Coeficiente de correlación 100.0 14. Coeficiente fi (phi) 69.0 15. Contador gráfico de ítemes 52.4 16. Confiabilidad de división por mitad 100.0 17. Confiabilidad test-retest 100.0 18. Conjunto de respuestas 83.3 19. Consistencia interna 92.9 31 Continúa Cuadro 4.3 Vocabulario Figura de conocimiento 20. Corrección por adivinación 88.1 21. Correlación Itera-test 83.3 22. Criterio 95.2 23. Criterio interno 83.3 24. Conteo de respuestas 88.1 25. Cuestionario 100.0 26. Cuartiles 100.0 27. Crédito por medio de examen 85.? 28. Deciles 95.2 29. Desviación 100.0 30. Desviación estándar 100.0 31. Destrezas básicas 88.1 32. Diagrama de dispersión 95.2 33. Determinantes específicos 57.1 34. Diferencia significativa 97.6 35. Dispersión. 100.0 36. Distractores 100.0 37. Distribución asimétrica 100.0 33. Distribución bimodal 100.0 39. Distribución de frecuencia 100.0 40. Distribución normal 100.0 41. Distribución de puntajes 100.0 32 Continúa Cuadro 4.3 Vocabulario Figura conocimiento 42. 43. 44. 45. 46. Distribución rectangular Edad mental Efecto de Halo Efecto de práctica Ejercicio de clasificación 52.4 95.2 71.4 83.3 83.3 47. Ejercicio de pareamiento 88.1 48. Ejercicio de prueba 35.7 49. Enunciado del ítem 100.0 50. Error de muestreo 97.6 51. Error estándar de medición 95.2 52. Error de medición 95.2 53. Error probable 81.0 54. Error de varianza 95.2 55. Escala 95.2 56. Escala de edad 88.1 57. Escala de calidad 66.7 58. Escala gráfica de clasificación 78.6 59. Estadístico 100.0 60. Evaluación 100.0 61. Evaluación subjetiva 100.0 62. Examen 100.0 63. Examen de ensayo 100.0 33 Continúa Cuadro 4.3. Vocabulario Figura de conocimiento 64. 65. 66. Examen externo Escala de puntos Formas equivalentes 81.0 92.9 100.0 67. Fórmula de Kuder-Pichardson 97.6 68. Formula para calificar (cuando se restan % malas de buenas) • 97 6 . 69. Fórmula de Spearman-Brown 97.6 70. Frecuencia acumulada 97.6 71. Grupo de control 100.0 72. Heterogeneidad 100.0 73. Homogeneidad 100.0 74. Incidente crítico 59.5 75. Indice de discriminación 97.6 76. Inventario 95.2 77. Indice de dificultad 97.6 78. Item de falso-verdadero 100.0 79. Item de mejor respuesta 92.9 80. Item de selección múltiple 100.0 81. Item de test 97.6 82. Máquina calificadora IBM 97.6 83. Marca 952 84. Media 100.0 85. Mediana 100.0 34 Continúa Cuadro 4.3 Vocabulario Figura de conocimiento 86. Medición 100.0 87. Moda 100.0 88. Muestra aleatoria 100.0 89. Muestra representativa 100.0 90. Norma 100.0 91. Norma de edad 100.0 92. Norma de grado 97.6 93. Números aleatorios 100.0 94. Perfil 97.6 95. Pertinencia 78.6 96. Probabilidad 100.0 97. Promedio 100.0 98. Prueba de rapidez 100.0 99. Puntaje 100.0 100. Puntaje burdo 100.0 101. Puntaje compuesto 88.1 102. Puntaje comparable 97.6 103. Puntaje critico 85.7 104. Puntaje derivado 78.6 105. Puntaje estándar 97.6 106. Puntaje estándar normalizado 97.6 107. Puntaje estaninos 85.7 35 Continúa Cuadro 4.3 Figura de Vocabulario conocimiento ooo 108. Puntaje de razón 109. Puntaje T 110, Puntaje verdadero 111. Puntales z 112. Pureza (de un test) 113. Rango de puntajes, 114. Rango percentil 115. Rasgo, característica 116. Regresión 117. Sigma 118. Socionotría 119. Sub-test 120. Sistema de honestidad 121. Tabla de especificaciones 122. Tabla de. expectación 123. Test 124. Test de analogías 125. Test de aptitudes 126. Test de calificación simultánea 127. Test de completación 128. Test de ejecución (de actuación) 129. Test de interpretación 69.0 95.2 88.1 73.8 92.9 97.6 97.6 38.1 97.6 97.G 100.0 97.6 57.1 100.0 81.0 100.0 97.6 100.0 83.3 92.9 100.0 69.0 36 Continúa Cuadro 4.3 Vocabulario Figura de conocimiento 130. Test de libro abierto 100.0 131. Test de maestría 100.0 132. Test estandarizado 100.0 133. Test de tiempo límite 97.6 134. Test de diagnóstico 100.0 135. Test no verbal 97.6 136. Test libre de cultura. 76.2 137. Test de potencia 64.3 138. Test proyectivo 97.6 139. Test objetivo 100.0 140. Test de rendimiento 100.0 141. Test de Rorschach 92.9 142. Wcnica de selección ftz.,zada 64.3 143. Test- limitado por ejecusión 69.0 144. Validación cruzada 69.0 145. Validez aparente 95.2 146. Validez de contenido 97.6 147. Validez estadística 90.5 148. Validez 90.5 149. Varianza 92.9 Combinando las respuestas de los estudiantes de la maestría se encontró que el 3.1 por ciento indicaron ningún 37 contacto previo del. término, 3.1 por ciento solamente habían es- cuchado del término, 10.67 por ciento tuvieron algún conocimien- to del término y 83.57 por ciento tuvieron un entendimiento ca- bal del término. La media para la figura de conocimiento de to- dos los ítemes fue aproximadamente de 90 por ciento. CLADPO L.4 Figura de conocimiento para el inventario de medición del conocimiento de vocabulario básico en investigación educativa Vocabulario Figura de conocimiento 1. Análisis de contenido 76.2 2. Bloqueo incompleto 54.8 3. Comparación 100.0 4. Comparación ortogonal 100.0 5. Confiabilidad 100.0 6. Confiabilidad del observador 85.7 7. Constructo hipotético 85.7 8. Correlación 100.0 9. Cuadrados conjuntos 7.14 10. Cuadrado estándar 47.6 11. Cuasiexperimento 97.6 12. Cuestionario 100.0 38 Continúa Cuadro 4.4 Figura Vocabulario conocimiento 13. Datos básicos de referencia 78.6 14. Datos iniciales de referencia 73.8 15. Definición operacional 85.7 16. Desviación 97.6 17. Diseño de poste t ,solamente 100.0 18. Diseño de grupo paralelo 95.2 19. Diseño factorial 97.6 20. Diseño pretest-.postest 100.0 21. Distribución de muestras 97.6 22. Distribución normal multivariada 66.7 23. Eficiencia relativa de un estadístico 78.6 24. Encuesta 100.0 25. Entrevista 100.0 26. Entrevista estructurada 100.0 27. Entrevista no estructurada 100.0 28. Error 100.0 29. Error experimental 97.6 30. Error por azar 97.6 31. Error sistemático 78.6 32. Error tipo T 100.0 33. Error tipo II 100.0 34. Escala graduada 90.5 39 Continúa Cuadro 4.4 Vocabulario Figura de conocimiento 35. 36. Estadística Estimador 100.0 100.0 37. Estimador consistente 88.1 38. Estimador eficiente 83.3 39. Estimador insesgado 97.6 40. Evaluación por rangos 83.3 41. Fuente primaria 95.2 42. Fuente secundaria 995:: 43. Generalización 97.6 44. Grado de libertad 97.6 45. Grupo de control 100.0 46. Hipótesis 100.0 47. Hipótesis declarativa 78.6 48. Hipótesis de investigación 100.0 49. Hipótesis estadística 100.0 50. Hipótesis interrogativa 85.7 51. Hipótesis nula 100.0 52. Información relativa 71.4 53. Interacción 97.6 54. Intervalo de confianza 100.0 55. Investigación aplicada 100.0 56. Investigación básica 100.0 Continúa Cuadro 4.4 40 Vbcabulario Figura de conocimiento /o 90.5 92.9 100.0 100.0 100.0 100.0 81.0 100.0 76.2 59.5 97.6 92.9 76.2 73.8 100,0 71.4 100.0 100.0 97.6 100.0 100.0 90.5 73.8 57. Investigación de campo 58. Investigación de laboratorio 59. Investigación descriptiva 60. Investigación experimental 61. Investigación fundamental 62. Investigación histórica 63. Investigación pura 64. Límites de confianza 65. Matriz de varianza-covarianza 66. Método de distribución libre 67. Medición 68. Método no paramétrico 69. Modelo de efectos aleatorios 70. Modelo de efectos fijos 71. Modelo estadístico 72. Modelo mixto 73. Muestra 74. Muestra aleatoria 75. Nivel de significancia 76. Observación 77. Parámetro 78. Pares combinados o apareamiento 79. Placebo Continúa Cuadro 4.4 Vocabulario Figura de conocimiento 80. Población 81. Población hipotética 82. Postulado 83. Pregunta abierta 84. Pregunta cerrada 85. Procedimiento interferente 86. Probabilidad 87. Prueba estadística 88. Región crítica 89. Región de aceptación 90. Relación de causa-efecto 91. Relación funcional 92. Replicación 93. Selección al azar 94. Significación estadística 95. Significación práctica 96. Suma de cuadrados ajustada 97. Teoría 98. Teoría de la decisión estadística 99. Test de potencia 100. Test estadístico 101. Test de razón verosimilitud 100.0 92.9 92.9 97.6 97.6 69.0 100.0 100.0 100.0 100.0 97.6 69.0 83.3 100.0 97.6 71.4 100.0 100.0 83.3 69.0 100.0 100.0 42 Continúa Cuadro 4.4 Vocabulario Figura de conocimiento 102. 103. 104. Test más poderoso Tratamiento Tratamientos cruzados 88.1 97.6 76.2 105. Tratamiento incluido 66.7 106. Unidad de análisis 69.0 107. Unidad de muestreo 88.1 108. Universo 100.0 109. Validez 100.0 110. Validez externa 97.6 111. Validez interna 97.6 112. Valor crítico 97.6 113. Valor esperado 100.0 114. Variable 100.0 115. Variable-estímulo 85.7 116. Variable independiente 100.0 117. Variable aleatoria 97.6 118. Variable dependiente 100.0 119. Variable interviniente 90.5 120. Variable respuesta 66.7 Combinando las respuestas de los estudiantes de la maes- tría se encontro que el 2.7 por ciento indicaron ningún contacto previo del término, 3.6 por ciento solamente habían escuchado del término, 14.9 por ciento tuvieron algún conocimiento del término y 80.1 por ciento tuvieron un entendimiento cabal del término. La media para la figura de conocimiento de todos los ítemes fue aproximadamente de 90 por ciento. CAPÍTULO V DISCUSIÓN, CONCLUSIONES, LIMITACIONES Y RECOMENDACIONES En el capítulo anterior se concluyó parcialmente este informe hasta el análisis de datos. En este capitulo se pre- senta la discusión de los resultados encontrados en el estudio, se obtienen además algunas conclusiones, se señalan ciertas li- mitaciones del estudio y se hace una serie de recomendaciones para otros estudios relacionados con el tema de evaluación de proyectos de investigación educativa. Discusión El hecho de que la hipótesis uno haya resultado signi- ficativa para el articulo I indica que el uso o no del instru- mento parece establecer una diferencia real en la evaluación del artículo I. En cambio para los artículos II y III la hipó- tesis' uno no es rechazada, es decir, que no existe evidencia pa- ra indicar una diferencia real en la evaluación de informes cuando ésta se hace con o sin instrumento. Por otra parte, el hecho de que el test F de significación de diferencia de des- viaciones estándar con que se testó la hipótesis dos no haya re- sultado significativo permite pensar que no existió beneficio en el uso del. instrumento propuesto en cuanto a la variabilidad de los puntajes obtenidos por los evaluadores que hicieron uso de él, con respecto a los evaluadores que no lo usaron. 44 1+5 Una de las causas que talvez influyó en estos resulta- dos, es el hecho de que el presente trabajo es una primera in- vestigación del investigador y está hecha bajo las limitacio- nes de experiencia, tiempo y circunstancias favorables propias de este tipo de trabajo. Las causas que talvez influyeron en estos resultados se pueden deber a las restricciones que tuvo el investigador en la selección de literatura científica pertinente al estudio. Una de ellas podría ser la escasez de literatura científica en español de la biblioteca de la Universidad del Valle de Guate- mala. Otra causa posible de los resultados obtenidos fue la falta de dominio del inglós de la población bajo estudio que obligó al investigador a seleccionar los artículos sólo de dos fuentes, con el agravante de que dichas fuentes eran de psico- logía, por lo que posiblemente no existió una verdadera repre- sentatividad del contenido de los artículos en cuanto al área educativa. Un aspecto más que pudo influir en los resultados ob- tenidos es el hecho de que la muestra seleccionada, haya sido pequeña y que dentro de ella hayan quedado incluidos dos psi- cólogos quienes por razón de su profesión tuvieron por lo tan- to mayor familiaridad con el material evaluado, este hecho pu- do haber dado un sesgo al estudio. Otra causa factible del sesgamiento de los resultados es el posible contacto previo de los evaluadores con algunos: -artículos a evaluar debido a la revisión de literatura llevada por el grupo de maestría, de donde se extrajo la muestra de evaluadores, para la elaboración de su tesis de grado. Las condiciones en que se hizo el estudio pudieron ha- ber sido otro factor que haya influido en los resultados obte- nidos; las condiciones de evaluación se dieron en un periodo de trabajos y exámenes para la población bajo estudio. La falta de entrenamiento con el instrumento probable- mente haya contribuido a los resultados obtenidos. Otras variables a considerar como factores de sesgo del estudio fueron los antecedentes académicos, experiencia como evaluadores, de los integrantes de la población bajo estudio. La carencia de proyectos a evaluar hizo necesario tomar como elementos de evaluación informes de investigación experi- mental que necesariamente introdujeron cierta perturbación a los evaluadores por encontrar otras características en el artículo a evaluar además de las propias del proyecto. Conclusiones Basado en la evidencia estadística que fue obtenida al testar las hipótesis y analizar los datos, se puede concluir: 1. El instrumento propuesto no permitió obtener una diferencia significativa entre los puntajes 47 obtenidos por los evaluadores que utilizaron instrumen- to y los que no lo emplearon. 2. El instrumento propuesto no permitió obtener una menor dispersión de los puntajes obtenidos por los evaluadores que usaron el instrumento y los que no lo emplearon. Limitaciones del estudio La realización del presente estudio se hizo bajo cier- to número de limitaciones que enmarcan su generalización: 1. El estudio sólo se hizo sobre una población perte- neciente al grupo de maestría de la Universidad del Valle de Guatemala por lo que sus conclusiones deben quedarse dentro de esta población. 2. El instrumento propuesto para evaluar proyectos de investigación experimental educativa dadas sus ca- racterísticas propias no permite que los resultados ob- tenidos sean aplicables a otro tipo de instrumento de evaluación que no tenga propósitos y características semejantes al propuesto. Recomendaciones Las siguientes recomendaciones propuestas por el inves- tigador, para futuras investigaciones en el tema de evaluación de proyectos de investigación, toman la siguiente forma: 48 1. En la selección de artículos a evaluar se podría pensar en traducciones de alta calidad, de aque- llos artículos que fueran seleccionados al azar de entre toda la literatura existente en la Biblioteca de la Universidad del Valle de Guatemala. 2. La carencia de croyectos para ser evaluados pue- de ser superada con la creación de un archivo de proyectos de investigación que se podría constituir con los proyectos de investigación presentados por los alumnos de la maestría, tanto en el curso de Di- serio experimental como en el Seminario. 7 Se podría ampliar el origen de los evaluadores considerando como posibles participantes del ex- perimento al cuerpo de investigadores de las diferen- tes Universidades de Guatemala que se encuentren in- volucrados en la evaluación de investigación. 4. Con el objeto de superar la falta de entrenamien- to con el instrumento propuesto por parte de los evaluadores se sugiere la inclusión dentro del curso de Diseño experimental de unas sesiones dedicadas al empleo de él y a la crítica del mismo para lograr su buen uso. 5. Posiblemente se aumentaría la riqueza de la infor- mación con la inclusión de una escala de cinco 49 puntos entre los adjetivos bipolares de cada sub-pauta. Esta escala permitiría al evaluador graduar su crite- rio. 6. La realización de estudios piloto para mejorar la confiabilidad y validez del instrumento. ANEXOS 50 ANEXO A INSTRUMENTO PARA EVALUAR PROYECTOS DE INVESTIGACIÓN INSTRUCCIONES El siguiente instrumento incluye siete pautas de evalua- ción. Antes de evaluar cada pauta considere cada uno de los in- cisos que incluye ésta, seguidos de adjetivos que indican los extremos del continuo sobre el cual debe evaluar dichos aspec- tos. No responda a estos incisos, sólo están destinados a enfo- car la atención de todos los evaluadores sobre los mismos aspec- tos pertinentes de cada pauta. La calidad del proyecto se eva- lúa en términos de cada una de las siete pautas de evaluación usando para cada tos: una de ellas la siguiente escala de cinco pun- 1. Excelente: incluye todos los requisitos de la pauta de eva- luación planteada; nada esencial se podría agre- gar.. 2. Muy bueno: incluye la mayoría de los requisitos. 3. Bueno incluye aproximadamente la mitad de los requisi- tos. 4. Regular : contiene muy pocos requisitos. 5. Malo : no incluye ninguno o demasiados pocos de los re- quisitos. 51 52 Para indicar su evaluación de las pautas en las pági- nas, siguientes, tache con una cruz el número seleccionado, en la escala de cinco puntos, su evaluación para cada punto, por lo que son siete evaluaciones para cada proyecto. EL PROBLEMA 1. Grado en el que el problema seleccionado es significa- tivo para la teoría o para la práctica. - 2 - 3 - 4 - 5 a. Propósito (importante - no importante) b. Origen del problema 1) Justificación (válida - no válida) 2) Investigación previa (adecuada - inadecuada) 2. Claridad con la que se define el problema 1 - 2 - 3 4 - 5 a. Pregunta (operacional - vaga) b. Hipótesis (relevante - irrelevante) (lógica - ilógica) c. Variable(s) inde- pendiente(s) (operacional - vaga) d. Variable(s) depen- diente(s) (operacional - vaga) II. RELACIÓDJ PROBLEMA - DISEÑO 3. Grado en el que el diseño es adecuado para investigar el problema planteado. 53 1 - 2 - 3 - 4 - 5 a. Hipótesis b. Procedimiento c. Tratamiento d. Duración III. PRESUPOSICIONES (testable - (claro - no (replicable (adecuado - (adecuada - no testable) claro) - no replicable) inadecuado) inadecuada) 4. Grado en el que el diseño controla las variables l- 2 - 3 - 4 - 5 a. Variable(s) inde- pendiente(s) (contaminada - no contaminada) b. Aplicación de tra- c. tamiento Factores de grupo (riguroso - no riguroso) d. o profesor Prejuicios del su- jeto o experimen- (controlado - no controlado) tador (controlado - no controlado) e. f. Factores extraños Factores indivi- (controlado - no controlado) duales (controlado - no controlado) IV. EXTRACCIÓN DE LA MUESTRA 5. Grado en que la muestra seleccionada es adecuada para el diseño y los propósitos de la investigación. 54 1 - 2 - 3 - 4 - 5 a. Población b. Extracción de la muestra c. Aplicación de tra- tamiento d. Tamaño e. Características (adecuada - inadecuada) (azar - no al azar) (azar - no al azar) (adecuada - inadecuada) (adecuada - inadecuada) V. INSTRUMENTOS Y TÉCNICAS DE OBSERVACIÓN 6. Validez y confiabilidad de las técnicas de observación y de los instrumentos. 1 - 2 - 3 - 4 - 5 a. Instrumento o téc- nica 1) Descripción 2) Validez 3) Confiabilidad para la pobla- ción b. Procedimiento de recolección de da- tos VI. ESTADÍSTICA (excelente - mala) (adecuada - inadecuada) (excelente - deficiente) (controlado - sin control) 7. Grado en el que los estadísticos empleados para anali- zar los datos se ajustan a las características de las variables. 55 - 2 3 - 4- 5 a. Tests estadísticos 1) Presuposiciones básicas (satisfechas - no satisfechas) 2) Relación con el diseño (adecuado - inadecuado) b. Datos 1) Nivel de sig- nificación (especificado - no especificado) (adecuado - inadecuado) ANEXO E GUÍA DEI INSTRUMENTO PARA EVALUAR PROYECTOS DE INVESTIGACIÓN Esta guía está organizada en rubros y subrubros pre- sentados en el mismo orden en que aparecen en el instrumento de proyectos de investigación. I. EL PROBLEMA 1. Grado en el que el problema seleccionado es signifi- cativo para la teoría o para la práctica. a. Propósito: el problema surge de una situación en la que se reconoce que existen dificultades por resolver y que debe ser digna de estudio. La impor- tancia del problema se puede medir por su relación con las necesidades de la institución, sistema, de la re- gión, del país o de una determinada rama del conoci- miento. b. Origen del problema 1) Justificación; el interés. personal del inves- tigador y/o su deseo de servir a la sociedad pueden ser fuente de problemas a investigar. En uno y otro caso los estudios anteriores darán la pauta de validez de dichos problemas seleccionados por el investigador. 56 57 2) Investigación rrevia: debe proporcionar evi- dencia de búsqueda de literatura relevante y pertinente al problema estudiado; no tiene que ser una revisión completa de toda la información peda- gógica disponible y de las publicaciones que tie- nen relación con los factores del problema pero si debe incluir el investigador en este rubro lo que se conoce de importante sobre la materia. Este re- sumen de estudios previos se presenta en forma hil- vanada que sugiera un marco conceptual más bien que en orden cronológico. A la información más recien- te se le debe dar la mayor atención debido a que presumiblemente proporciona los más recientes des- cubrimientos e incluye las fuentes más antiguas; no se hace necesaria una larga lista de referencias. 2. Claridad con la que e define el problema. a. Pregunta: el investigador debe aprender a recono- cer y definir el problema, puesto que, para llevar a cabo una investigación es necesario identificar con exactitud la naturaleza y dimensiones del problema. Definir un problema significa especificarlo en detalle y con precisión, ésto servirá para complementar los juicios sobre su valor y practicabilidad. Un plantea- miento apropiado del problema, en forma declarativa o interrogativa es probablemente la parte más importante 58 del proyecto de investigación. Debe por lo tanto es- tar en términos específicos, precisos y concisos de tal forma que conduzca naturalmente a todos los pasos subsecuentes. La pregunta crucial que destaca entre todas las que el estudio debe responder, la que en realidad incluye a todas las demás, es el problema con- siderado. b. Hipótesis: las hipótesis son posibles soluciones del problema que se expresan como generalizaciones o proposiciones; ciertos elementos o relaciones de las hipótesis son hechos observados, en tanto que otros son conceptuales. La cantidad y la calidad de las hi- pótesis que se formulan dependerán del alcance y rique- za de los conocimientos que el investigador posea y pueda aplicar al análisis del problema, la versatili- dad y discriminación con que se seleccionan los hechos; se elaboren los conceptos; se identifiquen relaciones; y se las organice según pautas de explicación signifi- cativas. Las hipótesis deben formularse en forma afir- mativa, clara y precisa; una hipótesis posee mayor va- lor si establece una generalización que pueda aplicarse en muchas áreas de la educación. En general una buena hipótesis tiene algunas características básicas: debe ser razonable, de acuerdo con los hechos conocidos, enunciada de modo que se pueda someter a prueba y enun- ciada en términos tan sencillos como sea posible. 59 c. Variable(s) independiente(s): un problema debe re- ferirse a relaciones entre dos. o :aás variables. En el sentido más general una variable es algo que puede cambiar cuantitativa o cualitativamente. Este algo pueden ser atributos, características o propiedades que pueden cambiar en cada individuo o entre individuos. Por su uso, las variables pueden ser independientes, dependientes o intervinientes. La variable independien- te (predictora) en los estudios experimentales es la so- metida a variación. d. Variable(s) de endiente(s): es el atributo, propie- dad o característica que se trata de cambiar median- te la manipulación de la variable independiente. Se llama también criterio porque es el fenómeno que intere- sa en última instancia al investigador. Esta variable está dada por los puntajes recolectados por medio del instrumento aplicado. II. RELACIÓN PROBLEMA DISEÑO 3. Grado en el que el diseño es adecuado para investigar el problema planteado. a.. Hipótesis: si la hipótesis experimental incluye variables que se pueden medir, se puede someter a prueba. Una razón para pensar que la hipótesis no se puede someter a prueba es la posibilidad de que una o 60 más variables que incluya la hipótesis no puedan ser medidas por no contar los investigadores con el o los instrumentos adecuados. La característica de una hi- pótesis adecuada es que pueda ser sometida a prueba. Por medio de la investigación, la hipótesis experimen- tal no se puede confirmar, sólo se puede rechazar o dejar de rechazar. b. Procedimiento: en esta sección se describe en de- talle la forma como se procederá para someter a prueba la hipótesis. A veces hay que adoptar métodos que implican presuposiciones especiales y éstas se de- ben formular explícitamente; es muy importante que se haga una selección adecuada de los estadísticos de prue- ba. Una cuestión experimental no se puede contestar por medio de una descripción. El rubro "procedimiento" es el lugar adecuado para entrar en detalles de las técni- cas a adoptar y para describir los instrumentos a em- plear o a constituirse para la recolección de datos; para dar las fundamentaciones de confiabilidad y vali- dez de los instrumentos. Los pasos seguidos para desa- rrollar el proyecto se deben describir en suficiente detalle para que puedan ser completamente entendidos. En la medida que ésta condición se dé, el experimento podrá ser repetido por otro investigador. No deben omitirse detalles importantes. El rubro procedimiento debe incluir una descripción completa de la forma como 61 se van a combinar en la ejecución del experimento: va- riables; sujetos; aparatos; instrumentos; locales; y experimentadores. e. Tratamiento: recibe este nombre la forma en que se controlan ciertos. aspectos de una situación, es de- cir, la manipulación de las variables independientes que se aplican a los sujetos. El tratamiento se refie- re entonces a las condiciones a las cuales se somete al grupo experimental de sujetos. Investigar los efectos de los tratamientos sobre alguna forma especifica de conducta de los sujetos es fundamentalmente el propósi- to del experimento. d. Duración: el problema debe ser de tal naturaleza que pueda ser estudiado en un tiempo señalado para la entrega del proyecto. Se debe incluir en el proyec- to, una distribución de tiempo para la realización de las etapas del mismo. III. PRESUPOSICIONES 4. Grado en el que el diseño controla las variables. Es imposible para un investigador controlar todos los elementos en su proyecto, debe por lo tanto basar su tra- bajo sobre muchas presuposiciones; es decir, suposiciones o cosas que se dan por admitidas con respecto a las diver- sas fases del procedimiento empleado en el estudio del 62 problema. Entre más rigurosa sea la investigación, menor será el número de suposiciones necesarias y cada una de ellas debe ser justificada. Algunas presuposiciones pue- den permanecer implícitas, pero otras tales como la vali- dez del instrumento, la adecuación de la muestra y el con- trol de las variables, deben ser explícitas. Las investi- gaciones y/o los estudios experimentales que se basan en supuestos falsos no pueden producir resultados válidos. La necesidad en el diseño experimental de realizar una obser- vación. controlada conduce a la identificación y control de la variable independiente (predictora) y otras variables que influyen sobre la variable dependiente. P1 control establecido permite impedir que otro factor que no sea la variable independiente influya sobre la variable dependien- te (predicha); permite también modificar la magnitud de la variable experimental y controlar las variables para des- cribir cuantitativamente el alcance de su manifestación y sus efectos de interacción. El control se puede lograr do- sificando la misma variable independiente para diversos grupos o controlando las variables no experimentales que puedan influir sobre la variable dependiente, manteniendo constantes las condiciones para el grupo experimental y de control o bien usando técnicas estadísticas como el método de correlación parcial y el análisis de varianza que permi- ten efectuar el análisis de situaciones en las que inter- vienen muchas- variables. Una buena guía para analizar las 63 diferentes alternativas de diseño experimental en lo que respecta a los problemas de control de las variables exter- nas y amenazas de validez lo constituye Donald Campbell y Julian Stanley, Di ellos experimentales y cuasiexperimenta- les en la investigación social. Buenos Aires: Amorrortu editores, 1970. IV. EXTRACCIÓN DE LA MUESTRA 5. Grado en que la muestra seleccionada es adecuada para el diseño y los propósitos de la investigación. a. Población: para definir una población, debe ser claramente descrita en cuanto a sus característi- cas y tamaño; también deben ser explicadas las razones por las cuales se ha seleccionado la población bajo es- tudio. Una vez identificada la población con claridad, el investigador obtiene o elabora una lista completa, exacta y actualizada de todas las unidades que componen la población. b. Extracción de la muestra: una vez identificada con claridad la población, en base a sus unidades se debe extraer una muestra, seleccionando un cierto núme- ro de unidades de dicha población. En el muestreo al azar, cuanto mayor sea el grado de heterogeneidad de las unidades y menor el tamaño de la muestra, habrá más posibilidades de que ésta resulte inadecuada. Algunas 64 investigadores describen como una muestra lo que son realmente subpoblaciones, aún cuando 1Ds denominen gru- pos de control y experimental; los descubrimientos de SUB estudios puede decirse que se pueden generalizar a sus particulares subpoblaciones, y a todo aquello que tenga sus mismas características. El grupo de con- trol se debe seleccionar con sumo cuidado. d. Tamaño: el tamaño de la muestra, en general, depen- derá de la variabilidad del fenómeno o caracteristi- ca bajo estudio, correspondiente a la población, del diseño experimental y el grado de predicción que se de- sée alcanzar. e. Características: los miembros de la muestra deben ser elegidos al azar o sea cue todos los integran- tes de la población han de tener igual oportunidad de ser incluidos en la muestra; debido a que en la prácti- ca esta selección aleatoria no se da en general, enton- ces la muestra seleccionada deberá ser al menos repre- sentativa de la población que se estudia. V. INSTRUMENTOS I RECOLECCIÓN DE DATOS 6. Validez y confiabilidad de las técnicas de observación y de los instrumentos. a. Instrumentos o técnica ly Descripción: una tarea importante del investigador 65 es seleccionar un, instrumento de medición, cuya confiabilidad haya sido verificada, con el propósi- to de cuantificar las variables que ha seleccionado para su estudio. La selección del método de inves- tigación influye en los procedimientos para medir las variables. Cualquier instrumento original se debe describir totalmente e ilustrar con ejemplos. 2) Validez: una instrumentación deficiente, es una falla seria pero común en muchas investiga- ciones educacionales. Para verificar que los ins- trumentos miden lo que se proponen medir tienen que ser sometidos a prueba en un sentido piloto o bien calibrados en alguna forma. Un matiz supuesto de validez no es suficiente. Varios instrumentos de validez deficiente usados en el mismo proyecto, no son necesariamente más válidos que uno, con validez verificada experimentalmente. Instrumentos presta- dos o modificados, elaborados por otro investigador, son buenos, mucho mejor aún si son instrumentos cu- ya validez se conoce. 3) Confiabilidad para la población: para verifi- car que los instrumentos medirán persistentemen- te, tienen que haber sido sometidos a prueba en un estudio piloto o bien calibrados en alguna forma. Instrumentos prestados o modificados elaborados por 66 otro investigador, son buenos, mucho mejor aún si son instrumentos cuya confiabilidad se conoce. h. Procedimiento de recolección de datos: se deben adoptar precauciones para garantizar que los da- tos hayan sido recogidos y registrados con objetivi- dad y precisión. Estas precauciones están directamen- te motivadas por el procedimiento de recolección de datos seleccionado por el investigador. VI. ESTADISTICA 7. Grado en que los estadísticos empleados para analizar los datos se ajustan a las características de las va- riables. a. Tests estadísticos 1) Presuposiciones básicas: las pruebas estadís- ticas a las que se someten las hipótesis requie- ren la consideración de ciertos supuestos que depen- den del estadístico seleccionado por el investiga- dor. Para el análisis de varianza se tienen supues- tos como el de normalidad, de muestras aleatorias independientes, de desviaciones estándar iguales pa- ra las poblaciones; para la covarianza se trabaja con los supuestos de que la variable dependiente se distribuye en forma aproximadamente normal y que las varianzas de un grupo a otro son similares; en el 6? caso de los contrastes de medias con la "t" de Student se supone que las dos muestras son aleato- rias y extraidas independientemente de una distri- bución normal y que existe igualdad de varianza de las poblaciones de las que proceden las muestras (homogeneidad de varianza). 2) Relación con el diselo: casi todas las inves- tigaciones requieren algún tipo de análisis es- tadístico para evaluar la probabilidad de que la hipótesis experimental sea verdadera. En algunos casos para resolver un problema de caracter empíri- co, es preciso llevar a cabo un análisis bastante complejo; otras veces basta con efectuar un análi- sis muy simple y directo. La elección de uno u otro tipo de estadístico depende del problema que se plantea así como de la naturaleza de sus datos. Las técnicas más comúnmente usadas en estadística paramétrica son: el test "t", usado para encontrar si la diferencia entre dos medias muestrales es es- tadísticamente significativa. Existen dos tipos de estadísticos "t", el test-t para grupos no corre— lacionados, el cual es empleado para comparar medias muestrales cuando las muestras han sido extraídas independientemente de su población, y el test-t pa- ra grupos correlacionados el cual es empleado con dos muestras en las cuales los sujetos son pareados 68 o bien con dos mediciones repetidas obtenidas para los mismos sujetos. El análisis de varianza se usa para comparar las medias de dos o más muestras y someter a prue- ba la hipótesis nula de que no existen diferencias estadísticamente significativas entre las medias obtenidas a partir de las muestras. El análisis multifactorial de varianza nos permite probar el efecto de más de una variable independiente y tam- bién el efecto de interacción de tales variables. Entre los estadísticos inferenciales no para- métricos, el estadístico ji-cuadrada se emplea pa- ra encontrar las diferencias estadísticamente sig- nificativas entre proporciones de sujetos y/o even- tos que caen dentro de diferentes categorías, com- parando las frecuencias observadas y las frecuencias esperadas. b. Datos: en investigación educacional, el interés re- cae en estimar si los resultados se pueden deber al azar o no; y qué confianza se le puede atribuir a los datos recabados. La práctica corriente es permitir un máximo de 5 por ciento de azar, con el objeto de consi- derar que los resultados obtenidos no se deben al azar. Entre más pequeño sea el nivel de significancia consi- derado, la probabilidad de que el fenómeno observado se pueda atribuir al azar es menor. ANEXO C INVENTARIO DE MEDICIÓN DEL CONOCIMIENTO DE VOCABULARIO BÁSICO EN MEDICIÓN Y EVALUACIÓN EDUCATIVA El siguiente inventario está constituido por 149 tér- minos usados en medición y evaluación educativa y están dados en orden alfabético. Se da una escala de 4 puntos con el sig- nificado siguiente: 1. El término nunca lo ha encontrado en su experien- cia en medición y evaluación. 2. Ha escuchado el término en cuestión pero no sabe lo que significa. 3. Puede identificar el término en general pero no ex- plicar su significado específico. 4- Puede explicar su significado específico. Tache su respuesta en la escala de 4 puntos. VOCABULARIO 1. Análisis factorial Factor analysis 1 - 2 - 3 - 4 2. Aprendizaje de memoria Pote learning 1 - 2 - 3 - 4 3. Atenuación Attenuation 1 - 2 - 3 - 4 4. Batería de aptitudes Differential apti- diferenciales tudes battery 1 - 2 - 3 - 4 5. Batería de tests Battery tests 1 - 2 - 3 - 4 69 70 Weighted scoring 1 - 2 - 3 - 4 Q sort 1- 2- 3 - 4 Empirical key 1 - 2 - 3 - 4 Scoring key 1 - 2 - 3 - 4 IQ 1 - 2 - 3 - 4 Achievement quotient 1 - 2 - 3 - 4 Reliability coefficient 1 - 2 - 3 - 4 Correlation coefficient 1 - 2 - 3 - 4 Phi coefficient 1 - 2 - 3 - 4 Graphic itera counter 1 - 2 - 3 - 4 Split-halves reliability 1 - 2 - 3 - 4 Test-retest reliability 1 - 2 - 3 - 4 Response set 1 - 2 - 3 - 4 Internal consistency 1 - 2 - 3 - 4 Guessing correction 1 - 2 - 3 - 4 Item-test correlation 1 - 2 - 3 - 4 Criterion 1 - 2 - 3 - 4 Internal criterion 1 - 2 - 3 - 4 Response count 1 - 2 - 4 - 3 Questionnaire 1 - 4 - 2 - 3 Quartile 1 - 2 - 3 - 4 6. Calificación ponderada 7. Clasificación Q (una escala) 8. Clave empírica o. Clave para la l ca- lificar 10. Cociente de inteli- gencia IQ 11. Cociente de rendi- miento 12. Coeficiente de con- fiabilidad 13. Coeficiente de co- rrelación 14. Coeficiente fi (phi) 15. Contador gráfico de ítemes 16. Confiabilidad de di- visión por mitad 17. Confiabilidad test-retest 18. Conjunto de respues- tas 19. Consistencia interna 20. Corrección por adi- vinación 21. Correlación ítem-test 22. Criterio 23. Criterio interno 24. Conteo de respuestas 25. Cuestionario 26. Cuartiles 71 27. Crédito por medio de examen Credit by e amination 1 - 2 - 3 - 4 28. Deciles Decile 1 2 - 3 - 4 29. Desviación Deviation 1 2 - 3 - 4 30. Desviación estándar Standar deviation 1 - 2 - 3 - 4 31. Destrezas básicas Basic skills 1 - 2 - 3 - 4 32. Diagrama de dis- persión Dispersion diagram 1 - 2 - 3 - 4 33. Determinantes espe- cíficos Specific determiners 1 - 2 - 3 - 4 34. Diferencia signifi- Significant cativa difference 1 - 2 - 3 - 4 35. Dispersión Dispersion 1 - 2 - 3 - 4 36. Distrae-toros Distracters 1 - 2 - 3 - 4 37. Distribución asimó.- Biased distribution trica 1 - 2 - 3 - 4 38. Distribución bimodal Bimodal distribution 1 - 2 - 3 - 4 39. Distribución de fre- Frecuency cuencía distribution 1 - 2 - 3 - 4 40. Distribución normal Normal distribution 1 - 2 - 3 - 4 41. Distribución de pun- Distribution tajes scores 1 - 2 - 3 - 4 42. Distribución rectan- Rectangular guiar distribution 1 - 2 - 3 - 4 43. Edad mental Mental age 1 - 2 - 3 - 4 44. Efecto de Halo Halo effect I - 2 - 3 - 4 45. Efecto de práctica Practice effect 1 - 2 - 3 - 4 46. Ejercicio de clasi- Clasification ficación exercise 1 - 2 - 3 - 4 47. Ejercicio de parea- miento Matching excercise I - 2 - 3 - 4 48. Ejercicio de prueba Test exercise 1 - 2 - 3 - 4 72 49. Enunciado del ítem Itero stern 1 - 2 - 3 - 4 50. Error de muestreo Sampling error 1 - 2 - 3 - 4 51. Error estándar de Standard error of medición measurement 1 - 2 - 3 - 4 52. Error de medición Error of measurement - 2 - 3 - 4 53. Error probable Probable error 1 - 2 - 3 - 4 54. Error de varianza Error varíanos 1 - 2 - 3 - 4 55. Escala Scale 1. - 2 - 3 - 4 56. Escala de edad Age scale - 2 - 3 - 4 57. Escala de calidad Quality scale - 2 - 3 - 4 58. Escala gráfica de clasificación Graphic rating scale 1 - 2 - 3 - 4 59. Estadístico Statistic 1 - 2 - 3 - 4 60. Evaluación Evaluation 1 - 2 - 3 - 4 61. Evaluación subjetiva Subjective evaluation 1 - 2 - 3 - 4 62. Examen Examination 1 - 2 - 3 - 4 63. Examen de ensayo Essay examination 1 - 2 - 3 - 64. Examen externo External examination 1 - 2 - 5 - 65. Escala de puntos Point scale I - 2 - 3 - 4 66. Formas equivalentes Equivalent forms 1 - 2 - 3 - 4 67. Fórmula de Kuder- Kuder-Richardson Richardson formulas 1 - 2 - 3 - 4 68. Fórmula para califi- car (cuando se restan % malas de buenas) Scoring formula 1 - 2 - 3 - 4 69. Fórmula de Spearman- Spearman-Brown Brown formula 1 - 2 - 3 - 4 70. Frecuencia acumulada Cumulative frequency 1 - 2 - 3 - 4 71. Grupo de control Control group 1 - 2 - 3 - 4 73 72. Heterogeneidad. 73. Homogeneidad 74. Incidente critico 75. Indice de discrimi- nación 76. Inventario 77. Indice de dificultad 78. Item de falso- verdadero 79. Itera de mejor res- puesta 80. Item de selección múltiple 81. Item de test 82. Máquina calificadora IBM 83. Marca 84. Media 85. Mediana 86. Medición 87. Moda 88. Muestra aleatoria 89. Muestra representativa Heterogeneity Ñomogeneity Critical incident Discrimination index Inventory Difficulty index True-false item Best answer item Multiple choice item Test item IBM scoring machina Mark 1•Iean Median Measurement Mode Random sample Representative 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 90. 91. Norma Norma de edad Norm Age norm 1 1 - 2 - 2 92. Norma de grado Grade norm 1 - 2 93. Números aleatorios Random numbers 1 - 2 94. Perfil Perfile 1 - 2 95. Pertinencia Relevante 1 - 2 sample 1 - 2 - 3 - 4 - 3 - 4 - 3 - 4 - 3 - 4 - 3 - 4 - 3 - 4 - 3 - 4 74 96. Probabilidad Probability 1 - 2 - 3 - 4 97. Promedio Average 1 - 2 - 3 - 4 98. Prueba de rapidez Speed test 1 - 2 - 3 - 4 99. Puntaje Score 1 - 2 - 3 - 4 100. Puntaje burdo Raw score 1 - 2 - 3 - 4 101. Puntaje compuesto Composite score 1 - 2 - 3 - 4 102. Puntaje comparable Comparable score 1 - 2 - 3 - 4 103. Puntaje crítico Critical score 1 - 2 - 3 - 4 104, Puntaje derivado Derived score 1 - 2 - 3 - 4 105. Puntaje estándar Standard score 1 - 2 - 3 - 4 106. Puntaje estándard Normalized standard normalizado score 1 - 2 - 3 - 4 107. Puntaje estaninos Stanine scores 1 - 2 - 3 - 4 108. Puntaje de razón Rato score 1 - 2 - 3 - 4 109. Puntaje T T-score 1 - 2_ 3- 4 110. Puntaje verdadero True score 1 - 2 - 3 - 4 111. Puntajes z z--scores 1- 2- 3- 4 112. Pureza (de un test) Purity (of a test) 1 - 2 - 3 - 4 113. Rango de puntajes Rango of scares 1 - 2 - 3 - 4 114. Rango percentil Percentile rank 1 - 2 - 3 - 4 115. Rasgo,caracteristica Trait 1 - 2 - 3 - 4 116. Regresión Regression 1 - 2 - 3 - 4 117. Sigma Sigma 1 - 2 - 3 - 4 118. Sociometría Sociometry 1 - 2 - 3 - 4 119. Sub-test Sub-test 1 - 2 - 3 - 4 120. Sistema de honestidad Honor system 1 - 2 - 3 - 4 121. Tabla de especifica- Table of ciones specifications 1 - 2 - 3 - 4 75 122. Tabla de expectación Expectancy table 1 - 2 - 3 - 4 123. Test Test - 2 - 3 - 4 124. Test de analogías Analogies test - 2 - 3 4 125. Test de aptitudes Aptitudes test 1 - 2 - 3 - 4 126. Test de calificación simultánea Self-marking test 1 - 2 - 3 - 4 127. Test de complotación Completion test 1 - 2 - 3 - 4 128. Test de ejecución (de actuación) Performance test 1 - 2 - 3 - 4 129. Test de interpretación Interpretive test - 2 - 3 - 4 130. Test de libro abierto Open book test 1 - 2 - 3 - 4 131. Test de maestría Mastery test 1 - 2 - 3 - 4 132. Test estandarizado Standarized test - 2 - 3 - 4 133. Test de tiempo límite Time limit test 1 - 2 - 3 - 4 134. Test de diagnóstico Diagnostic test 1 - 2 - 3 - 4 135. Test no verbal Non-verbal test 1 - 2 - 3 - 4 136. Test libre de cultura Culture free test 1 - 2 - 3 - 4 137. Test de potencia Power test 1 - 2 - 3 - 4 138. Test proyectivo Projective test 1 - 2 - 3 - 4 139. Test objetivo Objective test 1 - 2 - 3 ° 4 140. Test de rendimiento Achievement test 1 - 2 - 3 - 4 141. Test de Porschach Rorschach 1 - 2 - 3 - 4 142. Técnica de selección Forced choice forzada technique 1 - 2 - 3 - 4 143. Test limitado por ejecución Work limit test 1 - 2 - 3 - 4 144. Validación cruzada Cross validation 1 - 2 - 3 - 4 145. Validez aparente Face validity 1 - 2 - 3 - 4 76 146. Validez de contenido Content validity 1 - 2 - 3 - 4 147. Validez estadística Statistical validity 1 - 2 - 3 - 4 148. Validez Validity 1 - 2 - 3 - 4 149. Varianza Variante 1 - 2 - 3 - 1+ ANEXO D INVENTARIO DE MEDICIÓN DEL CONOCIMIENTO DE VOCABULARIO BÁSICO EN INVESTIGACION EDUCATIVA El siguiente inventario está constituido por 120 térmi- nos de uso en la investigación educativa y están dados en orden alfabético. Se da una escala de 4 puntos con el significado si- guiente: 1. El término nunca lo ha encontrado en su experiencia en investigación educativa. 2. Ha escuchado del término en cuestión pero no sabe lo que significa. 3. Puede identificar el término en general pero no ex- plicar su significado específico. 4. Puede explicar su significado específico Tache su respuesta en la escala de 4 puntos VOCABULARIO 1. Análisis de contenido Content analysis 1 - 2 - 3 - 4 2. Bloque incompleto Incomplete block 1 - 2 - 3 - 4 3. Comparación Comparison 1 - 2 - 3 - 4 4. Comparación ortogonal Orthogonal comparison 1 - 2 - 3 - 4 5. Confiabilidad Reliability 1 - 2 - 3 - 4 77 78 6. Confiabilidad del observador 7. Constructo hipotético 8. Correlación 9. Cuadrados conjugados 10. Cuadrado estándar 11. Cuasiexperimento 12. Cuestionario 13. Datos básicos de re- ferencia 14. Datos iniciales de referencia 15. Definición operacional 16. Desviación 17. Diseño de pretest solamente 18. Diseño de grupo para- lelo 19. Diseño factorial 20. Diseño pretest-postest 21. Distribución de mues- tras 22. Distribución normal multivariada Observer reliability Hypothetical Construct Correlation Conjugate squares Standard squares quasi-experiment Questionnaire Benchmark Data Baseline Data Operational Definition Bias Prettest-only design Parallel-group design Factorial design Pretest-posttest design Sampling distribution Multivariate normal distribution 1 - 2 - 3 - 4 1 - 2- 3 ° 4 1 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 3 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 Survey Interview Structured 24. Encuesta 25. Entrevista 26. Entrevista estructurada 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 interview 1 - 2 - 3 - 4 23. Eficiencia relativa de un estadístico Relativo efficiency of a statistic 79 27. Entrevista no estructu Instructured rada interview 1 - 2 - 3 - 4 28. Error Error 1 - 2 - 3 - 4 29. Error experimental Experimental error 1 - 2 - 3 - 4 30. Error por azar Chance error 1 - 2 - 3 - 4 31. Error sistemático Systematic error 1 - 2 - 3 - 4 32. Error tipo I Type I error 1 - 2 - 3 - 4 33. Error tipo II Type II error 1 - 2 - 3 - 34. Escala graduada Rating scale 1 - 2 - 3 - 4 35. Estadística Statistics 1 - 2 - 3 - 4 36. Estimador Estimator 1 - 2 - 3 - 4 37. Estimador consistente Consistent estimator 1 - 2 - 3 - 4 38. Estimador eficiente Efficient estimator 1 - 2 - 3 - 4 39. Estimador insesgado Unbiased estimator 1 - 2 - 3 - 4 40. Evaluación por rangos Rating 1 - 2 - 3 - 4 41. Fuente primaria Primary source 1 - 2 - 3 - 4 42. Fuente secundaria Secondary source 1 - 2 - 3 - 4 43. Generalización Generalization 1 - 2 - 3 - 4 44. Grado de libertad Degrees of freedom 1 - 2 - 3 - 4 45. Grupo de control Control group 1 - 2 - 3 - 4 46. Hipótesis Hypothesis 1 - 2 - 3 - 4 47. Hipótesis declarativa Declarative hipothesis 1 - 2 - 3 - 4 48. Hipótesis de investi- gación Research hipothesis 1 - 2 - 3 - 4 49. Hipótesis estadística Statistical hypothesis 1 - 2 - 3 - 4 50. Hipótesis interrogativa Question-form hypothesis 1 -- 2 - 3 - 4 8o efectos alea- efectos fijos 71. Modelo estadístico 72. Modelo mixto 73. Muestra. 69. Modelo de torios 70. Modelo de Fundamental research Historical research Pure research Confidence Iimits Variance-covariance matriz Distribution free method Measurement Nonparametric method Random-effects model Fixed-effects model Statistical model Mixed model Sample 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 51. Hipótesis nula Null hipothesis 1 - 2 - 3 - 4 52. Información relativa Relative information 1 3 - 4 53. Interacción Interaction 1 - 2 - 3 - 4 54. Intervalo de confianza Confidence interval 1 - 2 - 3 - 4 55. Investigación aplicada Applied research 1 - 2 - 3 - 4 56. Investigación básica Basic research 1 - 2 - 3 - 4 57. Investigación de campo Field research 1 - 2 - 3 - 4 58. Investigación de labo- ratorio Laboratory research 1 - 2 - 3 - 4 59. Investigación descrip- tiva Descriptive research 1 - 2 - 3 - 4 60. Investigación experi- mental Experimental research 1 - 2 - 3 - 4 61. Investigación fundamen- tal 62. Investigación histórica 63. Investigación pura 64. Límites de confianza 65. Matriz de varianza- covarianza 66. Método de distribución libre 67. Medición 68. Método no paramétrico 74. Muestra aleatoria 75. Nivel de significancia 76. Observación 77. Parámetro Random sample Level of significance Observation Parameter 81 1 - 2 - 3 4 1 - 2 - 3 4 1 - 2 - 3 4 1 - 2 - 3 4 90. Relación de causa-efecto 91. Relación funcional 92. Replicación 93. Selección al azar 94. Significación estadís- tica 95. Significación práctica 78. Pares combinados o apareamiento 79. Placebo 80. Población 81. Población hipotética 82. Postulado 83. Pregunta abierta 84. Pregunta cerrada 85. Procedimiento interfe- rente 86. Probabilidad 87. Prueba estadística 88. Región crítica 89. Región de aceptación 96. Suma de cuadrados ajus- tados Method pairs Placebo Population Hypotetical population Postulate Open question Closed question Confounding Probability Statistical test Critical region Acceptance region Cause-and-effect relation ship Punctional relationship Replication Random assignment Statistical significance Practical significance Adjusted sum of squares 1 - 2 - 3 - 4 1 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 2 - 3 - 4 2 - 3 - 4 2 - 3 - 4 82 97. Teoría Theory 1 - 2 - 3 - 4 98. Teoría de la decisión estadística 99. Test de potencia 100. Test estadístico 101. Test de razón de ve- rosimilitud 102. Test más poderoso 103. Tratamiento 104. Tratamientos cruzados 105. Tratamiento incluido 106. Unidad de análisis 107. Unidad de muestreo 108. Universo 109. Validez 110. Validez externa 111. Validez interna 112. Valor crítico 113. Valor esperado 114. Variable 115. Variable-estímulo 116. Variable independiente 117. Variable aleatoria 118. Variable dependiente 119. Variable interviniente 120. Variable respuesta Statistical decision theory Test power Statistical test Likolihood ratio test Most powerful test Treatment Crossed treatments Nested treatment Unit of analysis Sampling unit Universe Validity External validity Internal validity Critical value Expected value Variable Stimulus variable Independent variable Random variable Dependent variable Intervening variable Response variable 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1-2-3- 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 1 - 2 - 3 - 4 REFERENCIAS BIBLIOGRÁFICAS Ary, Donald. Introduction to Research in Education. New York: Holt, Rinehart and Winston, 1972. Best, John W. Como investigar en educación. Madrid: Morata, 1969. Cook, David R. A Guide to Educational Research. Boston: Allyn and Bacon, 1966. Fox, David J. The Research Procese in Education. New York: Holt, Rinehart and Winston, 1969. Hayman, John L. Investigación y educación. Buenos Aires: Pai- dos, 1969. Strauss, Samuel. "Guidelines for Analysis of Research Reporte". Journal of Educational Research, 1969, (63), págs. 165-169. Suydam, Marilyn N. "An Instrument for Evaluating Experimental Educational Research Reporte". The Journal of Educational Research, 1968, (61), págs. 200-203. Zuñiga, Evenor, compilador. "La evaluación de las investigacio- nes en el ramo educativo". Investigaciones educativas en América. No. 2, 1967, (63), págs. 165-169. 83 Page 1 Page 2 Page 3 Page 4 Page 5 Page 6 Page 7 Page 8 Page 9 Page 10 Page 11 Page 12 Page 13 Page 14 Page 15 Page 16 Page 17 Page 18 Page 19 Page 20 Page 21 Page 22 Page 23 Page 24 Page 25 Page 26 Page 27 Page 28 Page 29 Page 30 Page 31 Page 32 Page 33 Page 34 Page 35 Page 36 Page 37 Page 38 Page 39 Page 40 Page 41 Page 42 Page 43 Page 44 Page 45 Page 46 Page 47 Page 48 Page 49 Page 50 Page 51 Page 52 Page 53 Page 54 Page 55 Page 56 Page 57 Page 58 Page 59 Page 60 Page 61 Page 62 Page 63 Page 64 Page 65 Page 66 Page 67 Page 68 Page 69 Page 70 Page 71 Page 72 Page 73 Page 74 Page 75 Page 76 Page 77 Page 78 Page 79 Page 80 Page 81 Page 82 Page 83 Page 84 Page 85 Page 86 Page 87