Estudios interdisciplinarios y nuevos desarrollos: ALGUNOS ASPECTOS RELEVANTES EN LA EVALUACIÓN Y EN LA COMPRENSIÓN DE TEXTOS ACADÉMICOS EN ESTUDIANTES UNIVERSITARIOS

Estudios interdisciplinarios y nuevos desarrollos: ALGUNOS ASPECTOS RELEVANTES EN LA EVALUACIÓN Y EN LA COMPRENSIÓN DE TEXTOS ACADÉMICOS EN ESTUDIANTES UNIVERSITARIOS

Torres, Cármen; Peluso, Leonardo
Área de Psicología Genética y Psicolingüística – Facultad de Psicología, Universidad de la República. Uruguay

RESUMEN
El presente trabajo se dirige a discutir resultados de una propuesta
de evaluación e intervención realizada a estudiantes de
la Facultad de Psicología de la Universidad de la República, en
el marco del curso de Psicología Genética. La evaluación se
dirige a todos los estudiantes de tercer año inscriptos en el
curso y consiste en la realización de una serie de subtareas en
torno a un texto específico. El conjunto de la propuesta comprende
tareas de comprensión, producción escrita y la respuesta
a ítemes que sondean prácticas y creencias generales
sobre el desempeño académico, así como relativas al texto
seleccionado. El contexto de interpretación y de motivación
específicos que impulsan nuestra propuesta está vinculado a
nuestra preocupación por las dificultades que los estudiantes
demuestran en la comprensión de textos académicos, así
como por la búsqueda de alternativas pedagógicas. Uno de los
propósitos de esta investigación parcial es el de estudiar e
identificar las dificultades que los estudiantes pueden tener en
el manejo de este tipo de textos. En esta ponencia discutimos
y reflexionamos sobre resultados de una tarea de comprensión
desde el marco teórico general de la psicolingüística. Adicionalmente,
aportamos a la reflexión sobre las dificultades
que implica el diseño evaluaciones específicas de la comprensión
de textos.
Palabras clave: Textos académicos Universidad Comprensión

EVALUACIÓN Y COMPRENSIÓN DE TEXTOS ACADÉMICOS
Uno de los problemas acerca de los desempeños de estudiantes
universitarios que resulta referido como más acuciante está
relacionado con la escritura y comprensión de textos académicos.
Los textos académicos, y los géneros discursivos académicos
a los que pueden corresponder se presentan en gran
variedad, no obstante lo cual ha sido posible detectar algunas
peculiaridades cuyo manejo es indispensable desarrollar y tener
en cuenta en las prácticas de enseñanza. Estos textos presentan
características bastante específicas que son fuente de
dificultades. Estas particularidades son de orden léxico, sintáctico,
composicional y retórico-argumentativo (Buchter & Kintsch,
2001; Kintsch, 1998; Kintsch, 1994; Hyland, 1998, 2001). Una
dificultad particular en los estudiantes universitarios que ha
sido señalada por varios autores en la enseñanza de las disciplinas
académicas se halla vinculada a los textos polifónicos
en donde se hace referencia a diferentes fuentes y enunciadores
(Arnoux e.a., 2001, 2003). Otra fuente de dificultades, común
a los géneros escritos, lo constituye la determinación de
las intenciones textuales (cfr. Gibbs, 2001; Olson, 1997).
La perspectiva de los géneros discursivos académicos que
toma en cuenta los desarrollos originales de Bakthin complementados
y ampliados por distintos autores (Wertsch,
Bronckart) ha cobrado relevancia en la investigación específica
de sus textos académicos en el contexto educativo (Arnoux
e.a, 2001; Martínez, 2001, 2004), Desde esta perspectiva cabe
considerar que un estudio en profundidad de la comprensión
no puede hacerse en independencia de la integración de hipótesis
que atiendan a la dimensión de las prácticas específicas
en las que se hace posible enraizar los procesos psicolingüísticos
y cognitivos específicos. En otros trabajos (Torres, 2003;
2004) hemos apuntado a aspectos que presuponemos asociados
a la lectura y a la escritura en los estudiantes universitarios
que pueden ser de utilidad para interpretar rasgos de la aproximación
a los textos, actitudes y componentes operativos que
manifiestan, algunos de los cuales son fuente de dificultades
específicas.
El estudio de la comprensión de textos dentro de los géneros
discursivos académicos requiere atender a las particularidades
disciplinares y a aquéllas dependientes de las comunidades
de práctica, culturas institucionales y/o comunidades académicas
que moldean las mismas.

LA PROPUESTA DE EVALUACIÓN
Pese a su interés, no es posible acercar en este trabajo una
síntesis de las distintas propuestas, orientaciones y marcos de
evaluación de la comprensión de textos, así como del contexto
crítico en el que han proliferado y se discuten en las últimas
décadas, por lo que nos referiremos a las decisiones y contemplaciones
tomadas en nuestra propuesta muy parcialmente.
La propuesta de evaluación se presenta a los estudiantes al
comienzo del curso y consiste ella misma en un instrumento
de intervención sobre las modalidades de lectura con que los
estudiantes se aproximan a los textos que ofrecemos en el
curso. Las teorías y textos específicos con los que los estudiantes
tienen que lidiar en el curso de Psicología Genética les
plantean dificultades en función de distintos órdenes de factores,
algunos de carácter contextual y otros inherentes a la
estructuración conceptual y discursiva del conocimiento que
suponen.
En la valoración de los resultados consideramos relevantes las
variables vinculadas a la tarea, al texto y al estudiante. El criterio
de diseño y selección de los ítemes de la prueba a los efectos
de su estudio en el siguiente trabajo se orienta por resaltar
la distinción entre dos series de componentes: los derivados
del conocimiento general sobre los contenidos y los que dependen
del componente intra e intertextual específico al texto
o al segmento considerado. Si bien, en la lectura de cada texto
intervienen todos estos aspectos interactivamente, como lo
han sugerido distintos modelos y aproximaciones al problema
de la comprensión, es dable considerar que una demanda de
respuesta orientada más directamente al contexto del texto,
contribuye a aislar mejor el tipo de dificultades específicas al
permitir reparar en el complejo forma-contenido. Los ítemes
que exigen recurrir a la fuente estarían más próximos a detectar
los aspectos medulares de la escritura académica, sugiriendo
ser de mejor valor pronóstico sobre las especificidades
de la comprensión lectora de textos complejos como son la
mayoría de los inscriptos en los géneros académicos.
Para mejor representar este criterio de interpretación y análisis
de los resultados, diferenciamos los ítemes del cuestionario
que son más dependientes de una lectura focalizada y comprensiva
del texto para su acierto, de aquellos que pueden
arrojar aciertos en función de las variables más o menos inespecíficas,
como las vinculadas al conocimiento general del
tema o del autor, o que resultan dependientes de la lectura
superficial del texto y que alcanza a cubir una representación
de contenidos generales. Presumiblemente los ítemes de la
primera serie mostrarán mayores dificultades en la obtención
del acierto.

METODOLOGÍA
Para este estudio seleccionamos una de las tareas del conjunto
sobre las que los estudiantes tuvieron que trabajar que es la
que está más directamente relacionada con la comprensión.
La evaluación es propuesta a todos los estudiantes de la generación
y es de carácter obligatorio. A los estudiantes se les informa
que esta tarea no lleva nota y no pesará en su calificación
posterior.
La muestra de estudiantes es la que queda delimitada por la
asignación de los textos ofertados, en este caso es de 116
estudiantes. El texto seleccionado es pertinente a la labor del
curso en el que se enmarca la propuesta de evaluación inicial,
pero al momento de la prueba no ha sido expuesto o sugerido
a los estudiantes como bibliografía. El texto asignado corresponde
a tres secciones de un capítulo que presentan unidad
temática y compositiva. En su organización se intercala predominantemente
segmentos expositivos y argumentativos, según
la tipificación provista por Adam (1993). El texto conserva
rasgos específicos de la prosa académica con abundantes referencias
intertextuales. Asimismo, presenta recursos que son
facilitadores de la lectura, tales como la presentación ordenada
de núcleos temáticos en torno a un eje principal, la abundancia
en ejemplificaciones y el planteo explícito de intenciones
textuales, el autor se introduce en primera persona y reitera
argumentos centrales.
La tarea que los estudiantes realizan consiste en una serie de
nueve ítemes diseñados bajo un formato de prueba objetiva en
el que tienen que elegir entre varias opciones. Cada uno de los
ítemes y de las opciones se dirigen a distintos niveles del texto
y proponen grados de complejidad diferentes en relación con
la estructura textual de la fuente y su orientación retórica-argumentativa.
De acuerdo con las distinciones realizadas anteriormente, los
ítemes que los estudiantes tienen que responder resultan
agrupados en dos categorías: a. ítemes dirigidos al contenido
general del texto, que se despliega a lo largo de toda su extensión;
y b. ítemes que son más dependientes para su acierto de
una lectura concentrada en el texto: Se incluyen aquí los ítemes
que versan sobre un segmento determinado del texto y
conciernen a componentes de su estructura composicional y
semántica no presuponibles en el resto del material, o por la
base de conocimiento general del autor. Se concentran aquí
los ítemes que apuntan a algunas de las peculiaridades de los
textos académicos, como ser la inclusión de referencias intertextuales,
la complejidad gramatical, la intención textual y
polémica. La clasificación puede aproximarse en términos
descriptivos con la orientación a los niveles micro y macro de
la estructura textual, aunque no resultan equivalentes.
Tres de los ítemes que sirven de estímulo en esta segunda
categoría versan sobre referencias intertextuales en las que,
desde el punto de vista de la estrategia enunciativa el autor polemiza
con otras fuentes o manifiesta coincidencia con la posición
sustentada por otros autores, por lo que relevantes para el
estudio de rasgos de la prosa académica en particular.
Dentro de las características asociadas al perfil de los estudiantes
que han sido destacadas por otros estudios como relevantes
para el desempeño se estudia la relación con la edad y
los antecedentes educativos. Adicionalmente, para estudiar
las posibles relaciones entre el desempeño y ciertas condiciones
psicolingüísticas de la lectura comprensiva, recurrimos a
dos de los ítemes sondeados sobre las prácticas de lectura: el
número de veces que el estudiante informa haber leido el texto
para realizar la tarea y el grado de dificultad que le atribuye.

RESULTADOS
La primera evaluación acerca de las respuestas de los estudiantes
nos informa que el número de aciertos mayor se computa
en los valores medios con un máximo de 32%, descendiendo
notoriamente para los valores extremos. La distribución
general de aciertos por franjas muestra que en la franja 1, con
menos de seis aciertos, se ubica el 22% de los estudiantes. En
la franja 2 se agrupa el mayor número de estudiantes, con un
55%. Finalmente, en la franja 3, con más de siete aciertos, se
ubica un 23% de la muestra total.
La agrupación por aciertos muestra que promedialmente los
ítemes menos dependientes para su comprensión del contexto
textual alcanzan alrededor de un 80% de acierto y los más
dependientes alrededor de un 51% de aciertos.
El análisis por ítemes de las respuestas consignadas, demuestra
que las no-respuestas, o respuestas no-tabuladas, alcanzan
un promedio de más del 5%, aumentando, especialmente,
en uno de los ítemes que es el que presentó, en todas las
franjas de puntaje, el número menor de aciertos. Este rasgo, si
bien no se computa para el establecimiento de las agrupaciones
de puntajes, funciona como índice de los titubeos y posibles
auto restricciones para dar una respuesta, aspectos todos
que pueden ser tomados como indicadores indirectos del grado
de dificultad o inseguridad frente al item a considerar. La
obtención de los puntajes acumulados por estudiante, se realiza
sin tomar en cuenta esta relación – de interés – por otra
parte, para corroborar hipótesis concernientes al grado de dificultad
por item, pero que no nos proponemos como objetivo
analizar en este artículo.
El estudio de las respuestas por item en las distintas franjas
muestra un comportamiento uniforme en cuanto a la distribución
de errores y aciertos. Los resultados confirman la tendencia
al fallo en los ítemes que clasificamos como más dependientes
de una lectura centrada en el texto, oscilando el error
en un rango entre 65% en la franja 1 y 23% en la franja 3,
mientras que el máximo de errores y no respuestas en los ítemes
que no cumplen esta exigencia es de 31% en la franja 1.
El contraste entre los tipos de ítemes en relación a la franjas de
puntaje muestra que los estudiantes de la primera franja aciertan
predominantemente en las respuestas menos dependientes
del contexto inter e intratextual, mientras que presentan significativamente
menor número de aciertos en las respuestas que
caracterizamos como más dependientes del contexto textual.
La proporción de diferencias disminuye en las franjas 2 y 3, sin
modificarse el ordenamiento, sino solo la distancia porcentual
entre unas y otras, medida en cantidad de aciertos.
El análisis de la distancia porcentual entre aciertos y errores
por tipo de ítem, cruzada con las franjas de puntaje establecidas,
sugiere que los estudiantes con menor rendimiento (franja
1) son los que presentan mayor distancia porcentual (40%)
al considerar la relación entre ítemes dependientes del texto e
ítemes no dependientes del texto. Esta relación disminuye progresivamente
en las subsiguientes franjas hasta alcanzar en la
franja de mejor rendimiento una distancia de tan solo 22%,
esto es, alrededor de un 50% menos que en el caso de los
estudiantes con peor desempeño.
Un análisis de la relación ítemes-respuesta diferenciando cada
una de las series, revela que el número mayor de aciertos, así
como el mayor número de respuestas de fallo, se relacionan
con los ítemes que representan de modo más central las propiedades
que los definen, esto es: para la serie de ítemes de
contenido general el porcentaje de aciertos mayor parece corresponder
a ítemes de mayor referencia inespecífica o básica,
mientras que el porcentaje mayor de respuestas de fallo se asocia
a los ítemes que representan una mayor demanda de atención
a los componentes específicos de la prosa académica.
El análisis de estos tres grupos en relación a las variables conectadas
al perfil del estudiante edad y el tipo de colegio al que
asistieron, no arrojó resultados significativos. Tampoco pareció
arrojar datos significativos la relación de las franjas con las
respuestas que los estudiantes dieron en cuanto a la cantidad
de veces que leyeron el texto y el grado de dificultad que encontraron
ante el mismo.

DISCUSIÓN DE LOS RESULTADOS
De los distintos aspectos estudiados se desprenden las siguientes
apreciaciones.
El nivel de respuestas acertadas como índice de la comprensión
sin analizar por categoría de item, se ubica en los valores
medios y desciende notoriamente en el extremo de mayor
puntaje. Teniendo en cuenta que, el texto que seleccionamos
para este trabajo es uno de los más accesibles en comparación
con algunos otros del pool propuesto en el diseño de la
prueba, consideramos que el resultado esperado podría haber
sido mayor. Al respecto, podemos suponer que los resultados
obtenidos pueden encontrarse descendidos en relación a la
posible competencia de los estudiantes para abordar el texto
debido a las condiciones de realización de la tarea. Dos aspectos
parecen destacados en este sentido: el carácter no calificatorio
de la prueba y su carácter domiciliario. El primer aspecto
relaja la exigencia que los estudiantes pueden plantearse al
abordar la tarea, mientras que el hecho de que la tarea no
haya podido realizarse en un espacio-tiempo delimitado, favorece
la dispersión atencional en su realización, lo que factiblemente
puede colaborar para que el esfuerzo cognitivo fluctúe
o directamente se abandone sin haber alcanzado a completarse
la tarea. La dependencia del tiempo de relectura es en este
sentido bastante determinante (Rawson y Kintsch, 2005).
Los resultados que comparan el nivel de aciertos y errores en
función del tipo de ítem proponen apreciaciones más interesantes
sobre la relación establecida con el texto que el puntaje
general, por cuanto hacen posible estudiar la modalidad de
respuesta a través de hipótesis concernientes a la lectura del
texto específico que el estudiante estuvo en condiciones de
realizar.
Los supuestos que agrupan los ítemes comprenden un juego
complejo de relaciones que parecen confirmarse en función de
los resultados obtenidos, aunque no sea posible aislar específicamente
algunas de estas relaciones. Entre estos supuestos,
la dependencia o independencia de los conocimientos previos,
que ha sido resaltada por distintos autores bajo hipótesis
opuestas no puede aislarse de la interacción específica con el
texto, así sea de modo superficial. Esta suposición asume la
posibilidad de que algunos estudiantes hayan respondido sin
siquiera leer el texto. En orden a esta relación, sí resulta relevante
la carga proporcional de aciertos y errores en las distintas
franjas.
Por esto mismo, resultó más fiable valerse del análisis de los
errores y aislar el grupo de ítemes cuyo éxito podía ser menos
facilitado por el conocimiento general del autor. Al contemplar
los datos obtenidos de esta manera, encontramos confirmado
el método de selección y las hipótesis de base. Los estudiantes
demuestran resolver mejor los ítemes que ofrecen enunciados
más próximos al núcleo general de la teoría del autor y
que son retomados en la fuente específica sobre la que trabajaron.
Tal como proponen los modelos contextuales sobre los
procesos de comprensión, cabe suponer que la base de conocimientos
que se activa ya por la vía de los estímulos, ya mediante
la extracción directa de núcleos derivados de la lectura,
es la fuente predominante de aciertos y, agregaríamos, también,
presumiblemente, de los errores, en caso de habilitar inferencias
falsas o requerir la integración de nexos no estables
conceptualmente.
De acuerdo con los presupuestos que manejamos en la categorización
de los tipos de ítemes, cabe considerar que aquellos
que son más dependientes de la lectura focalizada del
texto admitan menos chances de acierto en estudiantes que
no hayan realizado una lectura atenta del mismo y de los fragmentos
a los que refiere el estímulo. Nos orientamos a creer
que esta última serie posee más peso explicativo, permitiendo
aislar variables específicas relativas a la relación con el texto
en sus distintas dimensiones. En este sentido no es posible
compatibilizar esta hipótesis con modelos que presuponen una
versión explicativa más homogénea sobre la relación lectortexto-
desempeño, a través de la consideración de estrategias
de lectura todo-o-nada o la catalogación de buenos y malos
lectores en función del desempeño en pruebas que entran
dentro del rango propuesto en esta investigación.
El estudio de la relación entre aciertos-fallos y la formulación
del item merecería una detallada consideración. El ajuste de la
prueba debería realizarse atendiendo a los resultados de este
análisis. El estudio del desempeño en los otros textos podría
permitir probar algunas de estas inferencias y/o proponer o
corregir hipótesis vinculadas al diseño específico de los ítemes
por prueba.
La tarea propuesta no arroja datos relevantes ni permite inferencias
sólidas sobre aspectos de la lectura y la comprensión
que dependen de la apreciación de los estudiantes de su dificultad
ni de la relación con el número de lecturas. Cabe considerar
que las respuestas a estos ítemes pueden no resultar
mayormente fiables.

COMENTARIOS FINALES
La evaluación en base a la cual obtenemos los resultados es
parcial y no abarca el conjunto de dimensiones que correspondería
sondear para un estudio a fondo de la comprensión, no
obstante lo cual, consideramos que aporta reflexiones en torno
a indicadores relevantes en el estudio de los datos aportados,
así como para el estudio de los criterios de elaboración de
pruebas de esta naturaleza.
Nuestro estudio contribuye a orientar y reforzar algunas hipótesis
coincidentes con la literatura relevante, así como a demostrar
la necesidad de reforzar interpretaciones que tomen
en cuenta la relación del estudiantado con los patrones valorativos,
estándares, géneros discursivos y otros rasgos de la
comunidad académica tomada en consideración.

BIBLIOGRAFÍA
Arnoux, E.; Nogueira, S. & A. Silvestri (2003) «Tradición pedagógica y elección
de género: la integración de fuentes en alumnos de nivel secundario». Cultura
y Educación 2003 v.15, pp 59-80.
Arnoux, E.; Nogueira, S. & A. Silvestri (2001) «La escritura producida a partir
de textos polifónicos. Evaluación del desempeño de grupos con diferente
entrenamiento escolar previo. En Martínez, Ma.C. (2001): 49-78.
Adam, J. M. (1992) Les textes. Types et prototypes. Récit, description,
argumentation, explication et dialogue, Nathan. París.
Bakthín, M.M. (1959-1961) La estética de la creación verbal. México: Siglo
XXI, 1985.
Bronckarth, J. P. (1997) Activité langagière, textes et discours. Pour un
interactionisme socio-discusif. Colecao Sciences des Discours, Delachaux
et Niestlé, Paris.
Butcher, K. R.; Kintsch, W. (2001) «Support of content and Rethorical
Processes of Writing Process and the Written Product». Cognition & Instruction
Vol. 1, pp. 277- 322.
Gibbs, R. W. (2001) «Authorial intentions in text understanding». Discourse
Processes 32-1: 73-80.
Kintsch, W. (1988) «The role of knowledge in discourse comprehension. A
construction-integration model. Psychological Review.
Kintsch, W. (1994) «Text comprehension, memory, and learning». American
Psychologist, Vol. 49, 4, 294-302.
Hyland, K. (1998a) «Hedging in scientific research articles». Amsterdam:
Benjamins.
Hyland, K. (2001) «Bringing in the reader».Addresse features in academic
articles. Written communication Vol. 18, Nº4: 549-574.
Martínez, Ma C. (2001) Aprendizaje de la argumentación razonada. Desarrollo
temático de los textos expositivos y argumentativos. Vol. 3, Universidad del
Valle Valle, Cali.
Martínez, Ma C. y otros (2004) Discurso y aprendizaje Universidad del Valle,
Cali.
Olson, D. (1998) El mundo sobre papel Gedisa, Madrid.
Rawson, K A.; Kintsch, W. (2005) «Rereading Effects Depend on Time of Test».
Journal of Educational Psychology, Vol. 97, 1:70-80,
Torres, C. (2004) «Itinerarios en la apropiación de conocimiento: claves de la
lectura y la escritura en los estudiantes universitarios a traves de las
producciones intermedias». Actas Congreso Internacional sobre Políticas
Culturales e Integración Regional, formato CDRom, Bs As.
Wertsch, J. (1998) Mind as action Oxford University Press, NY.