¿Qué aportan los gestos a la comunicación abstracta?

Tradicionalmente, el análisis del lenguaje se ha centrado únicamente en el aspecto verbal. Sin embargo, el lenguaje va mucho más allá de las palabras: los gestos, la entonación, las expresiones faciales... Todos estos factores de los que no somos conscientes cuando hablamos se unen a la hora de comunicarnos. Conocer hasta qué punto estas distintas modalidades se integran y qué tipo de información transmiten hace posible poder crear herramientas que facilitan la comprensión y expresión de conceptos complejos. Estas herramientas también se pueden aplicar a la inteligencia artificial y al llamado 'machine learning', es decir, poder enseñar a programas informáticos no solo a entender qué decimos a la hora de usar palabras (como ocurre con los populares asistentes virtuales Alexa o Siri), sino también poder interpretar los gestos y el lenguaje corporal.

El proyecto 'Gesto, tiempo y número: adquisición de conceptos de magnitud abstracta a través de patrones gestuales' en el que trabaja Daniel Alcaraz Carrión, investigador de la Fundación Séneca en la Universidad de Winsconsin-Madison (EEUU), pretende estudiar cómo se integran el lenguaje y el gesto a la hora de expresar información abstracta y compleja, como es el caso de información sobre el tiempo (pasado, futuro) o cantidades numéricas (sumas, restas). «A la hora de hablar, usamos los gestos constantemente, muchas veces de manera totalmente inconsciente. En el proyecto, yo trato de determinar si existe un patrón en estos gestos, y si estos patrones están relacionados con significados concretos», apunta.

El proyecto se puede dividir en dos vertientes: una centrada en el 'big data', con el análisis de miles de datos gestuales, y otra como etapa experimental. «La primera etapa se centra en recoger miles de casos en los que existe una coocurrencia entre gesto y lenguaje en inglés. Por ejemplo, a la hora de decir 'en el pasado' o 'hace mucho tiempo' solemos gesticular a nuestra izquierda, o cuando hablamos sobre el futuro gesticulamos a nuestra derecha. Yo busco estos patrones lingüísticos y gestuales en un repositorio de televisión en inglés, y establezco si ciertos tipos de expresiones o significados se asocian a un gesto determinado de manera recurrente», explica Alcaraz.

La segunda fase se centra en evaluar experimentalmente la influencia de estos patrones a la hora de comunicar y entender conceptos abstractos (tiempo y número). «Junto con mi equipo de investigación en la Universidad de Wisconsin-Madison, creo estímulos en los que se usan distintos tipos de gestos y lenguaje. Los participantes de los experimentos ven esos estímulos y contestan una serie de cuestionarios mientras medimos parámetros como tiempos de reacción, precisión de las respuestas, etc. El objetivo es saber si la ausencia, presencia o la manipulación del gesto puede ayudar a la comprensión de estos conceptos complejos, o incluso llevar a interpretaciones distintas», dice.

El proyecto arrancó hace, aproximadamente, seis meses. En este tiempo, ha creado una base de datos con más de 4.000 videoclips en los que se muestra una coocurrencia entre gesto y lenguaje, cuando la gente habla, de conceptos matemáticos como la suma, la resta, o la multiplicación, con algunos resultados que mencionaré más adelante. El investigador de la Fundación Séneca asegura que «la fase experimental ha tenido que ser aplazada y adaptada debido a la pandemia: experimentos que iban a ser en persona han tenido que transformarse en experimentos a través de internet, con las complicaciones que ello conlleva, y muchas de las herramientas que ofrece el laboratorio tienen que emplearse en persona. En Estados Unidos la pandemia empieza a estar bajo control, así que espero poder avanzar en este aspecto en los próximos meses».

Uno de los resultados hasta la fecha es la demostración de que a la hora de hablar de conceptos abstractos, empleamos nuestros gestos con mucha frecuencia, incluso sin darnos cuenta. Según Alcaraz Carrión, «el gesto ayuda tanto al hablante como al interlocutor a la hora de transmitir estos conceptos, y añade capas de información que en ocasiones no se encuentran en el lenguaje verbal».

«También hemos encontrado que ciertos tipos de gesto se emplean de manera recurrente para expresar significados muy precisos. Por ejemplo, a la hora de realizar sumas y restas, la gente tiende a usar sus manos para representar una recta numérica (como la que se usa en las clases de matemáticas) para expresar mejor las operaciones. También hacemos algo similar a la hora de hablar del tiempo: creamos una línea del tiempo con nuestras manos, y situamos eventos pasados a nuestra izquierda, y eventos futuros a nuestra derecha», añade.

El proyecto está enteramente financiado por la Fundación Séneca, dentro del programa de ayudas a la formación y perfeccionamiento posdoctoral en el extranjero. Estas ayudas permiten a jóvenes investigadores de la Región poder desarrollar sus proyectos en universidades y laboratorios de prestigio que se encuentran fuera de España.

Aunque el trabajo principal de Daniel Alcaraz se desarrolla en el laboratorio 'Cognitive Development and Communication lab' de Universidad de Wisconsin-Madison, colabora muy estrechamente con otros dos laboratorios. Por una parte, desde el departamento de Filología inglesa de la Universidad de Murcia, forma parte del recién creado laboratorio Daedalus, que se centra a estudiar la comunicación, cognición y creatividad humana. También está integrado en el consorcio Red Hen, que agrupa investigadores de todo el mundo en disciplinas tan variadas como la lingüística, la psicología, la ingeniería informática y la educación, para estudiar la comunicación humana. Por último, a través del laboratorio Red Hen, colabora como mentor el en Google Summer of Code, en la creación de herramientas para el estudio del lenguaje y el gesto.

• Temas
• UMU