Análisis de texto con IA: del experimento a los datos
Hace algunos años empecé un proyecto bastante ambicioso: construir una base de datos de palabras y términos que permitiera analizar textos de forma automática. La idea era disponer de suficiente información sintáctica, léxica y semántica como para poder diseccionar un texto y, a partir de esos datos, estudiar su estructura, estilo y contenido.
Con procedimientos tradicionales conseguí avanzar bastante. A partir del diccionario de la Real Academia Española pude extraer palabras, acepciones, clasificaciones, locuciones y ejemplos de uso. También era posible generar automáticamente plurales, femeninos y conjugaciones verbales, e incorporar otras fuentes para nombres propios y apellidos.
El problema apareció al intentar utilizar toda esa información para analizar textos reales.
Una palabra aislada es relativamente fácil de catalogar. Una frase completa ya no lo es tanto. El significado y la función de cada elemento dependen de los demás, aparecen expresiones formadas por varias palabras, estructuras sintácticas, ambigüedades y multitud de relaciones que resultan muy difíciles de resolver mediante algoritmos convencionales.
La aparición de los grandes modelos de lenguaje cambia bastante el planteamiento.
En lugar de intentar construir un enorme conjunto de reglas capaz de resolver todos esos casos, podemos utilizar la IA en aquellos pasos donde hace falta interpretar el lenguaje y dejar que la aplicación se encargue de todo lo demás: dividir el proceso, almacenar los resultados, controlar el contexto, ejecutar tareas en paralelo y validar la información obtenida.
El experimento
He preparado un primer proceso de análisis compuesto por varios pasos.
El texto se divide primero en frases. Cada frase se separa después en elementos individuales —palabras, números y signos de puntuación— y se identifican también grupos de varias palabras que pueden tener entidad propia, como nombres compuestos, locuciones o sintagmas.
A partir de ahí se realizan diferentes clasificaciones sintácticas y adicionales sobre palabras y términos. Finalmente, el modelo puede añadir etiquetas libres de tipo semántico, temático y emocional.
El resultado no es simplemente una respuesta generada por una IA. Es una colección de datos estructurados almacenados en una base de datos y relacionados con las posiciones que ocupan dentro del documento original.
Esto permite posteriormente formular preguntas muy diferentes sobre el texto sin necesidad de volver a analizarlo desde cero.
Una primera prueba, no el resultado final
Los primeros ensayos han servido principalmente para construir y ajustar el procedimiento.
Algunas tareas han resultado extremadamente fiables, como la separación en frases o palabras. Otras, especialmente la identificación y clasificación de grupos de palabras, son bastante más difíciles y necesitarán nuevos ensayos.
Precisamente ahí está una de las partes interesantes del proyecto: no se trata simplemente de pedir a un modelo que «analice un texto», sino de comprobar qué tareas puede realizar bien, cómo conviene dividirlas, qué información necesita para cada una y qué resultados merece la pena conservar.
Además, el procedimiento permite registrar cada operación realizada por los modelos: contexto utilizado, funciones llamadas, resultados, errores, consumo de tóquens y coste estimado. Esto convierte el propio proceso en objeto de análisis.
En el vídeo que acompaña a este artículo explico con bastante más detalle cómo está construido el experimento, los pasos que lo componen y los resultados obtenidos en cuatro ensayos diferentes. También muestro cómo influyen la gestión del contexto, la caché, los tóquens de salida, el modelo utilizado y algunas decisiones de diseño que inicialmente parecían pequeñas.
Este es solo el punto de partida. Una vez que dispongamos de datos suficientemente fiables sobre las estructuras que componen los textos, el siguiente paso será bastante más interesante: estudiar qué podemos descubrir a partir de ellos.
