Nueva técnica mejora eficacia de sistemas RAG en búsqueda de documentos adecuados

Una nueva técnica mejora significativamente los sistemas RAG en la recuperación de documentos relevantes

Los sistemas de generación aumentada con recuperación (RAG) se han vuelto populares para darles un respaldo de conocimiento externo a los grandes modelos de lenguaje (LLMs). Estos sistemas suelen utilizar un modelo de incrustación para codificar documentos en un corpus de conocimiento y seleccionar aquellos más relevantes para la consulta del usuario.

Sin embargo, los métodos de recuperación estándar a menudo no consideran detalles específicos del contexto que pueden marcar una gran diferencia en conjuntos de datos específicos de aplicaciones. En un nuevo estudio, investigadores de la Universidad de Cornell presentan «incrustaciones de documentos contextuales,” una técnica que mejora el rendimiento de los modelos de incrustación al hacerlos conscientes del contexto en el que se recuperan los documentos.

Los investigadores proponen dos métodos complementarios para mejorar el rendimiento de los bi-encoders al agregar la noción de contexto a las incrustaciones de documentos. Estos métodos modifican el proceso de entrenamiento del modelo de incrustación y la arquitectura del bi-encoder para mejorar su sensibilidad a las diferencias sutiles que son importantes en contextos específicos.

La evaluación de su método en varios benchmarks demostró que supera consistentemente a los bi-encoders estándar de tamaños similares, especialmente en entornos fuera del dominio donde los conjuntos de datos de entrenamiento y prueba son significativamente diferentes. Además, los investigadores han lanzado una versión pequeña de su modelo de incrustación de documentos contextuales que puede usarse como un reemplazo para herramientas de código abierto populares, como HuggingFace y SentenceTransformers, para crear incrustaciones personalizadas para diferentes aplicaciones.

Esta técnica ofrece la posibilidad de mejorar significativamente el rendimiento de los sistemas RAG en diferentes dominios, siendo de utilidad especialmente en conjuntos de datos que difieren notablemente de los datos de entrenamiento. La capacidad de las incrustaciones contextuales para capturar tanto el contexto general del grupo de documentos como los detalles específicos que lo hacen único representa una mejora significativa en la recuperación de documentos relevantes.