Hoy presentamos Elasticsearch Relevance Engine™ (ESRE™), nuevas capacidades para crear aplicaciones de búsqueda de AI con alta relevancia. ESRE parte del liderazgo de Elastic en la búsqueda y más de dos años de investigación y desarrollo de machine learning. Elasticsearch Relevance Engine combina lo mejor de la AI con la búsqueda de texto de Elastic. ESRE brinda a los desarrolladores un conjunto completo de algoritmos de recuperación sofisticados y la capacidad de integración en modelos de lenguaje grandes (LLM). Y mejor aún, es accesible a través de una API simple unificada en la que la comunidad de Elastic ya confía, por lo que los desarrolladores de todo el mundo pueden comenzar a usarlo de inmediato para elevar la relevancia de búsqueda.
Las capacidades configurables de Elasticsearch Relevance Engine pueden usarse a fin de ayudar a mejorar la relevancia de la siguiente manera:
Aplicando características de clasificación de relevancia avanzadas, entre ellas, BM25f, un componente esencial de la búsqueda híbrida
Creando, almacenando y buscando incrustaciones densas mediante la base de datos de vectores de Elastic
Procesando texto mediante una amplia variedad de modelos y tareas de procesamiento de lenguaje natural (NLP)
Permitiendo a los desarrolladores gestionar y usar sus propios modelos de transformadores en Elastic para el contexto específico del negocio
Integrándose con modelos de transformadores de terceros, como GPT-3 y 4 de OpenAI a través de API para recuperar un resumen intuitivo de contenido basado en los almacenes de datos del cliente consolidados dentro de los despliegues de Elasticsearch
Permitiendo la búsqueda impulsada por ML sin entrenar o mantener un modelo gracias al modelo Learned Sparse Encoder listo para usar de Elastic para brindar una búsqueda semántica con alta relevancia en varios dominios
Combinando con facilidad la recuperación densa y dispersa mediante la fusión de rango recíproco (RRF), un método de clasificación híbrido que brinda a los desarrolladores el control para optimizar su motor de búsqueda de AI conforme a su combinación única de lenguaje natural y tipos de búsqueda de palabras clave
Integrándose con herramientas de terceros, como LangChain, para ayudar a crear pipelines de datos sofisticados y aplicaciones de AI generativa
La evolución de la búsqueda ha sido impulsada por la constante necesidad de mejorar la relevancia y las formas en las que interactuamos con las aplicaciones de búsqueda. Los resultados de búsqueda con alta relevancia pueden llevar a una mayor interacción de los usuarios en las apps de búsqueda con impactos posteriores importantes tanto en los ingresos como en la productividad. En el nuevo mundo de los LLM y la AI generativa, la búsqueda puede ir incluso más allá: comprender la intención del usuario para brindar un nivel de especificidad en las respuestas nunca antes visto.
En particular, cada avance en la búsqueda brinda mejor relevancia y aborda los nuevos desafíos que presentan las tecnologías emergentes y los comportamientos cambiantes de los usuarios. Ya sea mediante la ampliación de la búsqueda por palabras clave para ofrecer búsqueda semántica o la habilitación de nuevas modalidades para videos e imágenes, la nueva tecnología requiere herramientas únicas que permitan brindar mejores experiencias a los usuarios de búsquedas. Del mismo modo, la inteligencia artificial del mundo actual requiere un kit de herramientas para desarrolladores nuevo y sumamente escalable que se haya desarrollado a partir de una pila tecnológica con capacidades demostradas y probadas con clientes.
Con el impulso de la AI generativa y la adopción cada vez mayor de tecnologías como ChatGPT, además de la creciente toma de conciencia de las capacidades de los modelos de lenguaje grandes, los desarrolladores están ansiosos por experimentar con la tecnología para mejorar sus aplicaciones. Elasticsearch Relevance Engine marca el inicio de una nueva era de capacidades en el mundo de la AI generativa y enfrenta el día con herramientas poderosas que cualquier equipo de desarrolladores puede usar de inmediato. Elasticsearch Relevance Engine está disponible ahora en Elastic Cloud, la única oferta de Elasticsearch hospedado que incluye todas las características nuevas en esta versión más reciente. También puedes descargar el Elastic Stack y nuestros productos de orquestación del cloud, Elastic Cloud Enterprise y Elastic Cloud para Kubernetes, para una experiencia autogestionada.
Superar las limitaciones de los modelos de AI generativa
Elasticsearch Relevance Engine™ está bien posicionado para ayudar a los desarrolladores a evolucionar rápidamente y enfrentar estos desafíos de búsqueda de lenguaje natural, incluida la AI generativa.
1. Conciencia del contexto/datos empresariales: es posible que el modelo no tenga suficiente conocimiento interno relevante para un dominio en particular. Esto surge del set de datos a partir del cual se entrena el modelo. A fin de adaptar los datos y el contenido que generan los LLM, las empresas necesitan una forma de alimentar datos privados en los modelos de modo que aprendan a suministrar información más relevante específica para el negocio.
2.Relevancia superior: Elasticsearch Relevance Engine hace que integrar los datos de fuentes privadas sea tan simple como generar y almacenar incrustaciones de vectores para recuperar el contexto a través de la búsqueda semántica. Las incrustaciones de vectores son representaciones numéricas de palabras, frases o documentos que ayudan a los LLM a comprender el significado de las palabras y sus relaciones. Estas incrustaciones mejoran la salida del modelo de transformador a velocidad y escala. El ESRE también permite a los desarrolladores traer sus propios modelos de transformadores a Elastic o integrarse con modelos de terceros. También notamos que el surgimiento de modelos de interacción tardía nos permite ofrecer esto de fábrica, sin necesidad de un gran entrenamiento o de ajustar sets de datos de terceros. Dado que no todos los equipos de desarrollo tienen los recursos o la experiencia para entrenar y mantener modelos de machine learning o comprenden las compensaciones de escalado, rendimiento y velocidad, Elasticsearch Relevance Engine también incluye Elastic Learned Sparse Encoder, un modelo de recuperación desarrollado para la búsqueda semántica en distintos dominios. El modelo empareja incrustaciones dispersas con búsqueda BM25 tradicional basada en palabras clave para un puntuador de fusión de rango recíproco (RRF) fácil de usar para la búsqueda híbrida. El ESRE brinda a los desarrolladores relevancia impulsada por machine learning y técnicas de búsqueda híbrida desde el día uno.
2. Relevancia superioridad: la privacidad de los datos es fundamental para la forma en que las empresas usan y transmiten de manera segura los datos privados en una red y entre componentes, incluso al desarrollar experiencias de búsqueda innovadoras. Elastic incluye soporte nativo para control de acceso basado en atributos y basado en roles a fin de asegurar que solo esos roles con acceso a los datos puedan verlos, incluso en aplicaciones de chat y respuesta a preguntas. Elasticsearch puede brindar soporte a las necesidades de tu organización para mantener ciertos documentos accesibles a individuos con privilegios, lo cual ayuda a tu organización a mantener controles de acceso y privacidad universales en todas tus aplicaciones de búsqueda. Cuando la privacidad es una de las principales prioridades, mantener los datos en la red de tu organización puede no solo ser fundamental, sino obligatorio. Desde permitir a tu organización implementar despliegues que se encuentran en un entorno aislado hasta brindar soporte para el acceso a redes seguras, el ESRE brinda las herramientas que necesitas para ayudar a tu organización a mantener seguros los datos.
3. Privacidad y seguridad: la privacidad de los datos es fundamental para la forma en que las empresas usan y transmiten de manera segura los datos privados en una red y entre componentes, incluso al desarrollar experiencias de búsqueda innovadoras. Elastic incluye soporte nativo para control de acceso basado en atributos y basado en roles a fin de asegurar que solo esos roles con acceso a los datos puedan verlos, incluso en aplicaciones de chat y respuesta a preguntas. Elasticsearch puede brindar soporte a las necesidades de tu organización para mantener ciertos documentos accesibles a individuos con privilegios, lo cual ayuda a tu organización a mantener controles de acceso y privacidad universales en todas tus aplicaciones de búsqueda. Cuando la privacidad es una de las principales prioridades, mantener los datos en la red de tu organización puede no solo ser fundamental, sino obligatorio. Desde permitir a tu organización implementar despliegues que se encuentran en un entorno aislado hasta brindar soporte para el acceso a redes seguras, el ESRE brinda las herramientas que necesitas para ayudar a tu organización a mantener seguros los datos.
4. Tamaño y costo: el uso de modelos de lenguaje grandes puede ser prohibitivo para muchas empresas debido a los volúmenes de datos y a la memoria y el poder de procesamiento requeridos. Aún así, las empresas que desean compilar sus propias apps de AI generativa, como chatbots, necesitan unir los LLM con sus datos privados. Elasticsearch Relevance Engine proporciona a las empresas el motor para brindar relevancia de manera eficiente con ventanas de contexto de precisión que ayudan a reducir el consumo de datos sin problemas ni gastos.
5. Desactualización: el modelo se congela en el momento en el que se recopilan los datos para el entrenamiento. Por lo tanto, el contenido y los datos que crean los modelos de AI generativa están actualizados solo hasta el momento del entrenamiento. Integrar datos corporativos es una necesidad inherente para impulsar resultados oportunos de los LLM.
6. Alucinaciones: al responder preguntas o conversar con el modelo, puede inventar hechos que suenen confiables y convincentes, pero que sean en realidad proyecciones que no estén basadas en hechos. Este es otro motivo por el cual basar los LLM en conocimiento contextual personalizado es tan importante para que los modelos sean útiles en un contexto comercial. Elasticsearch Relevance Engine permite a los desarrolladores establecer vínculos con sus propios almacenes de datos a través de una ventana de contexto en los modelos de AI generativa. Los resultados de búsqueda agregados pueden brindar información actualizada de una fuente privada o un dominio especializado y, por lo tanto, pueden devolver información más objetiva cuando se solicite, en lugar de depender solamente en el conocimiento denominado "paramétrico" de un modelo.
Supercarga mediante una base de datos de vectores
Elasticsearch Relevance Engine incluye, por diseño, una base de datos de vectores resiliente y de grado de producción. Da a los desarrolladores una base sobre la cual compilar aplicaciones de búsqueda semántica completas. Mediante la plataforma de Elastic, los equipos de desarrollo pueden usar la recuperación de vectores densos para crear un proceso de respuesta a preguntas más intuitivo que no se limite a palabras clave o sinónimos. Pueden compilar una búsqueda multimodal mediante datos no estructurados, como imágenes, e incluso modelar los perfiles de los usuarios y crear coincidencias para personalizar los resultados de búsqueda en aplicaciones de búsqueda de pareja, búsqueda laboral o de productos y descubrimiento. Estos modelos de transformador de NLP también permiten tareas de machine learning, como análisis de sentimiento, reconocimiento de entidades con nombre y clasificación de texto. La base de datos de vectores de Elastic permite a los desarrolladores crear, almacenar y buscar incrustaciones sumamente escalables y eficientes para aplicaciones de producción reales.
Elasticsearch es excelente en la recuperación de búsqueda de alta relevancia. Con el ESRE, Elasticsearch brinda ventanas de contexto para la AI generativa vinculadas a los datos privados de una empresa, lo cual permite a los desarrolladores crear experiencias de búsqueda atractivas y más precisas. Los resultados de búsqueda se devuelven según la búsqueda original de un usuario, y los desarrolladores pueden pasar esos datos al modelo de lenguaje que prefieran para dar una respuesta con contexto agregado. Elastic supercarga las capacidades de personalización y respuesta a preguntas con datos contextuales relevantes de tu almacén de contenido privado y adaptado a tu negocio.
Brindar relevancia superior lista para usar a todos los desarrolladores
Con el lanzamiento de Elasticsearch Relevance Engine, estamos poniendo a disposición el modelo de recuperación propiedad de Elastic. El modelo es fácil de descargar y funciona con todo nuestro catálogo de mecanismos de ingesta, como el rastreador web de Elastic, los conectores o la API. Los desarrolladores pueden usarlo tal como se entrega con su corpus buscable, y es lo suficientemente pequeño para caber en la memoria de una computadora portátil. El Learned Sparse Encoder de Elastic proporciona búsqueda semántica en todos los dominios para los casos de uso de búsqueda, como bases de conocimientos, publicaciones académicas, descubrimiento legal y bases de datos de patentes, a fin de brindar resultados de búsqueda con alta relevancia sin necesidad de adaptación o entrenamiento.
La mayoría de las pruebas en el mundo real muestran que las técnicas de clasificación híbridas producen los conjuntos de resultados de búsqueda más relevantes. Hasta ahora, nos faltaba un componente clave: la RRF. Ahora incluimos la RRF para tus necesidades de búsqueda de aplicaciones, de modo que puedes emparejar las capacidades de búsqueda textual y vectores.
El aprendizaje automático se encuentra a la vanguardia en cuanto a mejorar la relevancia de los resultados de búsqueda con contexto semántico, pero su costo, complejidad y exigencias de recursos suelen hacer que sea imposible para los desarrolladores implementarlo con efectividad. Los desarrolladores habitualmente necesitan el soporte de equipos de ciencia de datos o machine learning especializados para crear una búsqueda impulsada por AI con alta relevancia. Estos equipos dedican mucho tiempo a seleccionar los modelos adecuados, entrenarlos con sets de datos específicos del dominio y mantener los modelos a medida que evolucionan debido a cambios en los datos y sus relaciones.
Los desarrolladores que cuentan con el soporte de equipos especializados pueden implementar la búsqueda semántica y beneficiarse de la relevancia de búsqueda impulsada por AI desde el comienzo sin el esfuerzo y la experiencia que requieren las alternativas. A partir de hoy, todos los clientes poseen los elementos esenciales para ayudar a lograr una búsqueda más inteligente, moderna y con mejor relevancia.
Pruébalo
Los clientes existentes de Elastic Cloud pueden acceder a muchas de estas características directamente desde la consola de Elastic Cloud. ¿No estás aprovechando Elastic en el cloud? Ve cómo usar Elasticsearch con los LLM y la AI generativa.
El lanzamiento y la sincronización de cualquier característica o funcionalidad descrita en este blog quedan a la entera discreción de Elastic. Cualquier característica o funcionalidad que no esté disponible actualmente puede no entregarse a tiempo o no entregarse en absoluto.
Elastic, Elasticsearch, Elasticsearch Relevance Engine, ESRE, Elastic Learned Sparse Encoder y las marcas asociadas son marcas comerciales, logotipos o marcas comerciales registradas de Elasticsearch N.V. en los Estados Unidos y otros países. Todos los demás nombres de empresas y productos son marcas comerciales, logotipos o marcas comerciales registradas de sus respectivos propietarios.
Comments