NINE: Sistema conversacional multimodal para la comunicación empática entre personas y máquinas

NINE tuvo como objetivo dotar a los sistemas conversacionales de conocimiento del entorno mediante el procesamiento de señales acústicas y visuales, transformándolas en cláusulas de lenguaje natural. Sobre esta base se estableció un canal de comunicación multimodal personalizado en función del perfil del usuario y del contexto que lo rodeaba, buscando crear una relación de empatía entre la persona y la máquina.

Para ello, el proyecto se organizó en torno a los siguientes objetivos:

• Extracción de características: habla (emoción y perfil del usuario), apariencia del usuario y gestos, tanto sobre interfaz táctil como de enriquecimiento de la comunicación verbal.
• Determinación de la personalidad e intención del usuario, mediante la construcción de analizadores de características, la determinación de personalidades, el significado de los gestos corporales y la interpretación del habla.
• Razonamiento semántico de la respuesta adaptada al contexto, combinando contenido vocal, tono afectivo y actitud gestual.
• Control de agentes conversacionales virtuales (ECA), mediante una plataforma de dicción modulable y animación 3D.
• Exposición en tiempo real de los agentes conversacionales virtuales, a través de sus distintos canales de acceso y difusión.