NINE obtendrá conocimiento del entorno a través del procesamiento de señales acústicas y visuales, transformándolas en cláusulas relativas al lenguaje natural. Se establecerá un canal de comunicación multimodal personalizado en función del perfil del usuario y del contexto que le rodea, con el objetivo de crear una relación de empatía entre la persona y la máquina. Los objetivos se comentan a continuación:
- Extracción de características (Habla : emoción y perfil del usuario, Apariencia usuario, Gestos: sobre interfaz táctil y/o enriquecimiento a la comunicación verbal)
- Determinar la personalidad e intención del usuario (Construcción de analizadores de características, Determinación de personalidades, Significado de gestos corporales, Interpretación del habla)
- Razonador semántico(Implementación de razonadores para la gestión del diálogo y la interacción afectiva, Sistema de regla)
- Composición de respuesta (Generación de una respuesta adaptada al contexto, Contenido vocal + tono afectivo + actitud gestual)
- Control de ECAs (Plataforma de dicción modulable y animación 3D)
- Exposición en tiempo real (Canales de acceso y difusión de Agentes Conversacionales Virtuales)
