瑞芯微多模态交互技术的未来发展目标主要是围绕提升芯片算力、强化多模态处理能力、优化模型适配以及拓展应用场景等方面,具体如下:
- 提升芯片算力与性能:持续推出更高算力的芯片产品,如 RK3688 将会集成算力高达 16TOPS 的 NPU 内核。未来还会进一步优化芯片架构和制程工艺,提高芯片的处理速度、降低功耗,以满足多模态交互技术对算力的更高需求。
- 强化多模态处理能力:更好地处理和融合视觉、听觉、触觉等多模态数据,实现更精准的环境感知、目标识别和决策控制。例如,通过融合摄像头图像和雷达数据,实现更准确的自动驾驶场景感知。
- 优化模型适配:致力于对大模型进行小型化和轻量化处理,通过模型压缩、量化等技术,在不影响模型性能的前提下,减少模型的存储空间和计算量,使其更适合在车载等终端芯片上运行。同时,根据不同的应用场景,如智能驾驶、智能座舱等,与合作伙伴共同开发定制化的大模型,提高模型的准确性和效率。
- 升级智能人机交互:利用大模型的自然语言处理和语音识别能力,助力汽车等终端设备实现更智能、更自然的人机交互。使用户可以通过语音指令、手势、表情等多种方式与设备进行交互,设备也能够更准确地理解用户的意图并提供个性化的服务和建议。
- 拓展应用场景:除了汽车电子领域,还会将多模态交互技术进一步拓展到机器人、工业视觉、医疗等更多领域,依托不同算力芯片,满足各领域对多模态交互的需求,如深化工业、服务机器人芯片合作,优化性能,为机器人提供更灵活、多样化的交互方式。