近期,腾讯会议与联发科技合作,正式上线了虚拟背景功能运行在天玑移动平台NPU的版本。作为双方首次联合优化、实现平台最大化AI算力的软硬件生态合作,为用户带来更智能、更高效、更安全的高品质会议体验,也为业内AI应用提供了绝佳的参考案例。
在本次合作中,联发科技的天玑移动平台为虚拟背景功能提供了强大的AI性能底座。天玑移动平台面向智能手机、平板电脑等移动设备,拥有高智能、高性能、高能效、低功耗卓越特性。最新发布的天玑9400集成联发科技第八代 AI 处理器 NPU 890,提供远超以往的AI 性能和能效。此外,天玑9400 还支持时域张量(Temporal Tensor)硬件加速技术、端侧高画质视频生成技术,强劲的端侧Stable Diffusion性能,不仅能够实现高分辨率生图,更支持端侧动图和视频生成,实现更多创新玩法。
腾讯会议的虚拟背景功能是一种基于人像分割技术的运用,在进行视频会议时,腾讯会议将自动识别参会人,并将参会人周围的环境替换为指定图像或视频 ,在对参会人员进行隐私保护的同时,也提升了会议趣味。虚拟背景功能还可以取代布展背景墙,可有效节约会议成本。
此次腾讯会议基于天玑移动平台NPU上实现的AI人像分割技术,采用了自建的多样性数据集,涵盖了丰富多样的人物样本和场景环境,以确保能够在各种实际应用场景中实现稳定而精准的人像分割。同时在模型设计上,腾讯会议追求轻量化和高计算性价比,采用先进的卷积神经网络架构,并结合注意力机制与重参数化等技术,确保用户无论使用何种设备,都能享受到流畅且准确的人像分割体验。
此次双方的深度合作,共同针对模型在GPU架构和NPU架构的运行能力进行了协同优化,显著提升了处理速度和能效表现,为用户提供了更加流畅和高效的体验。
联发科技不仅在芯片硬件层面提供了强大的NPU算力支持,还为腾讯会议提供了天玑AI开发套件NeuroPilot软件工具和API。通过联发科技的一站式软件解决方案NeuroPilot,为腾讯会议提供了模型量化、转换、编译和集成的完整工具链(SDK/API/Document),使之可在天玑移动平台上高效开发和部署基于神经网络的AI应用程序,极大简化了腾讯会议基于AI的应用程序开发步骤。
为了让模型网络中更多计算运行在高性能的天玑移动平台NPU,腾讯会议对自研模型中的自定义模块进行调整和替换,以充分发挥天玑移动平台NPU的AI性能。此外,双方还共同设计模型最大并行度,以进一步提升AI应用在天玑移动平台NPU上的执行效率。经双方联合优化,虚拟背景功能运行在天玑移动平台NPU的版本相对CPU FP16模式版本性能提升可达3.5倍至4倍,耗时也缩短到6毫秒内。同时,降低功耗还有助于减少手机发热,为长时间会议提供更好的续航保障。
腾讯会议智能应用研发中心负责人左小祥表示:长期以来,除了通过AI算法在软件层优化性能,腾讯会议与芯片设计厂商积极合作,探索在硬件层提升性能与优化用户体验的更多可能。本次与联发科技的合作,凭借天玑移动平台强大的AI算力支持,将腾讯会议的AI人像分割模型迁移至天玑AI引擎上运行,AI算法运行更快的同时,还大幅降低算法的CPU占用,节省更多CPU资源。腾讯会议将持续发力AI技术应用的前沿探索,并在软硬件生态的更多合作中,为用户打造更优开会体验,目前,腾讯会议已经在天玑9400、天玑9300、天玑9200、天玑9000等多个平台上线虚拟背景的端侧NPU版本。欢迎广大使用天玑移动平台设备的用户下载腾讯会议APP,体验高效AI加持的开会模式。
联发科技与腾讯会议的合作充分结合了实际业务场景,是一次面向用户体验的移动端AI算力深化合作,为未来功能的拓展和创新打下了坚实的基础,同时也彰显了双方携手推动行业向更高效、更智能发展的先进成果。未来,联发科技与腾讯会议持续携手,通过软硬件协同共同精进落地更多前沿AI能力,助力腾讯会议用户在天玑移动平台设备上畅享卓越体验。BG真人登录