10月24日,vivo举行了今年的影像战略发布会,按照上年习惯,这基本就是vivo X90系列影像部分和vivo V2自研ISP的预告了。此外,vivo宣称已经有超1000人摄影研发团队,1200+影像技术专利授权。
省流概括:
(X90系列)将采用新一代的CMOS,感光能力比GNV(1/1.3英寸级)提升77%,就差点名是索尼IMX989了(1英寸+)
长焦会有恢复35%清晰度信息的光学超分算法,5倍以上的解析力提升64%
蔡司等效50mm 2倍人像,人物主体分割宣称IOU达到96.15%,前置微缝双柔光灯(应该是S系列?)
而vivo下一代自研ISP(最终命名未知,暂定叫vivo V2吧),换成AI-ISP架构,定制10bit MAC 电路,10bit运算推理延迟较传统NPU最多降低96%,能效比最高提升200%。
片上内存升级成DDR-Less片内近存,1.3万亿bit每秒吞吐峰值。
AI计算单元的DLA(即Deep Learning Accelerator深度学习加速器)有共享SRAM,每瓦16.3TOPS/W(台积电6nm工艺的马里亚纳X是11.6TOPS/W,18TOPS峰值)。
图像处理单元提升了AI-NR降噪、HDR影调融合、MEMC插帧等算法效果,宣称夜景视频最大提升4EV动态范围,降噪效果提升20%。
影像算法和效果上,对比X80,白平衡准确性提升8%,智能白加黑减(曝光)提升14%。最高102400的ISO,提升100%的夜景。对比IMX866,信噪比提升20%,色彩还原能力提升15%。视频方面,支持BT2020色彩空间,有10bit LOG+3D LUTs。
vivo把自己的影像技术分为7部分:光学感知系统、臻彩还原引擎、超清画质引擎、算力加速引擎、环境理解技术、超感人像系统、苍穹夜景系统。
【光学感知系统】
光学感知系统包括光学模组和镀膜等技术。比如VCS仿生光谱技术,通过改善Sensor QE光谱,提升信噪比和色彩还原能力,让传感器接收的原始信息不断接近人眼,打造良好的成像基础。
【臻彩还原引擎】
主要支撑技术为智能AWB和智能白加黑减,能够提升白平衡准确性和大面积“白”“黑”场景的曝光准确性,将vivo的色彩表现和影调观感优化到极致。
【超清画质引擎】
超清画质引擎的典型技术为光学超分算法,通过对镜头的缺陷建模分析,恢复了约35%的损失信息。光学超分算法是实现超清画质的起点,引擎中还有Denoise、Demosaic、Deblur等模块,进行耦合训练,形成了系统性的AI画质方案——超清画质引擎。可以实现多帧画质重建,达到更好的画质和更广的动态范围。
【算力加速引擎】
算力加速引擎,是一套软硬结合的加速方案,vivo基于自研芯片和平台SOC设计研发了CV异构加速引擎和vDNN深度学习加速引擎,是分别针对传统CV算法和AI算法的加速引擎,可支撑多芯结合的异构加速,实现多信息协同并高速处理。
【环境理解】
环境理解会对场景进行识别,比如色温和亮度检测的技术、运动检测的技术,基于环境的进行信息提取,协助3A等模块,作出最佳的拍摄判断(3A技术即自动对焦(AF)、自动曝光(AE)和自动白平衡(AWB))。
【超感人像系统】
超感人像系统三大核心技术模块:人像理解、人像美化、人像氛围。
先是人像理解——像摄影师一样读懂人像信息。vivo“人像理解技术”会像专业修图师一般进行分区检测,对人脸进行语义重点和轮廓细节的提取,建立多达103个特征点的关键人脸坐标,点位精度误差小于2像素。同时,会对画面中的皮肤、手势、肢体关键点进行检测,主体分割IOU达到了96.15%的精确度,为静态人像重塑和动态人像抓拍提供了精细化的处理能力。
第二步是人像美化——微米级人像细节美化。以不同年龄、性别、场景的数以百万计的素材,经过反复的机器学习成长,推出vivo全新升级的微米级焕肤塑颜技术,使皮肤观感更加自然、健康,也更好地保留了五官的立体感。
第三步是人像氛围——营造独特的氛围感。“人像氛围融合”技术,基于人像语义理解,在影调、色彩、亮度、虚化等层面上进行人与场景的融合处理,实现人与景和谐、自然的效果。
【苍穹夜景系统】
进行AI升级,基于百万夜景照片训练出三个全新模型:超感光模型、全分割语义模型和臻彩影调模型。超感光模型:将感光能力最大提升了100%,ISO最高可支持102400;全分割语义模型和臻彩影调模型联合,实现了自适应的影调和色彩调整能力。
关注我们的微博@爱搞机
关注我们的微信公众号:爱搞机(playphone)
当然,也关注我们的哔哩哔哩账号:爱搞机
抱歉,产品库没有您要找的产品