vivo影像发布会:X90超大底/长焦/人像升级与新自研ISP预告
vivo影像发布会:X90超大底/长焦/人像升级与新自研ISP预告
2022-10-24 15:08

10月24日,vivo举行了今年的影像战略发布会,按照上年习惯,这基本就是vivo X90系列影像部分和vivo V2自研ISP的预告了。此外,vivo宣称已经有超1000人摄影研发团队,1200+影像技术专利授权。

vivo影像发布会:X90超大底/长焦/人像升级与新自研ISP预告

省流概括:

  1. (X90系列)将采用新一代的CMOS,感光能力比GNV(1/1.3英寸级)提升77%,就差点名是索尼IMX989了(1英寸+)

  2. 长焦会有恢复35%清晰度信息的光学超分算法,5倍以上的解析力提升64%

  3. 蔡司等效50mm 2倍人像,人物主体分割宣称IOU达到96.15%,前置微缝双柔光灯(应该是S系列?)


vivo影像发布会:X90超大底/长焦/人像升级与新自研ISP预告

vivo影像发布会:X90超大底/长焦/人像升级与新自研ISP预告

而vivo下一代自研ISP(最终命名未知,暂定叫vivo V2吧),换成AI-ISP架构,定制10bit MAC 电路,10bit运算推理延迟较传统NPU最多降低96%,能效比最高提升200%。

  • 片上内存升级成DDR-Less片内近存,1.3万亿bit每秒吞吐峰值。

  • AI计算单元的DLA(即Deep Learning      Accelerator深度学习加速器)有共享SRAM,每瓦16.3TOPS/W(台积电6nm工艺的马里亚纳X是11.6TOPS/W,18TOPS峰值)。

  • 图像处理单元提升了AI-NR降噪、HDR影调融合、MEMC插帧等算法效果,宣称夜景视频最大提升4EV动态范围,降噪效果提升20%。

 vivo影像发布会:X90超大底/长焦/人像升级与新自研ISP预告

影像算法和效果上,对比X80,白平衡准确性提升8%,智能白加黑减(曝光)提升14%。最高102400的ISO,提升100%的夜景。对比IMX866,信噪比提升20%,色彩还原能力提升15%。视频方面,支持BT2020色彩空间,有10bit LOG+3D LUTs。


计算摄影与算法部分

vivo影像发布会:X90超大底/长焦/人像升级与新自研ISP预告

vivo把自己的影像技术分为7部分:光学感知系统、臻彩还原引擎、超清画质引擎、算力加速引擎、环境理解技术、超感人像系统、苍穹夜景系统。

【光学感知系统】

光学感知系统包括光学模组和镀膜等技术。比如VCS仿生光谱技术,通过改善Sensor QE光谱,提升信噪比和色彩还原能力,让传感器接收的原始信息不断接近人眼,打造良好的成像基础。

 

【臻彩还原引擎】

主要支撑技术为智能AWB和智能白加黑减,能够提升白平衡准确性和大面积“白”“黑”场景的曝光准确性,将vivo的色彩表现和影调观感优化到极致。

 

【超清画质引擎】

超清画质引擎的典型技术为光学超分算法,通过对镜头的缺陷建模分析,恢复了约35%的损失信息。光学超分算法是实现超清画质的起点,引擎中还有Denoise、Demosaic、Deblur等模块,进行耦合训练,形成了系统性的AI画质方案——超清画质引擎。可以实现多帧画质重建,达到更好的画质和更广的动态范围。

 

【算力加速引擎】

算力加速引擎,是一套软硬结合的加速方案,vivo基于自研芯片和平台SOC设计研发了CV异构加速引擎和vDNN深度学习加速引擎,是分别针对传统CV算法和AI算法的加速引擎,可支撑多芯结合的异构加速,实现多信息协同并高速处理。

 

【环境理解】

环境理解会对场景进行识别,比如色温和亮度检测的技术、运动检测的技术,基于环境的进行信息提取,协助3A等模块,作出最佳的拍摄判断(3A技术即自动对焦(AF)、自动曝光(AE)和自动白平衡(AWB))。

 

【超感人像系统】

超感人像系统三大核心技术模块:人像理解、人像美化、人像氛围。

先是人像理解——像摄影师一样读懂人像信息。vivo“人像理解技术”会像专业修图师一般进行分区检测,对人脸进行语义重点和轮廓细节的提取,建立多达103个特征点的关键人脸坐标,点位精度误差小于2像素。同时,会对画面中的皮肤、手势、肢体关键点进行检测,主体分割IOU达到了96.15%的精确度,为静态人像重塑和动态人像抓拍提供了精细化的处理能力。

第二步是人像美化——微米级人像细节美化。以不同年龄、性别、场景的数以百万计的素材,经过反复的机器学习成长,推出vivo全新升级的微米级焕肤塑颜技术,使皮肤观感更加自然、健康,也更好地保留了五官的立体感。

第三步是人像氛围——营造独特的氛围感。“人像氛围融合”技术,基于人像语义理解,在影调、色彩、亮度、虚化等层面上进行人与场景的融合处理,实现人与景和谐、自然的效果。

 

【苍穹夜景系统】

进行AI升级,基于百万夜景照片训练出三个全新模型:超感光模型、全分割语义模型和臻彩影调模型。超感光模型:将感光能力最大提升了100%,ISO最高可支持102400;全分割语义模型和臻彩影调模型联合,实现了自适应的影调和色彩调整能力。


关注我们的微博@爱搞机

关注我们的微信公众号:爱搞机(playphone)

当然,也关注我们的哔哩哔哩账号:爱搞机

分享:
方查理
平凡的机佬
福利!

扫描二维码,关注作者

分享微博 分享微信
爱搞机微信

爱搞机微信

搞机啦微信

搞机啦微信

推荐产品

抱歉,产品库没有您要找的产品

试用