Labs 导读

进入5G普及阶段，手机用户对移动影像性能的高度关注，短视频与直播等相关影像应用的爆发，将进一步加速手机企业在核心影像能力上的投入与创新，特别是AI+光感知系统的竞争升级。由此来看，在全球手机供应链高度扁平化与集中化的今天，具备核心技术能力与细分领域的差异化优势对于所有手机供应链企业而言都至关重要。本文将接着篇二最后总结讲述“拍摄”为何成为手机差异化创新的首选？

回顾篇1，href="http://mp.weixin.qq.com/s?__biz=MzkwNDIxNjgwNw==&mid=2247517270&idx=1&sn=14fa4d9c308213d03fc3f0b353647d2b&chksm=c088addef7ff24c8ebc20e106241d719470074037182cc01569e6d67db9b65247f657c7cf01a&scene=21#wechat_redirect">请点击《较之5G，“拍摄”才是手机持续创新的焦点(一)》

回顾篇2，href="http://mp.weixin.qq.com/s?__biz=MzkwNDIxNjgwNw==&mid=2247518868&idx=1&sn=7ac8d824585815c29a452d34170af655&chksm=c088a31cf7ff2a0afbf8cb451987566cb30c5813c51340643c20a3ca32bc3053bfacc5518b2b&scene=21#wechat_redirect">请点击《较之5G，“拍摄”才是手机持续创新的焦点(二)》

3“拍摄”已成手机差异化创新首选

3.5 3D技术创新不断涌现

随着生物识别、机器视觉、自动驾驶等新兴技术的蓬勃发展，普通2D拍摄已无法满足需求。新型的摄像头被要求能像人眼一样识别并记录三维世界，进行动作和物体的识别，并可以进行场景建模，深度相机由此诞生。

深度相机能检测出拍摄空间的景深距离，相当于在传统的2D平面X、Y轴的成像基础上，加入了Z轴方向的深度信息，这样就能获取图像中每个点的三维空间信息，通过三维坐标就能还原真实场景，实现场景建模。目前深度相机的应用主要有三个方向，

• 一是手机端AR 应用，比如人物识别、三维建模、AR导航、AR 游戏、动画表情、体式识别等；
  
• 二是优化拍照体验，用以实现更加精细自然的背景虚化和美颜等；
  
• 三是实现人脸识别解锁、手势操作等复杂功能。

目前的深度相机根据其工作原理可以分为三种：飞行时间法（ToF，Time of Flight）、双目立体视觉和结构光，其中ToF又可分为间接测量飞行时间法（iToF）和直接测量飞行时间法（dToF）。

在三种不同的3D视觉方案中，它们各自都有鲜明的优缺点和不同的使用场景，实现了“近”与“远”的不同3D视觉表现。

• 双目立体视觉方案最大的优势就在于背景虚化能力，在静态照片拍摄中可以模拟大光圈镜头的成像效果。
  
• 3D结构光方案通过发射衍射光斑到物体上，传感器接收到发生形变的光斑，从而根据光斑形变的量来判断深度信息。它所发射的衍射光斑在一定距离外能量密度会降低。自2017年iPhone X首次搭载结构光之后，结构光就在智能手机上得到了广泛应用。目前该技术主要被用于手机的前置摄像头位置，专注于人脸识别，能够方便获取面部的立体信息，进而应用于人脸解锁和移动支付上，大大提升了便利性。它的最大劣势是应用范围受限，受光源影响大，更适合短距离使用。
  
• ToF方案发射的不是散斑，而是面光源，所以在一定距离内，TOF的光信息不会出现大量的衰减。这项技术主要用于后置摄像头，利用更高精度和更远捕捉范围构建3D视觉效果。ToF方案响应速度快，识别范围大，不易受环境光线干扰，且利于设备的小型化，或将成为未来手机深度镜头的主流。

随着5G的蓬勃发展，万物互联的智能物联网时代即将来临， 深度摄像头作为三维世界信息采集的入口，或将扮演更重要的作用。

3.6 与AI（人工智能）联系从未如此紧密

手机成像的基本原理，先是被拍摄物体发出光线，经过镜头或屏幕，完成光信号的传输以及过滤，投射到传感器上。随后，传感器上的像素点根据光线不同的时域、空域、频域特性，生成原始的图像信息，在完成光电信号转化之后传输给计算系统。接下来，传统的计算系统主要依靠集成在ISP图像处理器的相关算法，如3A算法（自动曝光、自动对焦、自动白平衡），对接收到的原始图像，进行处理与优化。最后，经过优化后的图像投射到屏幕上，完成图像的呈现。

在上述传统的拍摄过程中，光学部分与传感器芯片偏硬件的构成一直是厂家关注的焦点，也是提升手机拍摄能力的重点，但受限于手机空间，硬件升级存在一定的局限性。手机“拍摄”也早已从关注怎么“拍的清晰”演进到怎么“拍的好看”。因此，厂商开始更多地从算法角度搭建软硬一体协同解决措施，突破传统智能手机光学处理与成像的局限性，同时借助AI算法，通过图像识别、融合、增强、分割等方式，优化提升手机拍摄能力，丰富拍摄功能，提升成像质量。

提升拍摄能力主要表现在弥补手机拍摄硬件部分的局限性，通过AI算法更好地协调和调度多个摄镜头组，从而实现近似单反相机的拍照效果，如背景虚化，平滑变焦等。丰富拍摄功能主要依靠算法提升手机在特殊场景下的拍摄体验和呈现效果，如夜景模式、特效美颜等。提升成像质量是指对于传统拍摄算法的进一步优化，以及通过AI算法对多种光源的时域、空域、频域等特性的学习和计算，根据实际应用场景提升成像质量，如AI降噪，超分辨率等。

除了AI算法直接赋能“拍摄”之外，AI技术在智能手机应用也已经非常普遍，我们日常使用的诸如人脸识别、语音识别、文字识别、图像处理、图文推荐等都已深度使用AI技术，并与“拍摄”相结合。最典型应用就是如上文提及的生物识别技术，诸如人脸识别和人脸解锁。

人脸识别就是基于人的脸部特征进行身份识别的一种生物识别技术，整个人脸识别的过程，就是手机光学部分和传感器相配合，提取人脸关键信息进行光电转换，通过提前训练好的程序进行逻辑及卷积神经元运算，最后输出比对结果。当前人脸识别精度已超过人眼，人脸解锁速度约为几百毫秒，误识率甚至可以达到百万分之一，并支持活体检测，可有效防止照片或视频攻击，无论实时性、可靠性都远远超过人和传统机械方式，这一切正是由于人工智能算法赋予“拍摄”硬件的强大AI能力。

上述关于特征信息的提取和比对运算，就应用了机器学习和卷积神经网络算法，属于最经典的AI技术。正由于AI技术的加持，如上述生物识别采集成本低、识别效率高，目前已经普遍应用在解锁、移动支付、人身核验等场景中，且这些应用都多少与“拍摄”输入密切相关，当前AI技术已经与传统交互模式产生实质性融合，大大提高日常效率和便利性。

手机通过“拍摄”与AI技术从未联系的如此紧密，这也正是手机当前“智能”的重要体现。伴随5G网络大带宽、低时延、多连接优势，随着5G手机规模的进一步渗透及放量，手机“拍摄”将会结合更多的应用场景和面对更多的技术挑战，如超高清录直播视频、超高清交互类云游戏、AR/VR等，我们已经看到当前5G芯片和智能手机几乎都融入了AI功能，甚至还单独布置了移动端用于AI计算的芯片。从最早用于调度硬件资源以适应不同场景的需要，到后来提供更优算法以优化硬件的局限性，再到现今提供更靠端侧的高效算力平台，AI算法早已不仅仅聚焦在“优化”或者“补强”，更会助力实现不断创新和突破，为终端用户提供更佳的使用体验。