让每个镜头,都记录精彩
ISP 处理器作为移动端设备重要的图像处理构成，在自动驾驶领域开始扮演重要角色，「当前市面上已有的车规级图像处理器图像处理效果不能满足自动驾驶深度学习算法的需求」，达摩院自动驾驶实验室，高级技术专家 丁虎平（广瞻）向机器之心谈道。
4 月 8 日机器之心消息，阿里达摩院首款自研 ISP 处理器正式发布。
据悉，该款处理器支持 200 万图像处理，可同时处理 6 个摄像头数据传输，通过 3D 降噪和图像增强算法，图像识别能力比业内主流 ISP 处理器有 10% 以上提升，保障自动驾驶的车辆在夜间拥有更好的「视力」，提升自动驾驶安全性。
目前，该处理器已经用于自动驾驶物流车业务场景，未来有望进一步将运用在新零售、智能家居等场景，并可能会集成到 SoC 芯片上。
撰文 |凡雪、四月
编辑 | 四月
4 月 8 日机器之心消息，阿里达摩院首款自研 ISP (Image Signal Processor) 处理器正式发布，该处理器将搭载于车载摄像头，每秒可处理 200 万像素图像，同时支持 6 个摄像头传输的数据。目前已经运用于阿里自动驾驶物流车业务场景，可支撑无人物流车全天候运营，并进一步拓展自动驾驶的生产环境。之所以首先选择物流场景落地，在于阿里经济体拥有丰富的物流场景，例如淘宝、饿了么、盒马等业务都离不开物流配送，加之菜鸟也是一个智慧物流平台，这为自动驾驶研发团队提供了大量场景经验。此外，阿里旗下的业务涵盖电商、物流、云计算等，用户规模庞大，图像视频分析、搜索等各种业务场景都亟待 AI 专用芯片，其中图像和视频对算力的需求尤其大，这为阿里研发 AI 芯片提供了先天优势平台。以往丰富的自动驾驶场景经验和亟需满足需求的多元化 AI 场景，开启了达摩院的造「芯」旅程。据机器之心了解，未来，该款 ISP 芯片有望应用到新零售和智能家具场景。
一 解构达摩院 ISP 处理器技术
每当杭州夜色降临，来自达摩院自动驾驶实验室的无人车便上路，这些搭载着阿里自研 ISP 芯片的车辆在夜路上逐步优化升级。所谓 ISP (Image Signal Processor)，即图像信号处理器，是车载摄像头的重要构成组件，主要作用是对前端图像传感器 CMOS 输出的信号进行运算处理。ISP 处理器一般运用在安防，自动驾驶，手机、相机等领域，在手机、相机等传统领域中，一般用作拍照，对实时性要求不高，在这种情况下，往往可以采取例如夜间长曝光时间的方法来达到较好的拍摄效果。而在安防领域，场景往往是固定的，背景不涉及到运动，但自动驾驶场景全天候都处在运动状态中，此外，自动驾驶尤其注重安全，因此，对于图像质量、数据传输和处理速度要求较高，需达到实时性要求。达摩院自动驾驶实验室，高级技术专家 丁虎平（广瞻）向机器之心介绍，目前白天场景 ISP 芯片表现良好，但在夜间、阴天、道路光线复杂、天气恶劣等极端情况下，ISP 芯片需要路测去发现并解决问题。根据达摩院自动驾驶实验室的路测结果显示，使用达摩院 ISP 处理器，车载摄像头在夜间这个最富挑战的场景下，图像识别能力比业内主流 ISP 处理器有 10% 以上的大幅度提升，原本模糊不清的标志物也得以清晰识别，降低漏检、误检的可能。
测试显示，达摩院 ISP 处理器 (左) 能够识别更多的标志物车载摄像头图像识别能力的大幅提升，进一步保障了自动驾驶的安全性，背后的技术是达摩院独有的 3D 降噪和图像增强算法。
达摩院ISP处理器路测效果3D 降噪技术是由原先传统的 2D 技术升级，即在原有的帧内降噪的基础上，增加了帧与帧之间降噪的功能，使图像明暗部分的细节都更加清晰、更接近人眼看到的实际效果，运动估计是 3D 降噪的重要环节，精准的运动估计可以最大程度减小场景中运动物体因为帧间降噪引入的运动拖尾。达摩院在此基础上，同时对图像的噪声水平进行准确估计，通过噪声估计用以指导降噪强度，在保证降噪效果的同时最大程度保留物体结构以及边缘信息。在图像增强方面，达摩院针对夜间场景，引入局部对比度增强处理，在控制曝光时间的同时，对图像局部进行对比度拉伸，既保证整体图像结构和细节，又可以减轻因长曝光引起的运动模糊。丁虎平向机器之心介绍道，局部对比度增强处理是达摩院在图像增强上的特色，与整体图像增强不同的是，它将图像分割成若干区域，针对局部区域的灰度特征进行增强处理。他表示，目前在车规级图像处理器领域，该款芯片处于业界一流水平。
二 自动驾驶领域「后发者」阿里
早在 2014 年左右，彼时阿里巴巴在智能汽车领域的布局还较为保守——希望首先给汽车加装智能操作系统，让其具备智能操控、感知、服务等能力，相对成熟后再发力自动驾驶。阿里一直在自主研发车载操作系统 AliOS，这一操作系统为斑马智行以及荣威系列互联网汽车提供了支持。2014 年，AliOS 与上汽深度合作，2015 年，斑马网络由阿里巴巴集团和上汽共同发起的智联网汽车基金投资成立，斑马智行便是由斑马网络所打造的基于 AliOS 的智联网汽车开放平台；2016 年 7 月，阿里同上汽合作发布了「全球首款量产互联网 SUV」荣威 RX5，基于 AliOS 打造的斑马智行系统也首次出现在大众面前；
荣威 RX5 中控搭载 斑马智行系统2017 年 12 月，阿里和福特汽车正式签署战略合作，双方依托阿里达摩院对前沿基础科技的研究，整合云计算、人工智能等技术，通过 AliOS 操作系统与汽车的结合，提升驾驶体验。除了在车联网领域的发力，阿里在 2015 年年底起，也开始了在自动驾驶领域的布局。至今，经过四年多的打磨，现阶段阿里达摩院自动驾驶实验室聚焦在末端无人物流的场景，并已经将无人配送车产品逐步落地在大学校园。虽然相比百度，腾讯，阿里的自动驾驶路线「姗姗来迟」，但好在阿里的技术的场景积淀较为丰厚。对于自动驾驶而言，环境感知、高精度定位、决策规划、智能控制等都是必备技术，这也是达摩院自动驾驶团队布局的方向。谈道为何从 ISP 芯片角度切入研发，丁虎平向机器之心表示，从自动驾驶视觉场景角度看，ISP 要实现的是在复杂的道路光线环境/恶劣天气环境下仍然可以得到满足深度学习算法所需要的图像数据；从传感器融合角度，预知图像传感器的曝光时间极其重要，可以保证雷达扫描到某一位置时刻同时触发图像传感器曝光；而当前市面上已有的车规级图像处理器图像处理效果不能满足自动驾驶深度学习算法的这些需求。而这款自研芯片正是达摩院在环境感知上的研究突破，它可以解决现有硬件方案性能不足的问题，进一步提升自动驾驶系统的安全性。ISP 处理器就是达摩院在环境感知上的研究突破，它可以解决现有硬件方案低照度场景图像质量不足的问题，进一步提升自动驾驶系统的安全性。此外，在丁虎平看来，阿里巴巴经济体拥有丰富的物流场景，例如淘宝、天猫、饿了么、盒马等这些业务都离不开物流配送，加之菜鸟本身也是一个智慧物流平台，这为自动驾驶研发团队提供了大量场景经验。目前，达摩院 ISP 处理器已在自动驾驶物流车业务场景落地，未来可能会落地新零售如自动收银机、智能家具等场景，据丁虎平介绍，当迁移到相关场景时，需要对 ISP 处理器相关模块或算法进行定制化即可。ISP 处理器除了对自身业务的促进，对于行业来讲意义也不小，据高工智能产业研究院 (GGII) 研究院预估，摄像头随着 ADAS 渗透率的提升，市场规模由 2016 年的 20 亿元增长到 2020 年的 58 亿元，年复合增长率为 30%，搭载于其中的 ISP 处理器对于整个自动驾驶行业而言无疑有着重要推动作用。据机器之心了解，当前，该款芯片主要用于自动驾驶物流车的相机系统中，未来是否出售或者 license IP 给其他厂商要遵循集团的相关政策。
三 从玄铁到 ISP 处理器达摩院的布局之道
2018 年 9 月，阿里巴巴宣布合并中天微、达摩院团队，成立平头哥半导体芯片公司。中天微成立于 2001 年，旨在发展 32 位高性能低功耗嵌入式 CPU、以芯片架构授权为核心业务的集成电路设计公司，2018 年 4 月被阿里全资收购；达摩院是阿里在全球多点设立的科研机构，立足基础科学技术的研究，成立于 2017 年 10 月。成立至今，平头哥已发布基于 RISC-V 的处理器 IP Core 玄铁 910、SoC 芯片平台「无剑」和含光 800 芯片。
平头哥发布 AI 芯片—含光 8002019 年 10 月，平头哥宣布开源低功耗微控制芯片（MCU）设计平台，其中包含处理器、基础接口 IP、操作系统、软件驱动和开发工具等模块，搭载基于 RISC-V 架构的玄铁 902 处理器，能提供 UART、SPI、I2C 等多种 IP 及驱动，还可让用户快速集成、验证，减少基础模块开发成本。阿里旗下的业务涵盖电商、物流、云计算、大数据等等。用户规模庞大，图像视频分析、搜索等各种业务场景都亟待 AI 专用芯片，其中图像和视频对算力的需求尤其大，这为阿里研发 AI 芯片提供了绝佳平台。
此前平头哥接连推出的玄铁、无剑、含光都是芯片领域的不同产品，玄铁解决指令集、算法等架构问题，无剑是一个芯片开发平台，它提供芯片开发的基础设施，含光 800 是平头哥真正意义的第一款 AI 芯片。
而此次推出的 ISP 是车载图像处理器，主要用于自动驾驶场景。除了应用场景不同，玄铁 910、无剑 SoC 平台可以帮助其它企业研发定制芯片，含光 800 则是云端 AI 推理芯片，目前都已经完成市场对外输出。
据丁虎平透露，达摩院这一款 ISP 处理器目前首先满足自身自动驾驶业务需求，未来对外输出形式尚未确定，「也有可能成为 SoC 芯片的一部分」，丁虎平补充说道。