英特尔发布深度学习推理工具OpenVINO 2023.0

【CC博客】6月5日消息，在OpenVINO™工具套件发布五周年之际，英特尔开展OpenVINO™ DevCon中国系列工作坊2023活动，旨在通过每月一次的工作坊，持续助力开发者系统学习、稳步提升。基于此，英特尔成功举办了首期以“焕然五周年•瞰见新特性”为主题的OpenVINO™ DevCon 2023系列活动，并在此次活动上发布了功能更加强大的全新英特尔®OpenVINO™ 2023.0版本，以期在更大程度上帮助AI开发者简化工作流程，提升部署效率。

作为一款深度学习推理工具，OpenVINO™已帮助数十万开发者大幅提升了AI推理性能，使其仅凭借几行代码即可实现高性能“一次编写，任意部署”，并自动为开发者选择最佳硬件配置，提升开发效率。由于OpenVINO™能够使训练好的神经网络模型在不同硬件平台上进行高效且准确的推理，这项技术已被广泛应用于教育、零售、医疗和工业等各个领域，为行业客户提供了高效的深度学习推理技术，带来了巨大价值。例如，在试卷批改场景中，学生和老师在铺有点码试卷上书写的笔迹可通过智慧笔进行实时搜集，随后分别被上传到云端服务器上。云端渲染服务器会将笔迹渲染成图像，并进一步通过目标检测模型和OCR模型检测识别，将书写内容转换为文本，最后将识别结果与题库进行综合整理，生成作业报告。老师可以基于作业报告，针对学生进行个性化教学。在此过程中，通过 OpenVINO™精度感知而量化出的模型推理速度相比于浮点模型有十几倍的提升，且量化模型的召回率和准确率与浮点模型相当，在满足精度要求的情况下，达到了推理实时性的要求。

自2018年首发OpenVINO™工具套件以来，英特尔密切关注市场需求，着眼未来发展趋势，持续迭代更新，将其对模型的支持从计算机视觉扩展到自然语言处理，不断赋予其更高性能，使其更加易用、更加灵活、更加开放和更加全面。英特尔基于此次活动发布的OpenVINO™ 2023.0版本在以往的基础上，新增了以下优势：

●更多的集成,最大限度减少代码变更：OpenVINO™ 2023.0使从训练模型转移到部署的过程变得更加轻松。在优化模型时，开发者无需离线转换TensorFlow模型，而是可以自动进行。开发者可采用标准的TensorFlow模型，并将其直接加载到OpenVINO™ Runtime或OpenVINO™ Model Server中。当需要最大性能时，仍然鼓励离线转换为OpenVINO™格式。

●更广泛的模型支持：OpenVINO™ 2023.0具备更广泛的生成式AI模型（CLIP BLIP、Stable Diffusion 2.0等）、文本处理模型（GPT、Transformer模型等）及其他关键模型（Detectron2、PaddleSlim、RNN-T等）的支持。开发者在利用GPU（CPU于2022年启用）时不再需要更改为静态输入，这使其在编码方面具有更大灵活性。与此同时，神经网络压缩框架（NNCF）成为量化工具的一种选择。通过压缩模型中的数据，可以更轻松地实现大幅模型性能改进。

●出色的可移植性和性能：CPU设备插件现在在英特尔®第12代酷睿处理器及以上版本上提供线程调度，开发者可根据应用程序的优先级选择在E核、P核或两者上运行推理，根据需要优化性能或节能。此外，无论开发者使用哪种插件，OpenVINO™都将默认提供最佳性能格式。同时，OpenVINO™ 2023.0还通过更高效的模型加载/编译改进了GPU上的模型缓存。

除了针对OpenVINO™的持续更新迭代，英特尔还于近期发布了“英特尔® Developer Cloud for the Edge”平台公众测试版。该平台可满足开发者访问英特尔最新架构CPU、GPU、VPU和FPGA等硬件资源的需要，无需配置即可调用英特尔最新OpenVINO™工具套件等其他软件资源。同时，该平台还支持容器化和裸机应用部署，可确保开发者获得真实性能数据，加速人工智能方案开发、验证与部署落地过程，提高应用开发效率和产品选型优化。“英特尔® Developer Cloud for the Edge”平台将持续优化中国区用户体验，引入本地参考实现和相关边缘设备，扩建基础服务硬件以支撑更多用户访问，满足不同用户对测试设备多样性的需求。