您现在的位置是:首页 > 人工智能人工智能
ICCV2021 | 从SDRTV到HDRTV的新征程
cc博主2021-10-09【人工智能】923人已围观
作者 | 陈翔宇
本文是对国际计算机视觉会议ICCV 2021的论文“A New Journey from SDRTV to HDRTV”的解读。
论文链接:https://arxiv.org/abs/2108.07978
GitHub链接:https://github.com/chxy95/HDRTVNet
摘要该论文由中国科学院深圳先进技术研究院与商汤科技等单位合作,针对当下HDR标准下的SDR转HDR问题进行了分析,并在此基础上提出了由全局颜色映射,局部增强以及高亮细节生成三个部分组成的解决方案。更进一步的,文章提出了一种利用图像全局统计信息的轻量级网络来实现图像自适应的颜色映射。此外,该工作构建了一个基于HDR10标准的数据集并给定了用于评价HDR重建效果的评价指标。实验表明论文提出的方法在定量指标和定性分析上显著优于当前的其他算法。
研究背景随着显示技术的快速发展,HDR已经成为最新一代显示设备的特点之一。相对于SDR内容,HDR内容具有更宽的色彩空间和更高的动态范围,基于HDR-TV标准的内容能够创造出更为接近真实世界的图像和视频。尽管HDR显示设备越来越普及,然而现实生活中大部分可以获取的资源仍然是基于SDR格式的。因此,当前急需能够将SDRTV的内容转换成HDRTV的算法。SDRTV-to-HDRTV这个任务具有巨大的实际意义,然而当前研究领域却少有关注,主要有以下两个原因:一是HDRTV的相关标准规范(如HDR10,HLG等)直到近几年才逐渐确立完善;二是当前缺少大规模的数据集用于训练和测试。为了推进这一领域的发展,本文对该问题进行了分析,并提出了基础的解决方案以及一个新的数据集和相应的评价指标。
分析本文使用SDRTV/HDRTV来分别代表对应标准下的内容,两种标准对应的规范具体见[1, 2]和[3, 4]。HDR-TV标准的基本主要元素包括宽色域(Rec.2020),HDR的光电转换函数(PQ或HLG)以及10-16比特的色深。不同于以往的LDR-to-HDR目的在于预测线性域上的HDR场景照明,SDRTV-to-HDRTV的目标是实现SDR内容到HDRTV标准下的非线性域的转换。由于在两个任务中HDR的内涵有所不同,其对应的方法也在功能性上有较大的差别。为了帮助更好地理解SDRTV-to-HDRTV任务,本文根据相机的ISP流程和HDRTV内容的制作流程给出了一个经过简化的SDRTV/HDRTV形成流程示意,如图1所示。
图1. SDRTV/HDRTV 形成流程
其核心的想法在于,同一个场景的SDRTV和HDRTV版本都源自于同一个Raw数据,其在产生过程中都会经过包括色调映射、色域映射、光电转换函数以及量化等操作。只是由于两种格式本身所使用的标准规范之间的差别,导致其在具体操作上了使用不同的函数以及保留的值域范围不同,最终造成了两个版本内容在色域范围,动态范围以及色深上的差异。因此,相较于将SDRTV-to-HDRTV定义为一个逆问题,这个任务更像是一个图像到图像的转换问题。在这个基础上,SDRTV到HDRTV需要解决的问题主要分为三个方面:一是由形成过程中两个版本使用的全局操作的不同导致的全局的颜色差异问题;二是由于形成过程中的一些局部操作以及量化等带来的局部细节的损失;三是由于SDRTV形成过程中动态范围压缩所带来的高亮区域大面积信息损失的问题。4
方法介绍为了解决上述提到的SDRTV-to-HDRTV的三个主要问题,本文提出了一个包含全局颜色映射,局部增强以及高亮细节生成的解决方案,如图2所示。
5
实验结果由于当前缺少基于HDR标准的成对数据集,本文收集了一个由22个HDR10标准以及其对应SDR版本的视频所组成的数据集。其中所有的HDR视频都是基于PQ-OETF和rec.2020色域编码的。经过抽帧处理后的图像数据集包含1235张图像用于训练,117张用于测试。本文使用了PSNR、SSIM、SR-SIM、以及HDR-VDP3五个评价指标用于定量比较,实验的结果如下表1所示。与其他现有方法相比,本文的方法在参数量和图像质量评价指标上都展现出了优越性。
值得注意的是,本文在补充材料里提供了更多对于该任务的分析以及实验结果。其中,本文通过直接使用LE进行端到端学习与使用AGCM+LE的串联方式得到的结果进行了对比,如下表2和图7所示。即使使用简单的3层3×3卷积作为LE网络,AGCM部分的存在依然能够在定量指标和视觉质量上大幅超越直接使用一个端到端网络直接学习的方式,进一步地证明了在该任务中先处理全局颜色映射的有效性及必要性。
表2. LE和AGCM+LE的定量指标比较
图7. LE和AGCM+LE的视觉效果比较
总结本文对SDRTV-to-HDRTV这一任务进行了分析,提出了一个包括全局颜色映射、局部增强和高亮生成三个步骤的解决方案,并针对每一个步骤设计了相应的网络,提出的方法在定量指标和视觉效果上都大幅超出了现有的解决方法。此外,该工作提出了一个基于HDR10标准的数据集,我们相信它可以很好地促进该领域的发展。
参考文献:
cc博客网cc博客网cc博客网(公众号:cc博客网)
cc博客网版权文章,未经授权禁止转载。详情见转载须知。
Tags:免费梯子
相关文章
- 向量将死,哈希是 AI 未来
- 大国为何比拼陆地作战机器人?
- 北大校友“炼丹”分享:OpenAI如何训练千亿级模型?
- 免费网络加速器节点分享-最新酸酸乳链接每日更新2021/10
- 提前 3 年布局、市场份额暴增,视频会议风口里的君正
- 34.42亿元,美团收到创立以来最大笔罚单!曝微信后台数次偷看用户相册,每次长达1分钟;贾跃亭回应做空报告: 冷饭热炒,无稽之谈! | 雷锋早报
- 深信服圆满完成第十四届全运会安保指挥部网络安全保障工作
- 全球第二大私营企业!马斯克旗下SpaceX估值突破1000亿美元
- 如何让云平台“更好管”?华为云集中运维加速企业创新步伐
- 小火箭SSR节点购买机场小火箭(Shadowrocket)配置ss/ssr教程
猜你喜欢
最新免费ssr节点二维码分享-v2ray节点链接每日更新(2022/8/26)
技术好文今天星期五,cc博主为大家提供最新免费ssr节点二维码分享-v2ray节点链接每日更新,更新于2022年8月26日17点更新,最新v2ray节点分享。需要付费节点下方推荐点击v2rayn出门右拐即可,周末更新资源部分可用,免费资源不易,请大家珍惜。CC博客将分...
阅读更多2022年最新免费v2ray节点账号分享-永久ssr节点-每日更新(7/25)
技术好文今日星期一,为大家提供2022年最新免费v2ray节点账号分享-永久ssr节点-每日更新,更新于2022年7月25日17点更新。需要付费节点下方推荐点击出门右拐即可,周末更新资源部分可用,免费资源不易,请大家珍惜。CC博客将持续更新可用资源,尽力更新更多好用资...
阅读更多信服云助力六枝特区打造智慧检务平台
业界近年来,六盘水六枝特区检察院一直在探索更有效的检察案件办理方式,解决获取线索渠道少、帮教手段单一、多部门联动性不足等问题。今年4月,六枝特区检察院创新性地采用信服云与嘉诚网络联合打造的“互联网+大数据”智慧检务托管云解决方案,仅通过一周,就成功构建了智慧检务平...
阅读更多“混元”AI大模型刷新CLUE分类榜历史记录
业界4月29日,腾讯“混元”AI大模型在CLUE(中文语言理解评测集合)分类榜中取得第一名,分数突破 80.888分,接近人类语言理解能力,刷新该榜单历史记录。这是“混元”AI大模型在斩获跨模态检索榜单大满贯后,取得的又一突破性进展,展现了该模型在自然语言处理上...
阅读更多MLPerf最新榜单公布,宁畅狂揽59项第一
业界近日,国际权威AI性能基准评测平台MLPerf发布最新推理(Inference v2.0)测试成绩,其中,刚刚成立2年的国内服务器厂商宁畅,凭借其X640 G40、X660 G45 、X620 G40人工智能服务器,狂揽59项第一成绩。其中宁畅X640 G...
阅读更多