申晨间 | 厉害了!复旦大学曾晓洋团队研发出5亿级像素云相机

2019-11-22 12:44:50 来源:其特信息门户网 点击:2639

来源:晨报作者:许钟彬·龚凡

“从上海市中心合适的位置,可以清楚地看到外滩人流的细节。”

复旦大学微电子研究所/工程与应用技术研究所教授曾晓阳“吹嘘”的不是望远镜,不是相机,而是由他领导的团队独立开发的约5亿像素云相机系统。基于该系统,一款5亿像素智能视频监控摄像机将于2019年在中国国际工业博览会上亮相。

复旦大学微电子学院副教授范一波是图像、智能和电子系统技术的负责人,长春光学电子研究所研究员黄伟是光学和机械系统技术的负责人,复旦大学微电子学院副研究员荆明阁是图像算法技术的负责人。

曾晓阳教授和正在组装的5亿像素云相机

目前,先进单反相机的分辨率可以达到1000万像素的水平,图像的描绘已经非常详细。一台5亿像素的照相机会是什么样子?

人眼能够分辨的极限像素是1.2亿,而5亿级的超高像素意味着相机能够捕捉极其详细的图像细节。即使在能容纳数万人的大型体育场,拍摄全景照片也能获得每个人脸的清晰图像。在人工智能的帮助下,摄像机还可以检测和识别目标,如具有大量数据的人脸,并立即发现特定的目标。

这种不寻常的“高能”照相机如果拍摄广泛、清晰和准确,将会更新人们对传统照相机的理解。

为了使物体成像清晰,传统相机的调焦操作是必不可少的关键环节。

“对于传统相机来说,清晰地看到和广泛地看到是一对矛盾。例如,如果将2000万像素分配给10000人,那么每幅肖像只有20个像素,因此不可能清楚地看到人类目标。”

曾晓阳说,在现有的相机条件下,看得清楚、看得远、看得广是矛盾的。“但是如果相机有2亿、5亿或10亿像素呢?那么即使是10万人也能拍出好照片。”

目前,如何制作覆盖面广、目标多的高像素照片?后处理是目前唯一的方法:对目标物体进行多次拍摄,然后通过后处理和拼接技术将这些单幅图像一幅接一幅拼接起来,形成“多幅”图像。然而,这种方法的缺点是显而易见的。这需要时间(几小时到几天),并且消耗大量能量。

“例如,从高空射击,无人机现在被广泛使用,但是无人机的续航能力有限。根据目前的拍摄方法,人们很难获得超高清图像。”曾晓阳表示,目前卫星实时导航所依据的路线图都是基于后期的“P”,这是非常困难和极其昂贵的。

“超远距离拍摄”、“超高清细节”和“超快成像”是必须同时满足的三个条件,首先要大大提高相机的像素。

你不用聚焦就能拍得很清楚。5亿像素云相机系统的出现从技术层面打破了传统的摄影规则,实现了“不可能”。

几年前,在军方的支持下,美国开发了世界上第一台1亿像素相机,它使用“阵列外拼接成像原理”在软件中拼接1000万像素的照片。cmos图像传感器以阵列方式分布,交错互补排列,最终通过后续软件图像拼接得到完整的大视场超高分辨率视频和图像。然而,高像素光学透镜的阵列布置极大地增加了相机体积。"

根据这种想法,当像素水平上升到5亿时,特别是当需要视频图像时,摄像机系统将变得非常大,并且实时视频拼接基本上是不可能的。曾晓阳认为,这个计划的潜力有限,“不远”。

“持久力”和“能够发展”的概念是什么?

经过长期研究,曾晓阳的团队实现了一项创新的1亿像素成像技术。“这也是拼接成像原理,但我们使用了创新的同心复合尺度光学成像方案,将阵列式光学成像透镜大大减少到‘一个’,并使用两级光谱成像对多个cmos图像传感器成像。”这样,对分束系统的精度也提出了很高的要求。不同的光路用于对目标成像。如果精确度“在一英里的几分之一内”,拼接图像将“大到一英里”。

除了超高分辨率的照片,对于这款高性能的云相机来说,同样分辨率的实时视频是“不可能的”实时视频要求摄像机更高的计算速度和操作效率:每一次成像都是通过高精度无缝拼接上亿张图片来实现的,而连续视频每秒应该有25帧,这相当于在一秒钟内重复拼接成像过程至少25次。显然,在这种情况下,相机系统的计算量太大,人们无法想象。

■范一波副教授站在十亿级像素显示系统平台前面

目前,曾晓阳团队开发的35亿像素云相机系统实现了“同心复合尺度光学成像”和“硬件十亿像素实时视频图像拼接”。10亿像素及以上的云相机系统的关键技术也处于解决关键问题的状态。

“平时,应用程序上的视频分辨率通常为1080像素。svip可以看到4k高清,但它不能以高分辨率看到,网络带宽跟不上它。我们云相机的像素分辨率是5亿,是4 K的100倍。”

“超高分辨率也意味着超大量的数据,但是无线传输系统的数据带宽已经成为一个瓶颈问题。解决这个问题的办法是及时在超高清图像中找到感兴趣的目标部分。”曾晓阳表示,为了减少要传输的数据量,提高传输效率,有必要提高摄像系统实时识别目标以及智能搜索、锁定和识别特定目标的能力。“就像仓库里的一粒谷物是坏的。我们想找出坏谷物。这太难了,所以我们需要聪明的方法。”缩小范围,然后在特定区域传输特定目标的相关图像要容易得多。"远见和准确性都是必需的."

“全球首款海量数据视频图像硬件拼接专用芯片”和“人工智能处理硬件加速引擎专用芯片”,这两个独立创新的芯片是曾晓阳团队的“独特武器”,使5亿像素云摄像系统能够拍摄照片和视频,“定时准确”。“功耗的降低和尺寸的减小完全取决于芯片技术。制作上述两个芯片是实现整个系统技术突破的核心。”曾晓阳表示,这也是复旦大学承担该项目的主要原因,也是我国专用集成电路与系统国家重点实验室的使命。

1亿像素相机系统采集的海量视频和图像数据被放置在统一的“云”数据中心,全世界的人们都有机会登录获取超高清视频和图像数据,这是曾晓阳“云相机”概念的出发点。

五亿像素云相机的出现将给人们的生活带来什么便利?

曾晓阳介绍说,该摄像系统在国防、安全和民用领域具有广阔的应用前景。

就大城市的安全应用而言,传统的安全监控系统将城市区域一个接一个地划分成小广场,大街小巷的摄像头对每个小区域进行实时监控。正是由于“小枪管”的分散,传统的安全监控系统难以评估和预测街道、机场和地铁等视野开阔的公共场所的交通流量和人流。

增加5亿像素云摄像机系统可以有效解决传统安全监控方案的难点。“如果我们的5亿像素云摄像系统安装在上海市中心的合适位置,我们就可以实时看到外滩的人群分布情况,从而大大有助于警方在特殊时期做出更有针对性的安排,更有效地预防事故。”

同时,曾晓阳提到,由于“超长距离”和“高清成像”的特点,超高像素云相机的出现也要求后续相关法律法规对个人隐私的保护。“大量视频图像数据的采集必须受到监督,毕竟,在强大的安全性和个人隐私保护之间存在平衡。”

中国自主创新的5亿像素云相机系统是复旦大学与中国科学院长春光学精密机械物理研究所合作创新的最新科研成果,也是两个单位和两个国家重点实验室团队密切合作的结果。

2017年10月,成功开发了1亿像素云相机系统,采集了3亿多像素超高清视频图像。这款相机在外观上类似于日常使用的投影仪,一个“镜头”的“头”像“盒子”一样从“躯干”伸出。

目前,已有35亿像素的云相机投入工业生产。作为5亿像素相机的“探路者”和“实验场”,它们在各个相关领域都处于领先地位。

照片:石龙源

pk10聊天室 极速赛车下注 快三平台 特区彩票网 黑龙江快乐十分开奖结果

上一篇:“礼赞新中国·奋进新时代”主题书画展开幕
下一篇:东阳一施工现场山体滑坡导致人员被困,消防挖出橙色通道