纳米光子学使相机镜头变平
Nanophotonics flattens camera lenses
.fav_bar { float:left; border:1px solid #a7b1b5; margin-top:10px; margin-bottom:20px; } .fav_bar span.fav_bar-label { text-align:center; padding:8px 0px 0px 0px; float:left; margin-left:-1px; border-right:1px dotted #a7b1b5; border-left:1px solid #a7b1b5; display:block; width:69px; height:24px; color:#6e7476; font-weight:bold; font-size:12px; text-transform:uppercase; font-family:Arial, Helvetica, sans-serif; } .fav_bar a, #plus-one { float:left; border-right:1px dotted #a7b1b5; display:block; width:36px; height:32px; text-indent:-9999px; } .fav_bar a.fav_print { background:url(‘/images/icons/print.gif’) no-repeat 0px 0px #FFF; } .fav_bar a.fav_print:hover { background:url(‘/images/icons/print.gif’) no-repeat 0px 0px #e6e9ea; } .fav_bar a.mobile-apps { background:url(‘/images/icons/generic.gif’) no-repeat 13px 7px #FFF; background-size: 10px; } .fav_bar a.mobile-apps:hover { background:url(‘/images/icons/generic.gif’) no-repeat 13px 7px #e6e9ea; background-size: 10px} .fav_bar a.fav_de { background: url(/images/icons/de.gif) no-repeat 0 0 #fff } .fav_bar a.fav_de:hover { background: url(/images/icons/de.gif) no-repeat 0 0 #e6e9ea } .fav_bar a.fav_acm_digital { background:url(‘/images/icons/acm_digital_library.gif’) no-repeat 0px 0px #FFF; } .fav_bar a.fav_acm_digital:hover { background:url(‘/images/icons/acm_digital_library.gif’) no-repeat 0px 0px #e6e9ea; } .fav_bar a.fav_pdf { background:url(‘/images/icons/pdf.gif’) no-repeat 0px 0px #FFF; } .fav_bar a.fav_pdf:hover { background:url(‘/images/icons/pdf.gif’) no-repeat 0px 0px #e6e9ea; } .fav_bar a.fav_more .at-icon-wrapper{ height: 33px !important ; width: 35px !important; padding: 0 !important; border-right: none !important; } .a2a_kit { line-height: 24px !important; width: unset !important; height: unset !important; padding: 0 !important; border-right: unset !important; border-left: unset !important; } .fav_bar .a2a_kit a .a2a_svg { margin-left: 7px; margin-top: 4px; padding: unset !important; }
现代智能手机摄像头几乎已经使得曾经无处不在的单镜头反光（SLR）相机过时。尽管如此，如今的相机镜头以与19世纪相同的方式获取图像，即通过将光聚焦在一个纳米级感应层上，使用100倍或更高倍数的玻璃透镜堆校正由高斯在1843年定义的光学（ Dioptrische Untersuchungen ）。
现在，终于，相机镜头技术已经赶上了21世纪的纳米级元光学。
“元光学正成为成像的强大工具，可以显著缩小各种成像应用的光学部件尺寸。元光学提供的额外设计自由度，以及其在偏振控制、色散和多路复用等方面的独特特性，已经在许多应用中显示出重要的潜在影响，特别是当与适当的计算重建算法集成时，”来自莱斯大学电气与计算机工程学和计算机科学的教授Ashok Veeraraghavan说。他是莱斯大学计算成像小组的负责人，与本文中描述的元光学原型无关。
直到现在，即使是21世纪高端智能手机中的相机也需要在其互补金属氧化物半导体（CMOS）图像传感器芯片上堆叠七个或更多19世纪风格的镜头，导致镜头从手机机身上凸出。事实上，在所有高端智能手机中，相机镜头的长度是限制手机机身厚度的因素。如今，普林斯顿大学的研究人员与华盛顿大学的同事合作，利用元光学成功地将摄像机镜头压缩到仅700纳米（十亿分之一米）的厚度，与针孔“暗箱”相媲美。
普林斯顿大学计算成像实验室的助理教授Felix Heide表示：“我们的目标是设计计算纳米光子元透镜，使得非常薄的相机成为可能，比现今的相机薄两个数量级以上。”
具有开创意义的针孔暗箱是无镜头的——实际上，在玻璃镜头发明之前就已经被发明出来了；它的现象最早可以追溯到公元前1046年的中国文献中，当时它被用来在黑暗的房间里观看日食（以防止眼睛受伤）。摄影相机的诞生需要等到19世纪从望远镜中适应光学镜头的发展（以及照相板/胶片的发明）。从那时起，为了放大图像并校正光学镜头畸变（像差），各种方法不断增加了镜头堆叠的体积——一些单反相机望远镜镜头的长度长达几英尺，而高端智能手机的镜头长度约为7毫米（略大于四分之一英寸）。
“扁平光学系统有望实现一系列突破性的成像能力，从手机背面的单反质量镜头到如此薄的相机，可以嵌入头骨下以监测脑活动。因此，设计有效的扁平光学系统是计算成像领域最重要的开放问题之一，”马里兰大学计算机科学系助理教授Christopher Metzler说道，他曾是斯坦福大学计算成像实验室的成员（与此处描述的元光学原型无关）。
在21世纪初，重新发明镜头变得非常重要，因为这时候开始取得了将镜头堆叠压缩的研究进展。第一步是将针孔概念微型化，使用平板掩模（FlatCam，2016）来称之为编码孔径。掩模中各种大小的类似针孔的矩形孔洞的光线在计算合并时，旨在克服单个针孔所需的长曝光时间。不幸的是，这种技术在分辨率和掩模与图像传感器芯片之间的距离之间进行了权衡，因此在扁平化后，无法达到今天所看到的多层玻璃镜头相机的分辨率。
下一步向扁平镜头迈出的是超越针孔掩模的限制，使用漫反射器（DiffuserCam，2020）。当与单色光谱滤波阵列一起使用时，它们实现了在农业和医学中使用的无镜头高光谱成像，但无法用于全彩色成像。
如今，Heide等人“证明了当与基于机器学习的重建算法结合使用时，扁平纳米光子元透镜阵列可以实现紧凑的广视场全彩色成像。重建结果的质量令人印象深刻，无论是分辨率还是色彩保真度，”FlatCam的发明者Veeraraghavan说道。
Heide等人的扁平准周期纳米光子元透镜阵列（亚波长光散射体）被设计成能够操纵完整的可见光谱（宽带）并由经过专门训练的图形处理单元（GPU）进行校正的推理引擎执行，从而产生与传统玻璃镜头堆叠制作的高分辨率全彩色光谱可见光图像相媲美的成像效果。
“我们是第一个在实验室外展示高质量宽带纳米光子成像的团队，”Heide在ACM的2023年《图形学交易》上的一篇论文中谈到他们的“薄型传感器纳米光子阵列相机”。研究人员还在GitHub上公开发布了他们的结果，包括所有代码、光学设计文件和数据集。
根据Heide的说法，该团队的高分辨率全彩色图像是由扁平纳米光子元透镜阵列重建的，该阵列由直径为700纳米的高透明度（硅氮化物）柱子组成，间距为350纳米，宽度在100到300纳米之间变化。由于可见光波长在400到700纳米之间，这些亚波长宽的柱子表现出元材料属性。
在原型中，通过三乘三的配置方式，九个并排的元透镜共同将图像数据传送给高速重建算法，该算法使用逆滤波、扩散和合并九个单独的元透镜的结果。重建算法的参数是通过深度神经网络（DNN）学习得到的。研究人员表示，他们的结果优于其他“平板透镜”方法，并且与以前的高光谱平板透镜的单色图像不同，Heide等人的超薄相机元透镜能够准确地重现彩色场景。
Metzler表示：“可以说，他们（Heide等人）最重要的观点是，通过设计一组低分辨率狭窄视场的光学元件的阵列，可以创建一个高分辨率广视场的平板光学成像系统，这些光学元件的测量结果可以在计算上进行集成。这种可扩展的框架极大地简化了设计过程，并使他们能够展示基于薄型纳米光子透镜的高质量广视场百万像素级成像。”
DNN学习过程使用了该小组自己的高分辨率图像、MIT 5K高分辨率SLR图像数据库以及ImageNet数据库中的一些相对低分辨率图像的训练数据。训练后，参数被固定为纠正颜色、畸变和像差的相机内推理引擎所用。该原型将九个平面纳米光子透镜的输出结合起来，实现了100度的视场——相当于35毫米相机上的18毫米传统广角镜头。
预计采用这种方法的商用相机镜头最终将使用数百个平坦元透镜覆盖大型CMOS图像传感器芯片的整个表面，像素数可能达到数百百万。此外，从单个元透镜拍摄的图像可以通过计算重建成远摄到超广角的图像。
一个限制是需要使用高速的专用应用集成电路（ASIC）来处理放置在图像传感器芯片上的元透镜阵列的输出，因为传统的GPU会产生过多的热量，不适合便携相机。Heide表示：“尽管如今存在这个限制，但现代智能手机的ASIC可以有效地实现我们的重建过程，有望在未来实现快速的边缘推理设备。”
此外，研究人员还将致力于更紧密地打包他们的元透镜（使用光线遮挡器将它们分开，而不是像原型中那样使用空白空间）。他们还希望他们的纳米光子元透镜阵列能够激发计算摄影界重新审视捕捉4D图像的光场阵列（包括每个三维光线来自的方向）。
R. Colin Johnson是京都奖学者，已经从事技术新闻报道工作两十年。
