原标题:Vision Systems Design 2018创新奖评选结果揭晓

典型图像传感器的核心是CCD单元(charge-coupled
device,电荷耦合器件)或标准CMOS单元(complementary meta-oxide
semiconductor,互补金属氧化物半导体)。CCD和CMOS传感器具有类似的特性,它们被广泛应用于商业摄像机上。不过,现代多数传感器均使用CMOS单元,这主要是出于制造方面的考虑。传感器和光学器件常常整合在一起用于制造晶片级摄像机,这种摄像机被用在类似于生物学或显微镜学等领域,如图1所示。

编者按:

图1:整合了光学器件和颜色过滤器的图像传感器的常用排列

Vision
Systems Design已经连续四年举办创新奖(Innovators Awards)评选活动,旨在庆祝机器视觉和成像领域涌现出的各种创新的技术、产品和系统。

图像传感器是为满足不同应用的特殊目标而设计的,它提供了不同级别的灵敏度和质量。想要熟悉各种传感器,可查阅其厂商信息。例如,为了在硅基模和动态响应(用于实现光强度和颜色检测)之间有一个最好的折中,对一个特定的半导体制造过程,需优化每个光电二极管传感器单位的大小和组成成分。

基于公平、公正的评审原则,创新奖将获奖产品分为四个级别——铜奖、银奖、黄金奖和白金奖,用以表彰获奖公司或组织在产品或技术、应用或研发方面的出色表现。

对计算机视觉而言,采样理论的效果具有重要意义,如目标场景的像素范围就会用到Nyquist频率。传感器分辨率和光学器件能一起为每个像素提供足够的分辨率,以便对感兴趣特征进行成像,因此有这样的结论:兴趣特征的采样频率应该是重要像素(对感兴趣的特征而言)中最小像素大小的两倍。当然,对成像精度而言,两倍的过采样仅仅是一个最低目标,在实际应用中,并不容易决定单像素宽度的特征。

今年评审的产品包括:视觉系统;相机(可见光相机、不可见光相机、3D相机和专用相机);图像传感器;光源、镜头和光学元件;连接件;软件;图像采集卡;嵌入式视觉;以及研发/初创型产品。

对于给定的应用,要取得最好的结果,需校准摄像机系统,以便在不同光照和距离条件下确定像素位深度(bit
depth)的传感器噪声以及动态范围。为了能处理传感器对任何颜色通道所产生的噪声和非线性响应,并且检测和校正像素坏点、处理几何失真的建模,需发展合适的传感器处理方法。如果使用测试模式来设计一个简单标定方法,这种方法在灰度、颜色、特征像素大小等方面具有由细到粗的渐变,就会看到结果。

产品的评审标准包括:原创性;创新性;该产品为设计者、系统集成商或用户带来的影响;是否满足了新的市场需求;是否采用了新技术,和/或提高了生产力。

1、传感器材料

为了庆祝2018年的创新奖,Vision Systems Design特别在2018年4月10日的Vision Show 2018展会上举行了一次招待会,Vision Systems Design杂志出版人Alan Bergstein和主编John Lewis分别向获奖公司代表颁发了奖项。

硅制图像传感器应用最广,当然也会使用其他材料,比如在工业和军事应用中会用镓来覆盖比硅更长的红外波长。不同的摄像机,其图像传感器的分辨率会有所不同。从单像素光电晶体管摄像机(它通过一维直线扫描阵列用于工业应用),到普通摄像机上的二维长方形阵列(所有到球形整列的路径均用于高分辨率成像),都有可能用到。(本章最后会介绍传感器配置和摄像机配置)。

John
Lewis表示:“2018年的获奖产品,让我们以一个更大的视角了解了我们在当今机器视觉市场中的地位,也让我们轻松地看到了迄今为止的一些尖端产品和解决方案。”

普通成像传感器采用CCD、CMOS、BSI和Foveon方法进行制造。硅制图像传感器具有一个非线性的光谱响应曲线,这会很好地感知光谱的近红外部分,但对蓝色、紫色和近紫外部分就感知得不好。

此次专家评审小组由系统集成商、顾问和学者组成,他们在图像处理和机器视觉系统的设计和配置方面,拥有多年的丰富经验。今年的评委名单如下:

美高梅在线登录网址 1

评委名单:

图2:几种硅光电二极管的典型光谱响应。可以注意到,光电二极管在900纳米附近的近红外范围内
具有高的敏感度,而在横跨400纳米~700纳米的可见光范围内具有非线性的敏感度。
由于标准的硅响应的缘故,从摄像机中去掉IR滤波器会增加近红外的灵敏度。(光谱数据图像的使用已获得OSI光电股份有限公司的许可)

Craig M.
Borsack——G2
Technologies公司总裁;

注意,当读入原始数据,并将该数据离散化成数字像素时,会导致硅光谱响应。传感器制造商在这个区域做了设计补偿,然而,当根据应用标定摄像机系统并设计传感器处理方法时,应该考虑传感器的颜色响应。

Tom
Brennan——Artemis
Vision公司总裁;

2、传感器光电二极管元件

Shawn A.
Campion——Integro
Technologies公司总裁兼CEO ;

图像传感器的关键在于光电二极管的大小或元件的大小。使用小光电二极管的传感器元件所捕获的光子数量没有使用大的光电二极管多。如果元件尺寸小于可捕获的可见光波长(如长度为400纳米的蓝光),那么为了校正图像颜色,在传感器设计中必须克服其他问题。传感器厂商花费大量精力来设计优化元件大小,以确保所有的颜色能同等成像。在极端的情况下,由于缺乏累积的光子和传感器读出噪声,小的传感器可能对噪声更加敏感。如果二极发光管传感器元件太大,那么硅材料的颗粒大小和费用会增加,这没有任何优势可言。一般商业传感器设备具有的传感器元件大小至少为1平方微米,每个生产厂商会不同,但为了满足某些特殊的需求会有一些折中。

David
Dechow——FANUC America公司智能机器人/机器视觉主管工程师;

美高梅在线登录网址 2

Tom
Hermary——Hermary公司总裁;

图3:基本颜色的波长分配。注意,基本颜**域相互重叠,
对所有的颜色而言,绿色是一个很好的单色替代品。

Dr. Daniel
L. Lau——肯塔基公用事业教授、肯塔基大学电气与计算机工程系工程师;

3、传感器配置:马赛克、Faveon和BSI

Rex
Lee——Pyramid Imaging公司总裁兼CEO;

图4显示了多光谱传感器设计的不同片内配置,包括马赛克和堆叠方法。在马赛克方法中,颜色过滤器被装在每个元件的马赛克模式上。Faveon传感器堆叠方法依赖于颜色波长深度渗透到半导体材料的物理成分,其中每种颜色对硅材料进行不同程度的渗透,从而对各自的颜色进行成像。整个元件大小可适用于所有颜色,所以不需要为每种颜色分别配置元件。

Bhaskar
Ramakrishnan——DWFritz
Automation公司技术销售工程师;

图4:堆叠RGB元件的Foveon方法:在每个元件位置都有RGB颜色,
并在不同的深度吸收不同的波长;标准的马赛克元件:在每个光电二极管上面放置一个RGB滤波器,每个滤波器只允许特定的波长穿过每个光电二极管。

William
Schramm——PVI Systems公司总裁;

反向照明(back-side
illuminated,BSI)传感器结构具有更大的元件区域,并且每个元件要聚集更多的光子,因而在晶粒上重新布置了传感器接线。

Robert
Tait——Optical Metrology Solutions
LLC公司合伙人;

传感器元件的布置也影响到颜色响应。例如,图5显示了基本颜色传感器以及白色传感器的不同排列,其中白色传感器有一个非常清晰或非彩色的颜色滤波器。传感器的排列考虑到了一定范围的像素处理,如在传感器对一个像素信息的处理过程中,会组合在邻近元件的不同配置中所选取的像素,这些像素信息会优化颜色响应或空间颜色分辨率。实际上,某些应用仅仅使用原始的传感器数据并执行普通的处理过程来增强分辨率或者构造其他颜色混合物。

Rick van
de Zedde——Wageningen UR Food & Biobased
Research计算机视觉高级研究员/业务开发者;

图5:元件颜色的几个不同马赛克配置,包括白色、基本RGB颜色和次要CYM元件。
每种配置为传感器处理过程优化颜色或空间分辨率提供了不同的方法(图像来自于《Building
Intelligent Systems》一书,并得到Intel出版社的使用许可)。

Steve
Varga——Procter & Gamble
USA成像与仪器研发首席科学家;

整个传感器的大小也决定了镜头的大小。一般来说,镜头越大通过的光越多,因此,对摄影应用而言,较大的传感器能更好地适用于数字摄像机。另外,元件在颗粒上排列的纵横比(aspect
ratio)决定了像素的几何形状,如,4:3和3:2的纵横比分别用于数字摄像机和35毫米的胶片。传感器配置的细节值得读者去理解,这样才能够设计出最好的传感器处理过程和图像预处理程序。

Prof.Dr.-Ing.Stefan Werling——Baden-Wuerttemberg Cooperative State University
Mannheim Mechatronik;

4、动态范围和噪声

Perry
West——Automated Vision
Systems公司总裁;

当前,最先进的传感器每个颜色单元能提供至少8个比特位,通常是12~14个比特位。传感器元件需要花费空间和时间来聚集光子,所以较小的元件必须经过精心设计,以避免产生一些问题。噪声可能来自于所用的光学元件、颜色滤波器、传感器元件、增益和A/D转换器、后期处理过程或者压缩方法等。传感器的读出噪声也会影响到实际的分辨率,因为每个像素单元从传感器中读出再传到A/D转换器中,从而组成数字形式的行和列,以便用于像素转换。越好的传感器会产生越少的噪声,同时会得到更高效的比特分辨率。Ibenthal
的工作是降噪方面的好文献。

Earl
Yardley——Industrial Vision
Systems公司总监;

另外,传感器光子吸收对每种颜色会有所不同,对蓝色有可能有些问题,即对于较小的传感器成像而言这是最难的一种颜色。在某些情况下,生产商会试图在传感器中为每种颜色内建一个简单的伽马曲线修正方法,但这种方法并不值得提倡。在对彩色有需求的应用中,可以考虑色度设备模型和颜色管理,甚至让传感器的每种颜色通道具有非线性特征并建立一系列简单的校正查找表(Lookup
Table, LUT)转换。

Andy
Wilson——Vision Systems
Design欧洲编辑。

5、传感器处理

2018创新奖铜奖获得者

传感器处理用于从传感器阵列中去马赛克并聚集像素,也用于校正感知瑕疵。在这一节我们会讨论传感器处理基础。

视觉系统| T3 All-in-One SCARA**机器人**

通常在每个成像系统中都有一个专有的传感器处理器,包括一个快速HW传感器接口、优化的超长指令集(very
long instruction word,VLIW)、单指令多数据流(single instruction multiple
data,
SIMD)指令以及具有固定功能的硬件模块,这些功能是为了解决大规模并行像素处理所造成的工作负载。通常,传感器处理过程透明且自动化,并由成像系统的生产厂商设置,来自传感器的所有图像均以同样的方式处理。也存在用于提供原始数据的其他方式,这些数据允许针对应用来定制传感器处理过程,就像数字摄影那样。

T3
SARA机器人能提供快速的重新配置能力。集成的控制器、适中的价格和可选的集成视觉,使T3成为面向各种应用的一种极具吸引力的解决方案。

6、去马赛克

Epson
Robot;
www.epson.com

根据不同的传感器元件配置,可利用各种去马赛克算法将原始传感器数据生成最终的RGB像素。Losson
&Yang还有Li等人分别给出了两篇非常好的综述文献,这些文献介绍了各种方法以及所面临的挑战等。

软件|
神经视觉

去马赛克的一个主要挑战之一是像素插值,其作用是将邻近单元的颜色通道组合成单个像素。在给定传感器元件排列的几何形状以及单元排列的纵横比的条件下,这是一个重要的问题。一个与之相关的问题是颜色单元的加权问题,如在每个RGB像素中每种颜色应该占多少比例。因为在马赛克传感器中,空间元件分辨率大于最终组合的RGB像素分辨率,某些应用需要原始传感器数据,以便尽可能利用所有的精度和分辨率,或者有些处理要么需要增强有效的像素分辨率,要么需要更好地实现空间精确的颜色处理和去马赛克处理。

神经视觉软件允许没有机器视觉经验的人员,能够通过简单地点击感兴趣的项目来检查和分类产品。然后将这些相同的操作应用于场景背后的数百万个组合中,寻找能识别一个好的或坏的产品的任何重复模式或关键测量。

7、坏像素的校正

Cyth
Systems;
www.cyth.com

像LCD显示器一样,传感器也可能会有坏像素。通过在摄像机模块或驱动程序中提供需要校正的坏像素坐标,供应商可以在工厂校正传感器,并为已知的缺陷提供一个传感器缺陷图。在某些情况下,自适应的缺陷校正方法会用在传感器上,以便监控邻近像素点来发现缺陷,然后校正一定范围内的缺陷类型,比如单像素缺陷、列或行缺陷以及类似2×2或3×3的块状缺陷。为了实时寻找瑕疵,摄像机驱动也可提供自适应的缺陷分析,在摄像机的启动菜单中可能会提供一个特殊的补偿控制。

光源、镜头、光学元件| 用于相移测量的3D图形投影仪系统

8、颜色和照明校正

作为基于相位成像的独立的现成投影系统,具有较少3D经验的系统集成商,可以更容易地将这种先进技术部署到各种应用中。

有必要进行颜色校正以便平衡总的颜色精确度和白平衡。如图1-2所示,硅传感器上对红色和绿色这两种颜色通常很敏感,但是对蓝色却不敏感,因此,理解和标定传感器是得到最精确颜色的基本工作。

MORITEX
North America;
www.moritex.com

大多数图像传感器的处理器包含了用于光晕校正的几何处理器,这在图像的边缘表现为光照更暗。校正基于几何扭曲函数,可考虑可编程的光照功能来增加朝向边缘的光照,这需要在出厂前进行标定,以便与光学的光晕模式相匹配。

相机-3D |
Photoneo PhoXi 3D扫描仪

9、几何校正

PhoXi
3D扫描仪根据扫描体积的不同,可提供XS、S、M、L和XL几种不同的型号,并利用结构光技术提供令人印象深刻的扫描质量。由NVIDIA Jetson平台供电,这种独立的结构光产品具有扩展的景深。

镜头可能会有几何相差或朝边缘发生扭曲,产生径向失真的图像。为了解决镜头畸变,大多数成像系统具有专用的传感器处理器,它有一个硬件加速的数字扭曲元件,类似于GPU上的纹理采样器。在工厂就会针对光学器件的几何校正进行校准并编程。

Photoneo;www.photoneo.com

相机-可见光波段| Baumer SmartApplets

Baumer的LX
VisualApple系列率先采用FPGA图像处理,是实现特定应用的工业相机,能简化设置,提高系统性能,降低整体成本。

Baumer
Group;
www.baumer.com

相机-3D |
Gocator 3210 3D智能快照传感器

配备200万像素立体相机,并在35μm实现3D快照扫描,Gocator 3210具有100mm×154mm的视场(FOV),适用于大型零部件,如汽车部件和车身组件的在线检查。

LMI
Technologies;
www.lmi3d.com

嵌入式视觉| 面向Basler dart相机的MitySOM-5CSX嵌入式VDK

MitySOM-5CSX嵌入式视觉开发工具包(VDK)为Basler dart相机提供一个灵活的应用开发系统,具备板上图像处理、FPGA和双核ARM,以及使用Altera的VIP套件和OpenCL进行快速原型化。

Critical
Link;
www. criticallink.com

视觉系统|仿生机器视觉

从生物学中获取灵感是视觉行业需要的一种创新思维。Prophesee公司已经开发出一种创新的传感方法,其为每个像素提供了改进的数据压缩和独立的帧率。

Prophesee;www.prophesee.ai

光源、镜头、光学元件|聚焦镜头

Opto
Engineering成功地实现了一种“附加”式非机动柔性聚焦装置,将该模块放置在标准定焦CCTV镜头前,即可实现简单的即插即用式聚焦功能。

Opto
Engineering;
www.opto-engineering.com

嵌入式视觉| Nuvo-6108GC系列

采用NVIDIA GeForce GTX1080图形处理器(或TITAN X)和英特尔Xeon E3 V5或配备C236芯片组的第六代核心处理器,这款强大的工业级GPU计算机支持多达32GB的ECC
/非ECC DDR4内存,并提供GigE、USB
3.0、视频端口和串行端口。

Neousys
Technology;
www.neousys-tech.com

相机-可见光波段| HAWK MV-4000智能相机

HAWK
MV-4000是迈思肯公司最新推出的智能相机,与其前一代智能相机相比,它拥有4倍的处理能力和6倍的帧率。

Omron
Microscan Systems;
www.microscan.com

相机-可见光波段| Phoenix相机

Phoenix相机采用索尼Pregius CMOS图像传感器,专为OEM而设计。相机外观尺寸仅为24mm×24mm,是一款小巧轻便的GigE PoE相机。其提供一种独特的可变设计,可以简单地配置以适应广泛的OEM系统。

LUCID
Vision Labs;
www.thinklucid.com

相机-3D |
3DPIXA 2.5µm dual HR

3DPIXA在一个GPU上集成了线扫描技术和立体成像算法。它的开放式架构包括多种接口,如HALCON(MVTec)、MIL(Matrox)、LabVIEW(National Instruments)、Coake(SAC)以及Chromasens公司自己的3D-API。

Chromasens;www.chromasens.de/en

相机-可见光波段| Apex系列AP-3200T-USB相机

Apex系列AP-3200T-USB相机是一款基于棱镜的3芯片RGB彩色面阵相机,其使用定制的光学棱镜和获得专利的对准技术来克服三个主要问题,这些问题之前已经使许多系统设计者/集成商不得不在3芯片棱镜技术上选择传统的拜尔彩色相机,导致他们的彩色视觉系统的成像质量降低。

JAI;www.jai.com

视觉系统|
快速部署视频记录套件

对于偶尔出现错误的过程,快速部署视频记录套件(RDVRK)比发送给专家分析情况的方法具有更高的效率。该套件为工程师/质量检验员和生产线经理提供了能够快速理解、远程连接的远程支持功能。

McNaughton-McKay Electric Company;www.mc-mc.com

嵌入式视觉| BOXER-6640M

BOXER-6640M采用第七代英特尔核心桌面处理器,配备大量LAN和USB端口,为满足当前的安全和监视应用需要提供了良好平衡。

AAEON
Technology
;www.aaeon.com

相机-可见光波段| 超小型1800万像素USB3相机

这款1800万像素的UB3相机,外观尺寸15mmx15mm,重量仅5克,内置FPGA,提供USB接口,帧率高达24fps。基于1800万像素的CMOS图像传感器,其数据和控制接口完全兼容GenICam/GenTL,可以在NVIDIA GPU上实时提供完整的图像处理流水线。

XIMEA;www.ximea.com

视觉系统|
InPhoto-4W

使用双传感器或四传感器相机和四个不同波长的光源,InPhoto-4W能在单次捕获中获得四幅主图像,不需要复杂的同步工作。

INFAIMON;www.infaimon.com

软件|
DynamicImager

DynamicImager软件有助于在支持多维和多光谱图像处理的环境中,对标准化算法进行原型化,其包括基于ISO 12087(PIKS)的图像处理模块的大型库和扩展库。

Trollhetta AS;www.trollhetta.com

相机-可见光波段|具有实时图像处理功能的多用板级相机HDselect

该板级相机在紧凑的模块化结构中,为嵌入式视觉和单一应用提供了丰富的功能集,内窥镜检查(其中远程头大小从1/3’’到1mm2)等应用将受益于该相机。

NET New
Electronic Technology Finning;

嵌入式视觉| 具有雷达辅助目标分析功能的智能视觉系统CORSIGHT

NET结合了线扫描和雷达技术,为要求独立于对象距离和速度、进行远程对象分析的智能交通应用,提供了一种开放的、分布式和可扩展的处理方案。

NET New
Electronic Technology

视觉系统|
safePXV和safePGV

这些达到安全等级的二维码阅读器用单个传感器提供绝对定位,并提供有用的替代编码器和接近开关,以通过专有的多色二维码带和红色、蓝色LED来解决引导/定位和数据冗余。

Pepperl+Fuchs;www.pepperl-fuchs.com

图像传感器| Diamond图像传感器

Diamond传感器芯片具有卓越的1MHz线频率、能实现高性能信号处理的像素阵列、列ADC和16个串行LVDS输出。像素阵列具有864个光学4T像素单元,像素单元尺寸为21µm × 21µm,满阱容量约为60000个电子。

Tichawa
Vision;
www.tichawa-vision.com

视觉系统|
In-Sight 7000

In-Sight 7000是一个功能强大的视觉系统,可以快速、准确地检测各个行业的零件。紧凑的外观使其能很容易地适应空间受限的生产线,其独特的模块化设计也是针对现场应用进行了高度定制。

Cognex
Corporation;
www.cognex.com

视觉系统|
面向零售银行业的人工传感

面向零售银行业的人工传感,允许银行高管根据客户的行为数据做出更好的销售和运营决策。这些客户的行为数据是由放置在银行天花板上的3D传感器阵列(结构光传感器+RGB和IR)捕获的。

Akcelita
Innovation Labs
;www.akcelita.com

连接件|
AOC USB 3.0电缆

Senko公司提供的AOC USB 3.0电缆有5米、10米、15米和20米选项,传输速度高达5Gbps,支持UB3
Vision标准。该光纤和电力连接电缆为设备提供900Ma/5V的电力,并具有锁扣式Micro-B连接口,可热插拔操作,无需驱动器。

Senko;www.senko.com

软件| UC
USB 3到10 GigE的软件转换器

一款mini
PC(例如英特尔NUC)连接到高分辨率USB 3相机,其通过软件功能作为一个转换器,将来自USB 3相机的图像数据传输到10 GigE接口,从而能在一条电缆上获得更多的图像数据。

The
Imaging Source;
www.theimagingsource.com

相机-3D |
OPEX 3D Overheight Detection

使用“红外飞行时间”相机技术,结合专有算法,OPEX 3D Overheight Detect可以识别潜在的超高情况,迫使车辆停止,并提醒操作员必要时对车内进行检查并重新定位目标。

OPEX
Corporation;
www.opex.com

2018创新奖银奖获得者

软件|
SuaKIT

SUAKIT是一个基于深度学习的机器视觉软件库。基于图像分析技术,SuaKIT 可以在各种制造领域中实施;而在过去,这些制造领域很难使用现有的机器视觉技术进行检测。这一切要归功于SuaKIT显著的精度和检测速度优势。

SUALAB;www.sualab.com

美高梅在线登录网址 ,光源、镜头、光学元件| AR/VR镜头

Radiant Vision Systems公司的AR/VR镜头具有独特的光学设计,用于测量近眼显示(NEDS),例如那些集成到虚拟(VR)、混合(MR)和增强现实(AR)耳机中的情况。

Radiant
Vision Systems;
www.radiantvisionsystems.com

相机-专用类|
Octoplus相机:用于眼科/工业领域的OCT