你的位置:首頁(yè) > 光電顯示 > 正文

相機(jī)和AI:工業(yè)機(jī)器視覺(jué)技術(shù)加速發(fā)展的雙引擎

發(fā)布時(shí)間:2023-09-15 來(lái)源:Mouser 責(zé)任編輯:wenwei

【導(dǎo)讀】機(jī)器視覺(jué)(MV)是一種使機(jī)器人和自動(dòng)駕駛汽車(chē)等其他機(jī)器能夠看到和識(shí)別周?chē)h(huán)境中物體的技術(shù)。在過(guò)去幾年里,機(jī)器視覺(jué)的進(jìn)步使得許多機(jī)器人和自動(dòng)駕駛汽車(chē)擁有了幾乎與人類(lèi)相似的感知水平。這個(gè)過(guò)程主要是通過(guò)將光學(xué)傳感器與人工智能和可以分析和處理圖像數(shù)據(jù)的機(jī)器學(xué)習(xí)工具進(jìn)行配對(duì),此時(shí)搭載了機(jī)器視覺(jué)系統(tǒng)的機(jī)器人和自動(dòng)駕駛汽車(chē)就能夠執(zhí)行非常復(fù)雜的任務(wù)了。


眼睛和大腦:

機(jī)器視覺(jué)和計(jì)算機(jī)視覺(jué)的主要區(qū)別


很多時(shí)候,機(jī)器視覺(jué)會(huì)與計(jì)算機(jī)視覺(jué)一詞混為一談。然而,事實(shí)上二者還是有區(qū)別的。對(duì)機(jī)器視覺(jué)而言,它通常與具備計(jì)算機(jī)視覺(jué)能力的工業(yè)應(yīng)用聯(lián)系在一起,需要攝像頭來(lái)捕捉和提供圖像數(shù)據(jù)。計(jì)算機(jī)視覺(jué)的任務(wù)則是將已有的圖像數(shù)字化,處理其中包含的數(shù)據(jù)并采取某種行動(dòng)。


一般來(lái)講,機(jī)器視覺(jué)系統(tǒng)的處理能力相對(duì)較小,主要用于精益制造環(huán)境,通過(guò)高速執(zhí)行實(shí)際任務(wù)以獲取完成指定作業(yè)所需的數(shù)據(jù)。計(jì)算機(jī)視覺(jué)系統(tǒng)是處理視覺(jué)數(shù)據(jù)的人工智能(AI)和機(jī)器學(xué)習(xí)(ML)算法的所在,它需要收集盡可能多的關(guān)于物體或場(chǎng)景的數(shù)據(jù)并充分理解它們。因此,計(jì)算機(jī)視覺(jué)既要能夠分析來(lái)自運(yùn)動(dòng)檢測(cè)器、紅外傳感器等來(lái)源的圖像,又可以在沒(méi)有相機(jī)的情況下執(zhí)行任務(wù),掃描數(shù)字網(wǎng)絡(luò)照片或視頻,處理來(lái)自任何來(lái)源(包括互聯(lián)網(wǎng))的圖像。從本質(zhì)上講,機(jī)器視覺(jué)就是系統(tǒng)的眼睛,而計(jì)算機(jī)視覺(jué)則相當(dāng)于系統(tǒng)的大腦。


相機(jī):

機(jī)器視覺(jué)系統(tǒng)中的重要組件


機(jī)器視覺(jué)是一項(xiàng)看似簡(jiǎn)單但實(shí)際上相當(dāng)復(fù)雜的技術(shù)。首先,它需要使用專(zhuān)門(mén)的光學(xué)器件來(lái)捕捉周?chē)h(huán)境中的視覺(jué)信息。然后,再借助硬件和軟件的組合對(duì)圖像的某些特征進(jìn)行處理、分析和測(cè)量。例如,作為制造系統(tǒng)的一部分的機(jī)器視覺(jué)應(yīng)用程序可以用于分析在裝配線(xiàn)上制造的零件的特定特性,確定零件是否符合質(zhì)量標(biāo)準(zhǔn)。


在實(shí)際應(yīng)用中,機(jī)器視覺(jué)常常被看作是計(jì)算機(jī)的一種視覺(jué)能力,其系統(tǒng)由一個(gè)或多個(gè)光學(xué)傳感器(如高分辨率相機(jī))、模數(shù)轉(zhuǎn)換(ADC)和數(shù)字信號(hào)處理(DSP)等器件組成。相機(jī)和傳感器用于收集感光形式的圖像,并將其轉(zhuǎn)化為電信號(hào),所產(chǎn)生的電信號(hào)經(jīng)數(shù)字化處理后被傳輸?shù)接?jì)算機(jī)進(jìn)行分析并提供所需的輸出。在技術(shù)復(fù)雜性上,機(jī)器視覺(jué)與語(yǔ)音識(shí)別相似。


目前,用于制造業(yè)的機(jī)器視覺(jué)主要采用兩種類(lèi)型的相機(jī),即:面陣掃描相機(jī)和線(xiàn)陣掃描相機(jī)。


面陣掃描相機(jī)使用矩形傳感器在單個(gè)幀中拍攝照片,傳感器中的像素?cái)?shù)量對(duì)應(yīng)于圖像的寬度和高度。線(xiàn)陣掃描相機(jī)是逐個(gè)像素地構(gòu)建圖像,它們適用于拍攝運(yùn)動(dòng)中或尺寸不規(guī)則的物品的圖像。在拍攝照片時(shí),傳感器在物體上以線(xiàn)性運(yùn)動(dòng)通過(guò),因此,線(xiàn)陣掃描相機(jī)不像面陣掃描相機(jī)那樣局限于特定的分辨率。


相機(jī)的靈敏度和分辨率是機(jī)器視覺(jué)系統(tǒng)的兩個(gè)重要參數(shù),其中,分辨率負(fù)責(zé)區(qū)分物體,而靈敏度是機(jī)器在光線(xiàn)昏暗或波長(zhǎng)不可見(jiàn)的情況下檢測(cè)物體或微弱脈沖的能力。一般來(lái)說(shuō),分辨率越大,視野就越有限。靈敏度和分辨率是相互依存的,如果其他因素不變,增加靈敏度就會(huì)降低分辨率,而增加分辨率則會(huì)降低靈敏度。面陣相機(jī)的分辨率和掃描頻率一般均低于線(xiàn)陣相機(jī)。


許多機(jī)器視覺(jué)相機(jī)的分辨率超過(guò)4,500萬(wàn)像素,這些相機(jī)能以極高的速度拍攝物體而不會(huì)失真。推動(dòng)機(jī)器視覺(jué)功能的另一個(gè)進(jìn)步是基于事件的視覺(jué)傳感器。這些傳感器處理圖像的方式與人眼的視神經(jīng)處理信息的方式類(lèi)似。更具體地說(shuō),這些基于事件的視覺(jué)傳感器檢測(cè)每個(gè)像素的亮度變化。這種能力使機(jī)器視覺(jué)能夠在比傳統(tǒng)的基于幀的視覺(jué)傳感器暗得多的環(huán)境中使用。


Sony Spresense的ISX012是一款有效像素達(dá)到511萬(wàn)像素的圖像傳感器,相機(jī)板在Spreseense的主板上使用了這款結(jié)構(gòu)緊湊、高分辨率的傳感器來(lái)擴(kuò)展主板的功能。板載編碼器可以采集JPEG、RAW、Y/C或RGB格式的圖片。相機(jī)板通過(guò)專(zhuān)用的并行接口直接連接到主板,當(dāng)與主板上CXD5602微控制器的AI功能相結(jié)合時(shí),可為物聯(lián)網(wǎng)設(shè)備提供先進(jìn)的視覺(jué)功能。


1.png

圖1:可提供先進(jìn)的視覺(jué)功能的

Sony Spresense相機(jī)板(圖源:Mouser)


當(dāng)然,出于應(yīng)用成本的考慮,機(jī)器視覺(jué)系統(tǒng)不是越復(fù)雜越好,而應(yīng)選擇適合的。一維(1D)視覺(jué)、二維(2D)視覺(jué)以及三維(3D)視覺(jué)這三種類(lèi)型是常用的、面向不同任務(wù)的機(jī)器視覺(jué)系統(tǒng)。


01 1D視覺(jué)


1D視覺(jué)不會(huì)一次性完成整個(gè)物體圖像的分析,而是一次讀取一行,通常采用線(xiàn)陣掃描相機(jī),這種類(lèi)型的機(jī)器視覺(jué)常常用在制造過(guò)程中的產(chǎn)品檢測(cè),比如用來(lái)發(fā)現(xiàn)傳送帶上產(chǎn)品中的缺陷;


02 2D視覺(jué)


2D視覺(jué)主要使用數(shù)碼相機(jī)收集圖像數(shù)據(jù),通過(guò)比較一幅圖像與下一幅圖像的變化來(lái)確定下一步應(yīng)采取的處理措施,這種類(lèi)型的機(jī)器視覺(jué)通常用于物體跟蹤以及產(chǎn)品的類(lèi)型驗(yàn)證等;


03 3D視覺(jué)


3D視覺(jué)通常在不同位置使用多個(gè)數(shù)碼相機(jī)和其他傳感器來(lái)捕捉物體的數(shù)字模型或圖像,從而對(duì)其位置、大小和特征進(jìn)行準(zhǔn)確的評(píng)估,因此,3D機(jī)器視覺(jué)非常適合幫助機(jī)器人導(dǎo)航周?chē)h(huán)境并執(zhí)行與訂單相關(guān)的任務(wù)。


隨著不同垂直行業(yè)對(duì)質(zhì)量檢測(cè)和自動(dòng)化的需求不斷增加,3D機(jī)器視覺(jué)市場(chǎng)將以高于行業(yè)平均水平的速度實(shí)現(xiàn)快速增長(zhǎng)。Grand View Research的分析數(shù)據(jù)表明,2022年,全球3D機(jī)器視覺(jué)市場(chǎng)規(guī)模為58.1億美元,預(yù)計(jì)2023年至2030年的復(fù)合年增長(zhǎng)率(CAGR)將達(dá)到13.5%。


ams OSRAM公司的Mira220全局快門(mén)圖像傳感器是一款體積小巧、專(zhuān)為工業(yè)機(jī)器視覺(jué)應(yīng)用而設(shè)計(jì)的2D和3D解決方案,有效分辨率為1,600(H)x 1,400(V),幀速率可高達(dá)90fps,深度為12位。Mira220采用的先進(jìn)背面照明(BSI)技術(shù)將傳感器層堆疊在數(shù)字/讀出層的頂部,這種設(shè)計(jì)產(chǎn)生了占位面積僅為5.3毫米×5.3毫米的芯片級(jí)封裝,特別適合空間受限產(chǎn)品的設(shè)計(jì)。


Mira220的功耗非常低,在睡眠模式下僅需4mW,在空閑模式下功耗40mW,而在90fps的全分辨率下也僅僅需要350mW。此外,Mira220傳感器還可以利用MIPI CSI-2接口方便地與處理器和FPGA進(jìn)行交互。


2.jpg

圖2:專(zhuān)為工業(yè)機(jī)器視覺(jué)應(yīng)用而設(shè)計(jì)的ams OSRAM的Mira220全局快門(mén)圖像傳感器(圖源:ams OSRAM)


工業(yè):

機(jī)器視覺(jué)應(yīng)用的主戰(zhàn)場(chǎng)


機(jī)器人之所以能與人類(lèi)做同樣的工作,主要?dú)w功于機(jī)器視覺(jué)。機(jī)器人手臂用它來(lái)檢查從裝配線(xiàn)上下來(lái)的零件和產(chǎn)品,確定哪些符合質(zhì)量標(biāo)準(zhǔn)。此外,機(jī)器視覺(jué)還使機(jī)器人和人類(lèi)之間的協(xié)作更加高效和安全?,F(xiàn)在,機(jī)器視覺(jué)已經(jīng)成為工業(yè)4.0過(guò)程自動(dòng)化的關(guān)鍵技術(shù),其中汽車(chē)、制藥、包裝、食品和飲料等垂直行業(yè)是使用機(jī)器人系統(tǒng)比較突出的領(lǐng)域。


據(jù)Grand View Research的分析,2022年,全球機(jī)器視覺(jué)市場(chǎng)規(guī)模為168.9億美元,預(yù)計(jì)2023年至2030年將以12.3%的復(fù)合年增長(zhǎng)率(CAGR)增長(zhǎng),到2030年,市場(chǎng)規(guī)模將達(dá)到416億美元。按照產(chǎn)品劃分,機(jī)器視覺(jué)產(chǎn)品可細(xì)分為基于PC的和基于智能攝像頭的系統(tǒng)。2022年,基于PC的細(xì)分市場(chǎng)在全球的市場(chǎng)份額超過(guò)54.92%,接下來(lái)的幾年里預(yù)計(jì)這一趨勢(shì)仍將得到延續(xù)。


與機(jī)構(gòu)或教育應(yīng)用中使用的機(jī)器視覺(jué)系統(tǒng)相比,工業(yè)機(jī)器視覺(jué)系統(tǒng)通常更耐用,并要求較高的可靠性、穩(wěn)定性和準(zhǔn)確性,而它們的成本則比在軍事、航空航天、國(guó)防和政府應(yīng)用中使用的系統(tǒng)要低很多。這也是近些年機(jī)器視覺(jué)在工業(yè)領(lǐng)域日益普及的重要原因。


在工業(yè)應(yīng)用中,機(jī)器視覺(jué)常常被用于執(zhí)行各種任務(wù),下面我們就列舉一些:


01 電子元件的識(shí)別和分析。對(duì)元器件的準(zhǔn)確識(shí)別及跟蹤是整個(gè)制造或物流過(guò)程控制的重要環(huán)節(jié)。例如,將機(jī)器視覺(jué)用于電路板的焊接過(guò)程監(jiān)控,除了完成焊接質(zhì)量檢查,還能同步檢查元器件的放置是否正確。


02 印刷缺陷識(shí)別。印刷缺陷識(shí)別的目的是定位印刷異常,如不正確的色調(diào)或印刷品的缺失或有缺陷的部分,機(jī)器視覺(jué)的應(yīng)用大幅降低了人為因素可能出現(xiàn)的錯(cuò)誤。


03 材料檢查。材料檢測(cè)系統(tǒng)中的機(jī)器視覺(jué)功能確保了產(chǎn)品的質(zhì)量控制,它能準(zhǔn)確識(shí)別產(chǎn)品中的缺陷甚至污染物。例如,可將機(jī)器視覺(jué)系統(tǒng)用于藥丸和片劑的過(guò)程監(jiān)控。


04 物體定位。在機(jī)器人制導(dǎo)等應(yīng)用中,機(jī)器視覺(jué)通常被用來(lái)尋找東西,其目的是確定目標(biāo)物體的坐標(biāo)和位置。這也是機(jī)器視覺(jué)普遍的應(yīng)用之一。


05 模式識(shí)別。機(jī)器視覺(jué)在當(dāng)今的醫(yī)學(xué)診斷方面發(fā)揮了重要作用。醫(yī)學(xué)成像分析使用基于機(jī)器視覺(jué)的模式識(shí)別、磁共振成像、血液掃描和大腦掃描等技術(shù)可對(duì)疾病進(jìn)行準(zhǔn)確的診斷。


06 物體識(shí)別。在汽車(chē)行業(yè),自動(dòng)駕駛汽車(chē)使用機(jī)器視覺(jué)系統(tǒng)中的攝像頭拍攝的圖像進(jìn)行物體識(shí)別,得以準(zhǔn)確地分析出道路上的障礙物類(lèi)型。隨著自動(dòng)駕駛技術(shù)的不斷演進(jìn),這一領(lǐng)域?qū)⒊蔀闄C(jī)器視覺(jué)極具發(fā)展前景的應(yīng)用之一。


人工智能:

工業(yè)機(jī)器視覺(jué)技術(shù)發(fā)展的加速器


現(xiàn)代機(jī)器視覺(jué)系統(tǒng)開(kāi)始越來(lái)越多地使用人工智能(AI)方法與技術(shù),如機(jī)器學(xué)習(xí)或深度學(xué)習(xí),以及人工神經(jīng)網(wǎng)絡(luò)。AI能夠處理大量以前難以收集的圖像和數(shù)據(jù)信息,加快了決策過(guò)程。例如,簽名和字符識(shí)別,有了人工智能的加持,機(jī)器視覺(jué)系統(tǒng)可以快速甄別其中的細(xì)微差別。


在制造業(yè)中,AI有助于物體識(shí)別和材料檢查,使機(jī)器視覺(jué)系統(tǒng)能夠理解物體或材料形狀和紋理的變化。在質(zhì)量保證方面,AI系統(tǒng)可以分析出現(xiàn)的異?,F(xiàn)象,而不是單純地檢出和拒絕不符合規(guī)范的產(chǎn)品。機(jī)器視覺(jué)與AI和深度學(xué)習(xí)相結(jié)合,擴(kuò)大了機(jī)器人在執(zhí)行生產(chǎn)線(xiàn)任務(wù)中的作用,如挑選、分揀、放置和執(zhí)行生產(chǎn)線(xiàn)掃描。這種技術(shù)組合還使機(jī)器人能夠在其他環(huán)境中運(yùn)行,如超市、醫(yī)院和餐館等?;贏I的機(jī)器視覺(jué)還可以在更廣泛的背景和照明設(shè)置中識(shí)別缺陷,并靈活應(yīng)對(duì)產(chǎn)品外觀(guān)和缺陷類(lèi)型的變化,例如凹痕或變色。


深度學(xué)習(xí)是人工智能中一個(gè)更復(fù)雜、更強(qiáng)大的子集,在機(jī)器視覺(jué)應(yīng)用中也越來(lái)越多地被采用。在人工智能的支持下,機(jī)器視覺(jué)系統(tǒng)常常被用來(lái)執(zhí)行復(fù)雜的任務(wù),比如質(zhì)量控制、裝配控制、過(guò)程控制和機(jī)器人操控等。在過(guò)去幾年里,將人工智能融入機(jī)器視覺(jué)應(yīng)用是工業(yè)機(jī)器視覺(jué)技術(shù)發(fā)展的主要加速器。在“未來(lái)的工廠(chǎng)”中,機(jī)器視覺(jué)和AI技術(shù)將是過(guò)程自動(dòng)化和提高效率的關(guān)鍵組成部分。


機(jī)器視覺(jué)與AI的技術(shù)進(jìn)步離不開(kāi)芯片組的支持。新一代嵌入式芯片的功能更強(qiáng)大,成本合理,適用于處理圖像和運(yùn)行基于AI的機(jī)器視覺(jué)算法,可將深度學(xué)習(xí)訓(xùn)練時(shí)間從數(shù)周減少到數(shù)小時(shí)。


NXP的i.MX 95系列應(yīng)用處理器將eIQ Neutron神經(jīng)處理單元(NPU)、Arm Mali沉浸式3D圖形處理、異構(gòu)安全分區(qū)和網(wǎng)絡(luò)功能組合在一起,可實(shí)現(xiàn)機(jī)器學(xué)習(xí)和先進(jìn)的邊緣應(yīng)用。此外,i.MX95還集成了NXP的圖像信號(hào)處理器(ISP),支持多種不同的圖像傳感器,從而實(shí)現(xiàn)工業(yè)、機(jī)器人、醫(yī)療和汽車(chē)等領(lǐng)域廣泛的視覺(jué)應(yīng)用。為此,NXP專(zhuān)門(mén)針對(duì)機(jī)器視覺(jué)應(yīng)用對(duì)這個(gè)ISP進(jìn)行了優(yōu)化,能支持兩個(gè)目標(biāo)區(qū)域、兩個(gè)曝光的HDR合成、先進(jìn)降噪和邊緣增強(qiáng),支持彩色、單色和RGB-IR攝像頭傳感器。


在i.MX95 SoC中,主要通過(guò)集成的eIQ Neutron NPU實(shí)現(xiàn)機(jī)器視覺(jué),在這里,NPU作為視覺(jué)處理通路的一部分,連通多個(gè)攝像頭傳感器和網(wǎng)絡(luò)連接的智能攝像頭。


1692175555512378.png

圖3:NXP i.MX95系統(tǒng)框圖

(圖源:NXP)


本文小結(jié)


工業(yè)機(jī)器視覺(jué)是使用相機(jī)、鏡頭和照明設(shè)備對(duì)制成品進(jìn)行自動(dòng)視覺(jué)檢查。這是一種實(shí)時(shí)檢測(cè)部件的方法,既快速又準(zhǔn)確,它可以對(duì)高速生產(chǎn)線(xiàn)上的每一件產(chǎn)品進(jìn)行拍攝和分析,通過(guò)復(fù)雜的算法來(lái)檢查和評(píng)估在工業(yè)環(huán)境中獲取的圖像,確保100%的質(zhì)量控制。它還可以自動(dòng)化許多工業(yè)檢查,包括缺陷和問(wèn)題的目視檢查、產(chǎn)品存在與否檢查、產(chǎn)品類(lèi)型驗(yàn)證、測(cè)量和產(chǎn)品代碼讀取等。今天,工業(yè)自動(dòng)化正在以驚人的速度發(fā)展,機(jī)器視覺(jué)技術(shù)在其發(fā)展和擴(kuò)張中發(fā)揮著至關(guān)重要的作用。


在剛剛過(guò)去幾年里,融入了人工智能的機(jī)器視覺(jué)技術(shù)幫助許多機(jī)器人和自動(dòng)駕駛汽車(chē)實(shí)現(xiàn)了幾乎與人類(lèi)相似的感知水平。通過(guò)使用大量先進(jìn)的光學(xué)傳感器,如高分辨率相機(jī),這些機(jī)器人和汽車(chē)最終能夠以自己的方式擁有“看”的能力。多種技術(shù)的融合和飛速發(fā)展使得新應(yīng)用的潛力顯著增加,這意味著未來(lái)的機(jī)器視覺(jué)技術(shù)將與更多的行業(yè)相關(guān),所創(chuàng)建的解決方案也將更加通用和智能。



免責(zé)聲明:本文為轉(zhuǎn)載文章,轉(zhuǎn)載此文目的在于傳遞更多信息,版權(quán)歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權(quán)問(wèn)題,請(qǐng)聯(lián)系小編進(jìn)行處理。


推薦閱讀:


上百萬(wàn)顆電芯實(shí)時(shí)監(jiān)測(cè)管理,儲(chǔ)能系統(tǒng)的“大腦”BMS有何過(guò)人之處?

與博世對(duì)話(huà)消費(fèi)類(lèi)MEMS傳感器市場(chǎng)和未來(lái)

如何在傳感器模塊最小化同時(shí)保證更高的電源效率?

二合一的智能照明和聯(lián)接方案

溫達(dá)電子:智能家居連接器產(chǎn)品布局完整

特別推薦
技術(shù)文章更多>>
技術(shù)白皮書(shū)下載更多>>
熱門(mén)搜索
?

關(guān)閉

?

關(guān)閉