德國IDS較新3D相機(jī)發(fā)布

時間：2013-08-02作者：深圳市英泰立誠電子有限公司瀏覽：48

1
IDS 3D 視覺立體相機(jī)
2
目錄：
1. 摘要 ................................................................................................. 3
2. 常用立體視覺配置 .................................................................... 3
3. 校準(zhǔn) ................................................................................................. 4
3.1深度知覺計算處理步驟 .................................................... 5
3.2 矯正 ......................................................................................... 5
3.3 立體匹配 ............................................................................... 7
3.4 投影變換 ............................................................................... 9
3.5 特定于應(yīng)用程序的處理 ............................................... 10
3.6 N10 立體相機(jī) .................................................................. 10
3.7 Nxlib 立體處理庫 ........................................................... 10
4. Ensenso N10立體相機(jī)信息 .............................................. 11
5. Ensenso N10立體相機(jī)特征 .............................................. 12
3
1. 摘要 本文主要深入分析使用立體相機(jī)的深度知覺主要處理步驟、常用立體視覺配置以及使用Nxlib立體處理庫的Ensenso N10 立體相機(jī)。（深度知覺是指人對物體遠(yuǎn)近距離即深度的知覺，它的準(zhǔn)確性是對于深度線索的敏感程度的綜合測定。）
2. 常用立體視覺配置
立體視覺的深度知覺是基于三角測量原理，我們并排放置兩個相機(jī)，利用投影光學(xué)系統(tǒng)可使兩個相機(jī)視野在所需求的物距發(fā)生重疊，通過每個相機(jī)拍攝的圖片，我們可以捕捉到不同視角的場景，如圖1所示：
圖（1）
4
對于兩個相機(jī)圖像中的每一個可見表面點，在3D空間有兩條光線連接使用每個相機(jī)投射中心的表面點，為了獲取捕捉場景的3D位置我們大體上需要完成以下兩個任務(wù)，**我們需要確定左邊相機(jī)圖像的表面點在右邊相機(jī)圖像的哪里顯示，其次**知道左右相機(jī)圖像的關(guān)聯(lián)像素交叉點，當(dāng)我們假定相機(jī)彼此之間相互關(guān)聯(lián)后，在校準(zhǔn)處理時幾何計算僅運行一次。
3. 校準(zhǔn)
兩個相機(jī)系統(tǒng)的幾何形狀可通過立體校準(zhǔn)處理被預(yù)先計算出來，**我們需要一個校準(zhǔn)對象（一個使用已知大小圖像交錯式或點模式的二維校準(zhǔn)板），然后我們捕捉立體像對（像對：從不同攝站攝取的具有重疊影像的一對像片?？梢岳昧Ⅲw像對進(jìn)行立體觀察判讀及測圖等工作），這樣即可展示不同位置圖案、兩個相機(jī)的距離及其定位，我們可以使用每個像對形成的圖案點的像素位置和它們在校準(zhǔn)板上的已知位置用于計算所有觀察圖像的3D模型和立體相機(jī)的準(zhǔn)確模型，這個模型包含了每個相機(jī)的固有參數(shù)（比如焦距）、失真及外在參數(shù)，也就是在左右相機(jī)之間的三維空間里旋轉(zhuǎn)及變換，我們可以使用三角形校準(zhǔn)數(shù)據(jù)上的對應(yīng)點來鑒定兩個相機(jī)圖像和恢復(fù)關(guān)于相機(jī)三維坐標(biāo)度量標(biāo)準(zhǔn)。
5
3.1深度知覺計算處理步驟 該處理步驟可分為3個部分，且**計算出像對的每個像素的3D位置，這些步驟**實時執(zhí)行以讓每個捕獲的立體圖像能獲得3D點云（點云是在同一空間參考系下表達(dá)目標(biāo)空間分布和目標(biāo)表面特性的*點集合）或場景表面。
3.2 矯正
為了能夠三角定位成像點我們需要鑒定左右相機(jī)圖像的對應(yīng)影像部分，考慮到左邊圖像有一個小的圖像分塊，我們可以簡單的搜索右邊相機(jī)的整塊圖像來充分匹配，這將耗費大量的時間以至任務(wù)無法即使完成，參照圖3中的示例圖像，圓錐體**是在左邊圖像的較上方位置，直觀感覺似乎并不需要在右邊圖像的下半?yún)^(qū)搜索錐尖，事實上由于兩個投影相機(jī)的幾何形狀我們可以允許將搜索范圍限制在右邊圖像中的一堆線上，這些線我們稱之為核線。 圖2顯示了一些手繪的對應(yīng)點及它們的核線，在原始相機(jī)圖像上面核線會因為相機(jī)光學(xué)導(dǎo)致的扭曲而發(fā)生彎曲，沿著這些曲線對應(yīng)搜索將會非常緩慢和復(fù)雜，在校準(zhǔn)過程中我們可以去除圖像扭曲由此未失真的圖像可產(chǎn)生直的核線。
6
盡管產(chǎn)生了直的核線但由于其在不同的圖像區(qū)域有不同的方向，這就導(dǎo)致圖像平面（相機(jī)芯片）既不能*共面也不能擁有相同的方向，為了進(jìn)一步加快對應(yīng)搜索速度我們可以使用相機(jī)幾何校準(zhǔn)和對圖片應(yīng)用額外透射轉(zhuǎn)換，這樣核線可與掃描線2對齊，這一步驟我們稱之為“矯正”，圓錐體白色**區(qū)域搜索現(xiàn)在能通過尋找與右邊圖像相同的掃描線并找到較佳匹配的位置來實現(xiàn)，以后進(jìn)一步的處理均僅針對矯正過的圖片。
圖2
7
圖3
3.3 立體匹配
對于在左邊相機(jī)圖像的每個像素，我們現(xiàn)在可以搜索捕捉同樣對象點右邊圖像的相同掃描線上的像素，由于單個的像素值不足以區(qū)分并找到與之相對應(yīng)的像素，我們通常使用一個比較小的窗口（比如7x7pixels）進(jìn)行匹配以此來替代同一行的右邊圖像的所有窗口，一般來說我們不需要搜索整行，僅需搜索左邊圖像上的橫坐標(biāo)上的有限數(shù)量的像素點并與附近對象點略加對照，這樣既加快了匹配速度也限制了三角測量點的深度范圍，如果發(fā)現(xiàn)了一個足夠**的匹配對象，我們就可以通過右邊相應(yīng)的像素點關(guān)聯(lián)出左邊的像素點，這種關(guān)聯(lián)將被存儲在視差圖（橫坐標(biāo)像素之間位移）中。
上述匹配方式我們稱之為局部立體匹配，因其僅使用每個像素的局部信息，顯然這種匹配方式僅適用于同一掃描線上
8
的圖像部分能夠被充分區(qū)分的時候，所以局部匹配方式在圖像部分不明顯或很復(fù)雜的時候?qū)⒉辉龠m用，除了局部匹配這種方式外我們還有其他的方式-“全局立體匹配”，全局立體匹配也可利用鄰近像素信息，這種匹配方式不再只是尋找個別像素點來做匹配處理，而是嘗試能夠馬上分配左右相機(jī)圖像的所有像素點，全局立體匹配也考慮到了由于圖像表面平滑使得大多鄰近的像素往往具有類似的深度，對比局部立體匹配，全局立體匹配方式較加復(fù)雜并需要較強(qiáng)的處理能力，但是它需要很少的紋理數(shù)據(jù)并能給出較**的處理結(jié)果，尤其針對對象邊界處理這塊優(yōu)勢較為明顯。
圖4
9
3.4 投影變換
不管是使用哪一種匹配方式，較終均是左右相機(jī)圖像像素點的關(guān)聯(lián)，可通過視差圖中存儲的關(guān)聯(lián)值在右邊相機(jī)圖像中找到相對應(yīng)的位置，圖4說明了這一觀念，然后我們可以再次利用相機(jī)的幾何參數(shù)在校準(zhǔn)期間將像素值轉(zhuǎn)換為實際的X、Y、Z坐標(biāo)值，這種轉(zhuǎn)換我們稱之為“投影變換”，在圖1中，左右相機(jī)圖像交叉后每個關(guān)聯(lián)的像素的X、Y、Z軸的數(shù)據(jù)稱為“點云”，它通常可以作為三維圖像來保存，也能保留圖像像素網(wǎng)格的鄰近像素點數(shù)據(jù)，一個可視化的點云如圖5所示：
圖5
10
3.5 特定于應(yīng)用程序的處理
以上三種處理步驟**在立體像對里被實現(xiàn)以獲得完整的3D點云場景，點云也需要做進(jìn)一步處理以達(dá)到一些特定的應(yīng)用處理，它可以靠著一個已知的對象（以前的點云或CAD模型）來匹配場景表面，假如這部分正好坐落于場景的表面位置，該對象的完整位置及轉(zhuǎn)動均能夠被計算出來。
3.6 N10 立體相機(jī)
正如**所提到的，所有的立體匹配技術(shù)均需要一個特征顯著的對象以獲得左右相機(jī)圖像的對應(yīng)關(guān)系，Ensenso N10立體相機(jī)因此集成了一個額外的紋理投影裝置，在圖像捕獲期間紋理投影裝置會使用高度結(jié)構(gòu)化的圖案來剔除在立體匹配步驟中的模棱兩可的區(qū)塊以此來增加對象本身的紋理特征，投影儀可利用硬件觸發(fā)信號和相機(jī)同步以達(dá)到在捕捉運動對象的時候可確保一致的像對。
3.7 Nxlib 立體處理庫
NXlib庫與N10相機(jī)和全部立體處理途徑（包括校準(zhǔn)）相互聯(lián)系，它結(jié)合了使用全局匹配技術(shù)的紋理投影并提供密集、高質(zhì)量的點云，嚴(yán)謹(jǐn)?shù)娜制ヅ渌惴衫盟刑幚砥?*達(dá)到實時性能。
11
4. Ensenso N10立體相機(jī)信息
Ensenso N10工作原理依賴于一種新的方式—“投射紋理立體視覺”，該相機(jī)使用兩個全局快門方式的CMOS芯片和一個可在捕獲對象上投射隨機(jī)光電圖形的圖像投影儀，這種方式的**優(yōu)勢在于能夠在多個相機(jī)之間操作并可以**的捕獲非結(jié)構(gòu)化的對象表面。 Ensenso N10嚴(yán)格按照工業(yè)標(biāo)準(zhǔn)制造，相機(jī)內(nèi)用于3D表面匹配裝置使用了MVTec HALCON接口，這樣只需要花費不到十分鐘的時間即可立即使用。 使用**提供的軟件接口可以輕松的創(chuàng)建相機(jī)應(yīng)用程序，當(dāng)操作多個相機(jī)的時候，軟件包也可讓你輸出一個包含相機(jī)數(shù)據(jù)的3D點云，同時使用多個相機(jī)可讓你捕獲到一個場景的多個面，從而減少陰影效果并擴(kuò)張視野。 Ensenso N10相機(jī)工作距離為280-1400mm，該款相機(jī)可捕獲靜態(tài)和動態(tài)圖像，其幀率高達(dá)30幀/秒。
使用投射紋理立體視覺處理方式，投影儀可在場景上投射出一個靜態(tài)、高對比度的紋理，針對那些不明顯或很模糊的對象亦可相應(yīng)的增加其結(jié)構(gòu)特征，結(jié)合部分全局匹配圖像對比算
12
法Ensenso N10幾乎可以捕獲全部的視野表面，該系統(tǒng)需工作在脈沖紅外光線并對外部光線抗干擾能力很強(qiáng)的環(huán)境中。 Ensenso N10使用鋁合金外殼，體積為150x45x45mm，該款相機(jī)帶有可鎖定USB線的螺紋、一組GPIO可用做觸發(fā)輸入和輸出（12-24V），一個軟件包（支持MVTev HALCON接口，一個面對對象開發(fā)的API函數(shù)），可方便客戶較短時間完成其應(yīng)用程序設(shè)計。
5. Ensenso N10立體相機(jī)特征
? USB2.0接口
? 緊湊的鋁合金外殼：150x45x45mm
? 低功耗：2.5W
? 兩個全局快門CMOS芯片和圖形投影儀
? 相機(jī)/3D圖像分辨率：752*480 pixel
? Z軸分辨率：0,1 -1,2mm
? 滿分辨率下相機(jī)幀率可達(dá)30fps
? 工作距離：280-1400mm
? 如需要使用多鏡頭相機(jī)可輸出一個3D點云
? 使用投影紋理立體視覺可捕捉結(jié)構(gòu)不明顯的對象表面
? 可捕捉靜態(tài)及動態(tài)圖像
13
? 軟件包（windows及l(fā)inux）
? HALCON接口和C++ Demo
? 重量：400g
深圳市英泰立誠電子有限公司專注于IDS工業(yè)相機(jī),IDS相機(jī),CCD,遠(yuǎn)心鏡頭,CMOS,FA鏡頭等

• 詞條

  詞條說明

• 德國IDS較新3D相機(jī)發(fā)布

  1 IDS 3D 視覺立體相機(jī) 2 目錄： 1. 摘要 ................................................................................................. 3 2. 常用立體視覺配置 ............................................................