同類(lèi)產(chǎn)品
康謀方案 | 多源相機(jī)數(shù)據(jù)采集與算法集成測(cè)試方案
在智能化技術(shù)快速發(fā)展當(dāng)下,圖像數(shù)據(jù)的采集與處理逐漸成為自動(dòng)駕駛、工業(yè)等領(lǐng)域的一項(xiàng)關(guān)鍵技術(shù)。高質(zhì)量的圖像數(shù)據(jù)采集與算法集成測(cè)試都是確保系統(tǒng)性能和可靠性的關(guān)鍵。隨著技術(shù)的不斷進(jìn)步,對(duì)于圖像數(shù)據(jù)的采集、處理和分析的需求日益增長(zhǎng),這不僅要求我們擁有高性能的相機(jī)硬件,還要求我們能夠高效地集成和測(cè)試各種算法。
我們探索了一種多源相機(jī)數(shù)據(jù)采集與算法集成測(cè)試方案,能夠滿(mǎn)足不同應(yīng)用場(chǎng)景下對(duì)圖像采集和算法測(cè)試的多樣化需求,確保數(shù)據(jù)的準(zhǔn)確性和算法的有效性。
一、相機(jī)組成
相機(jī)一般由鏡頭(Lens),圖像傳感器(Image Sensor),圖像信號(hào)處理器(Image Signal Processor, ISP),接口組成。
圖 1 相機(jī)基本結(jié)構(gòu)
(1)鏡頭:用于聚焦光線(xiàn),將視野中的物體投射到成像介質(zhì)表面,鏡頭的光圈決定了進(jìn)光量的大小,F(xiàn)OV(Field-of-View)決定了視野范圍的寬度。
(2)圖像傳感器:負(fù)責(zé)將光子轉(zhuǎn)化為電信號(hào),Sensor上的像素?cái)?shù)量越多,清晰度就越高。像素的尺寸越大,感光能力就越好。
(3)ISP:負(fù)責(zé)將傳感器捕捉到的原始數(shù)據(jù)轉(zhuǎn)換為高質(zhì)量的數(shù)字圖像,包括完成去馬賽克,白平衡,色彩校正等功能。
(4)接口:是相機(jī)與外部設(shè)備(如計(jì)算機(jī))之間信息交流的通道,包括完成數(shù)據(jù)傳輸、供電和控制信號(hào)輸出等。
在實(shí)際應(yīng)用中,常見(jiàn)的相機(jī)有USB接口相機(jī),以太網(wǎng)接口相機(jī)和車(chē)載Fakra相機(jī)等。每種相機(jī)都有其特點(diǎn)和應(yīng)用場(chǎng)景。比如,USB免驅(qū)相機(jī)具備其即插即用和便攜性的特點(diǎn),以太網(wǎng)接口相機(jī)則以具備高幀率和網(wǎng)絡(luò)連接能力,車(chē)載相機(jī)具備高穩(wěn)定性和長(zhǎng)距離傳輸?shù)哪芰Α?/p>
由于不同的應(yīng)用場(chǎng)景對(duì)圖像采集與算法測(cè)試的要求各異,例如自動(dòng)駕駛、工業(yè)檢測(cè)、交通監(jiān)控等,它們對(duì)圖像的分辨率、幀率、傳輸距離和算法部署效果等有著不同的需求。因此,需要不同類(lèi)型的相機(jī)來(lái)滿(mǎn)足這些多樣化的數(shù)據(jù)采集與算法測(cè)試需求。
二、多源相機(jī)采集與測(cè)試方案
多源相機(jī)的數(shù)據(jù)采集與算法測(cè)試,需要根據(jù)實(shí)際應(yīng)用情況對(duì)各種相機(jī)進(jìn)行不同的參數(shù)(比如分辨率,幀率)等配置,并根據(jù)不同來(lái)源數(shù)據(jù)有效結(jié)合算法部分進(jìn)行測(cè)試。
在實(shí)際運(yùn)用過(guò)程中,可以了解到每種相機(jī)都對(duì)應(yīng)有自己的SDK包,比如USB免驅(qū)相機(jī)V4L2 API。但常常常會(huì)遇到一些問(wèn)題,比如如何有效集成每種相機(jī),采集數(shù)據(jù)與實(shí)時(shí)可視化?每種相機(jī)的多個(gè)設(shè)備又如何快速同時(shí)驅(qū)動(dòng)采集?在車(chē)端應(yīng)用場(chǎng)景中,如何對(duì)不同類(lèi)型相機(jī)打上有效的時(shí)間戳?
針對(duì)這些難題,我們推出一種多源相機(jī)數(shù)據(jù)采集與算法集成測(cè)試方案。結(jié)合康謀的BRICKplus/BRICK2硬件采集平臺(tái)與ADTF軟件框架,可以快速集成多源相機(jī)并實(shí)現(xiàn)數(shù)據(jù)采集與算法測(cè)試。
圖 2 BRICKplus/BRICK2
圖 3 ADTF軟件
軟件方面,采用模塊化的插件設(shè)計(jì)模式,集成了USB免驅(qū)相機(jī),工業(yè)面陣相機(jī)和iDS以太網(wǎng)相機(jī)等SDK。對(duì)算法組件進(jìn)行接口封裝和測(cè)試結(jié)果輸出。
圖4 軟件框架
對(duì)于不同類(lèi)型的傳感器,其數(shù)據(jù)采集流程大體包括打開(kāi)設(shè)備、設(shè)置相機(jī)參數(shù)和格式、申請(qǐng)內(nèi)存緩沖區(qū)、驅(qū)動(dòng)視頻流和圖像循環(huán)采集等步驟。通過(guò)模塊化的設(shè)計(jì)理念,將每種相機(jī)的采集流程都映射成一個(gè)組件,可以有效的對(duì)其進(jìn)行各種參數(shù)配置。此外,在與可視化組件和存儲(chǔ)組件進(jìn)行數(shù)據(jù)連接,最終可實(shí)現(xiàn)多相機(jī)的快速集成與可視化采集。
圖5 相機(jī)采集工程
圖6 相機(jī)采集工程運(yùn)行
三、應(yīng)用案例分享
在軟件界面右側(cè)Streaming Source Details那欄中,可以點(diǎn)擊Help,可以快速查看Usb Camera Capture組件的使用手冊(cè),包括環(huán)境準(zhǔn)備,組件信息以及工程案例搭建使用。
圖7 組件使用手冊(cè)
比如,在MV Camera Capture組件的Properties欄中可以查看到組件配置的屬性。可以設(shè)置相機(jī)的掛載結(jié)點(diǎn),曝光時(shí)間,幀率以及圖像采集模式。其中圖像采集模式分為采集模式和灰度模式,MONO8為灰度圖像,RGB8為彩色圖像。
圖8 2路相機(jī)采集工程
圖9 2路相機(jī)采集工程運(yùn)行
通過(guò)相機(jī)采集的數(shù)據(jù)與算法組件結(jié)合,可以進(jìn)行算法的測(cè)試。比如,通過(guò)集成Usb Camera Capture組件、Face Detection組件、Qt5 Video Display組件和Qt5 Meida Description Display,可以快速實(shí)現(xiàn)一路相機(jī)采集與算法測(cè)試工程。
圖10 人臉識(shí)別算法工程
圖11 人臉識(shí)別算法工程運(yùn)行
四、結(jié)語(yǔ)
多源相機(jī)數(shù)據(jù)采集與算法集成測(cè)試方案提供了一種高效、靈活的解決方案。通過(guò)康謀的BRICKplus/BRICK2硬件采集平臺(tái)與ADTF軟件框架的結(jié)合,能夠?qū)崿F(xiàn)多源相機(jī)的快速集成和數(shù)據(jù)采集,同時(shí)保證了算法測(cè)試的準(zhǔn)確性和實(shí)時(shí)性。隨著技術(shù)的不斷進(jìn)步,我們將繼續(xù)探索和優(yōu)化這一方案,以適應(yīng)未來(lái)更加復(fù)雜和多變的應(yīng)用需求。
相關(guān)產(chǎn)品
免責(zé)聲明
- 凡本網(wǎng)注明“來(lái)源:化工儀器網(wǎng)”的所有作品,均為浙江興旺寶明通網(wǎng)絡(luò)有限公司-化工儀器網(wǎng)合法擁有版權(quán)或有權(quán)使用的作品,未經(jīng)本網(wǎng)授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)使用作品的,應(yīng)在授權(quán)范圍內(nèi)使用,并注明“來(lái)源:化工儀器網(wǎng)”。違反上述聲明者,本網(wǎng)將追究其相關(guān)法律責(zé)任。
- 本網(wǎng)轉(zhuǎn)載并注明自其他來(lái)源(非化工儀器網(wǎng))的作品,目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點(diǎn)和對(duì)其真實(shí)性負(fù)責(zé),不承擔(dān)此類(lèi)作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。其他媒體、網(wǎng)站或個(gè)人從本網(wǎng)轉(zhuǎn)載時(shí),必須保留本網(wǎng)注明的作品第一來(lái)源,并自負(fù)版權(quán)等法律責(zé)任。
- 如涉及作品內(nèi)容、版權(quán)等問(wèn)題,請(qǐng)?jiān)谧髌钒l(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系,否則視為放棄相關(guān)權(quán)利。