[科普中國]-高速圖像采集

圖像采集

圖像指的是一切圖片和影像的總稱，是現(xiàn)代信息社會中最常見、最基本的一種數(shù)據(jù)信息。圖像在人們的生活和生產(chǎn)中無處不見，它在人類獲取的外部信息中占據(jù)著重要的地位。記錄圖像信息的手段從一開始的膠片技術一直發(fā)展到現(xiàn)在應用最廣泛的 CCD/CMOS 圖像傳感器。圖像采集系統(tǒng)是一種采集、獲取數(shù)字化視頻圖像信息，并依據(jù)要求將其上傳至計算機、播放或者存儲起來的硬件設備。對于現(xiàn)在的普遍應用來說，圖像采集基本都是指采集 CCD/CMOS 相機輸出的圖像信號。采集精度、采集速度和采集系統(tǒng)的存儲量是圖像采集系統(tǒng)的關鍵要素。尤其是高速圖像采集系統(tǒng)中，數(shù)據(jù)量普遍偏大，所以對數(shù)據(jù)的儲存和傳輸有著更加嚴格的要求。1

應用背景隨著現(xiàn)代電子技術的飛速發(fā)展，高速圖像采集技術在越來越多的領域都有了廣泛的應用，例如圖像處理、電視會議、治安監(jiān)控系統(tǒng)、交通監(jiān)控、工業(yè)控制、軍事、醫(yī)學、航天等方面。可以說在我們生活的方方面面都能涉及到圖像采集技術，應用領域各不相同也就帶來了對技術的不同要求。最常見的圖像采集器件就是圖像采集卡，而目前市場大部分的圖像采集卡都對圖像數(shù)據(jù)傳輸格式有一定限制，而且采用的是“相機—圖像采集卡—計算機”這樣的連接傳輸模式，直接傳輸?shù)接嬎銠C上，這種方式功能單一、傳輸速度有限，并且需要直連計算機受工作環(huán)境限制較大。所以設計一種高速、使用方便的圖像采集系統(tǒng)將能符合許多領域的應用需求。

研究現(xiàn)狀圖像采集系統(tǒng)的發(fā)展方向有非常大一部分因素是由 CCD/CMOS 傳感器的發(fā)展決定的。從 1969 年 CCD 器件發(fā)明以來，人們對這類傳感器的研究就從來沒有間斷過。至 20 世紀 90 年代分辨率突破百萬像素并開始在數(shù)字相機中廣泛應用。直到現(xiàn)在由于半導體制造工藝的飛速發(fā)展，大 CCD/CMOS 傳感器的分辨率已經(jīng)達到數(shù)千萬像素，大面陣、小像元的 CCD 傳感器層出不窮，美國 EG&G.Retion就研制出 8192×8192 像元的高分辨率 CCD 圖像傳感器。另外 CMOS 傳感器雖然成像質量相較于 CCD 傳感器略差，但是讀取速度卻非?？欤幽么?Dalsa 公司開發(fā)的 CMOS 傳感器最高讀出速度可達 20000 幀/秒。所以幾乎所有數(shù)字相機的輸出圖像數(shù)據(jù)量都有個明顯的增長，這就必然要求圖像采集系統(tǒng)采集跟上高速大量的相機輸出數(shù)據(jù)，這也是現(xiàn)今高速圖像采集系統(tǒng)的發(fā)展趨勢。 早期的圖像采集由于計算機總線速度實在太低，視頻圖像完全不能實時采集并送入計算機或存儲下來，所以通常采用膠片式高速攝影機將運動事件以圖像的方式記錄下來。等到膠片沖洗完，直接在膠片上進行觀察分析。這種方法的缺點很多，使用時占用眾多設備，采集到所需圖像耗時長，整個過程效率極低。到現(xiàn)在這種方法已漸漸淘汰。 上世紀九十年代前，主要是以模擬信號為主的圖像信息采集處理系統(tǒng)。在工業(yè)應用、視頻監(jiān)控等系統(tǒng)中，圖像信息主要是以模擬信號為主，但是模擬信號的固有局限性難以滿足更高的應用要求，數(shù)字化是必然的方向。2

高速數(shù)據(jù)采集系統(tǒng)分類如今，隨著數(shù)字相機和計算機技術的飛速發(fā)展，圖像采集技術主要就是采集數(shù)字相機的圖像數(shù)據(jù)，一般常見的有如下幾種系統(tǒng)：

PCI 圖像采集卡第一類是最常見的 PCI 圖像采集卡，圖像采集卡與主板間采用 PCI 接口連接，圖像數(shù)據(jù)流向是“相機—圖像采集卡—計算機”這樣的模式。圖像采集卡使用非常簡單，成本也不高，其作用只是將數(shù)據(jù)直接上傳到計算機，所有的后續(xù)存儲和處理都是在計算機上實現(xiàn)的。圖像采集卡采用 PCI 的理論帶寬峰值是 132MB/s，實際應用中一般因為與其他 PCI 設備產(chǎn)生沖突等原因很難能達到峰值帶寬。這種圖像采集系統(tǒng)還有一大缺點是必須連接電腦，在很多戶外環(huán)境下使用極不方便。而且其百兆出頭的采集速度在先進很多設備上難以滿足采集速度要求，所以一些此類圖像采集卡上都帶有數(shù)據(jù)壓縮功能，尤其是對于視頻采集上，不同檔次的采集卡具有不同檔次的壓縮性能。對數(shù)據(jù)的壓縮在不太注重質量的情況下可以不考慮，甚至壓縮之后還便于存儲，但另外一些有嚴格要求的情況就難以滿足使用需求了。

控制芯片第二類系統(tǒng)是在硬件采集過程中加入控制芯片進行一些相對簡單的圖像處理，如灰度均衡、彩色圖像二值化或圖像重構等。早期系統(tǒng)中，多使用單片機或者DSP 控制來實現(xiàn)此功能，但隨著數(shù)據(jù)量越來越大，這種方式已經(jīng)很難滿足要求?，F(xiàn)在高速度的 FPGA 以及部分專用數(shù)字處理芯片的出現(xiàn)以及流行為這種圖像采集和處理系統(tǒng)帶來了新的解決方案。目前在圖像方面已經(jīng)有了很多成熟的IP Core，如濾波器、顏色空間轉換、圖像編碼器等[12]，利用 FPGA 來實現(xiàn)數(shù)字信號處理系統(tǒng)的計算已經(jīng)比較普遍了。FPGA 具有高速、開發(fā)時間短、靈活性高、可并行處理等優(yōu)點。相比于純軟件的串行工作方式，F(xiàn)PGA 硬件的并行和流水線工作方式在速度上占有很大優(yōu)勢，而且同時可以利用 FPGA 進行外部邏輯控制，在一定程度上也提高了系統(tǒng)的集成度。近年來就有非常多對基于 FPGA 集合圖像處理的圖像采集系統(tǒng)的研究。

板載存儲第三類是實現(xiàn)圖像采集并把采集到的圖像數(shù)據(jù)直接進行板載存儲，不必須連接計算機的方案。這種方案相較于直接連接計算機，將數(shù)據(jù)全部傳輸?shù)接嬎銠C上的方法有一個比較明顯的優(yōu)勢，就是使用方便。若要直接上傳至計算機，那么不論采集條件和環(huán)境如何，都必須要攜帶一臺計算機才能進行相關工作，這在戶外有些情況下是非常麻煩，甚至不可能達到的。如果是板載存儲，那么采集設備體積就很小，可以任意攜帶，環(huán)境適應性大大加強。這種方式在早期，主要是限制于存儲器的速度和容量。早些時候小體積的存儲器存儲空間有限，當要求存放大容量的圖像信息時就要對圖像進行壓縮，這樣難免會丟失部分圖像信息。一些較好的方法可以在某些程度上帶來一些存儲上的優(yōu)化措施，例如存儲少量圖像時進行高分辨率的原圖存儲，而需要繼續(xù)存儲更多圖像信息時，就把先前存入的高質量圖像壓縮來空出存儲空間以存儲后來的圖像。這種彈性儲存法能在有限的空間內存儲盡量高質量的圖像，但存儲過程中需要大量的運算，必然導致存儲速度降低。之前對于這方面的研究還比較少，現(xiàn)在由于半導體工藝的發(fā)展，高速度大容量小體積存儲器的出現(xiàn)，鑒于板載存儲廣泛的適用性，對這種系統(tǒng)的研究具有很高的實用意義。2

高速數(shù)據(jù)采集系統(tǒng)設計利用近年來提出的一些高速度、高性能的接口，采用現(xiàn)在應用很廣的 Nand Flash大容量存儲芯片提出一種板載存儲的高速圖像采集系統(tǒng)。

利用高速接口和存儲器，設計出一種高速圖像采集系統(tǒng)方案。整個高速圖像采集系統(tǒng)構成如圖所示，包括數(shù)據(jù)輸入采集模塊、顯示模塊、存儲模塊、數(shù)據(jù)輸出模塊和核心控制芯片 FPGA。

FPGA 是系統(tǒng)的控制核心，所有模塊都由 FPGA 聯(lián)系起來，圖像數(shù)據(jù)每一步的流向都是由 FPGA 來控制的。

數(shù)據(jù)輸入采集模塊的作用是接收數(shù)字相機傳輸來的圖像視頻信號并且傳到FPGA 上以供后續(xù)操作。采集接口只有一種，就是當下非常流行的高速相機接口Camera Link。Camera Link 接口接收相機傳輸來的 LVDS 信號轉化為系統(tǒng)內部使用的 TTL 信號送給 FPGA。

顯示模塊是一種可選擇的輔助作用，用于在采集過程中觀察所采集到的圖像或者采集后重放存儲芯片內儲存的圖像信息。顯示模塊的接口是 DVI 接口，使用時連接 DVI 顯示器方可工作。

存儲模塊是此高速圖像采集系統(tǒng)的核心，F(xiàn)PGA 接收到采集的圖像數(shù)據(jù)，經(jīng)過高速緩存，最終儲存在系統(tǒng)內。使用DDR2 SDRAM 來進行數(shù)據(jù)緩存，最終存儲在 NAND Flash 存儲器內。 所存數(shù)據(jù)最終是要上傳到計算機來進行處理或者存儲的，數(shù)據(jù)輸出模塊就是這個作用。

與計算機連接使用的是 USB3.0 接口，USB 接口是計算機上最常見的接口，新版本的 USB3.0 也在各方面性能有了很大的提高。

FPGA本 系 統(tǒng) 使 用 的 FPGA 是 Xilinx 公 司 生 產(chǎn) 的 Spartan-6 系 列 芯 片XC6SLX25-3FG484C。Spartan 系列是 Xilinx 公司面向普通工業(yè)、商業(yè)的領域的低成本系列芯片。新一代 Spartan-6 系列不僅擁有業(yè)界領先的系統(tǒng)集成能力，同時還能實現(xiàn)適用于大批量應用的最低總成本。與上一代 Spartan 系列相比，該系列芯片功耗僅為其 50%，且速度更快，連接功能更加豐富全面。

電源模塊電源是系統(tǒng)設計中非常重要的一部分，如果電源不穩(wěn)定，就會對電路的正常工作造成影響，不但電路運行會出現(xiàn)問題，而且會影響器件的使用壽命。在電源設計上，為了保證每個器件都能正確獲得其所需電壓，就要考慮電源傳輸過程中的阻抗，也要顧及盡量消除電源噪聲等影響。

采集模塊采集模塊就是 Camera Link 接收部分，使用的是 National Semiconductor 公司的 LVDS 接收芯片 DS90CR288A，此芯片接收四對 LVDS 信號并轉化為 28 位LVTTL/LVCMOS 數(shù)據(jù)，最高支持 85MHz 像素時鐘，也就是 2.38Gbit/s 的數(shù)據(jù)傳輸速度。芯片典型應用如圖所示，左半部分是相機內的 TTL/CMOS 信號轉化為 LVDS 信號輸出，右半部分是本系統(tǒng)接收連接線傳來的四對相機 LVDS 信號和一對時鐘信號經(jīng)過 Camera Link 接口后，由 DS90CR288A 芯片轉化回 28 路LVTTL/LVCMOS 信號。

顯示模塊顯示模塊的視頻接口使用的是 DVI 接口，在系統(tǒng)設計中既包含 DVI 視頻輸入接口，也包含了 DVI 視頻輸出接口。其中輸入接口的目的是在系統(tǒng)調試過程中，利用 DVI 輸入的圖像數(shù)據(jù)進行后面存儲功能的調試，就不詳細介紹了。而 DVI輸出接口的作用則是對采集模塊 Camera Link 采集來的圖像數(shù)據(jù)進行顯示，可以采集來實時顯示，也可以用來顯示之前存儲在系統(tǒng)中的圖像信息以作驗證之用。

存儲模塊存儲模塊是 FPGA 接收到 Camera Link 接口采集來的圖像數(shù)據(jù)先經(jīng)過 DDR2 SDRAM 緩存，然后存入 NAND Flash 中。所以該模塊主要包含 DDR2 SDRAM 和NAND Flash 兩個部分。

數(shù)據(jù)輸出模塊圖像采集系統(tǒng)的作用是把采集到的數(shù)據(jù)上傳到計算機上，本設計雖然著重于使用方便的圖像采集板載存儲，但最后肯定要把圖像上傳到計算機進行存儲、處理、分析等工作。USB 接口幾乎是現(xiàn)在最流行的計算機接口，USB3.0 的提出也解決了之前版本速度偏低的問題，可以將圖像數(shù)據(jù)快速傳輸?shù)接嬎銠C上。

核心問題就所要實現(xiàn)的功能來看，高速圖像采集系統(tǒng)所做的就是保證圖像數(shù)據(jù)流可靠地按照預先安排好的路徑傳輸、顯示、存儲。其各模塊之間的速度匹配關系的優(yōu)劣在很大程度上決定了整個系統(tǒng)的性能好壞，要盡量做到不過度浪費某一模塊的數(shù)據(jù)傳輸能力，同時也要保證不能造成前面模塊傳輸來的數(shù)據(jù)量超過后面所能處理、存儲的能力導致數(shù)據(jù)錯誤或者丟幀現(xiàn)象。這在設計上必須要考慮到每一模塊的速度以及模塊之間的速度匹配問題，這也是系統(tǒng)能夠高效、穩(wěn)定工作的一個關鍵。2