摘要:本文介紹了圖像采樣的基本原理、指出了采樣定理存在采樣頻率的不確定性問題以及存在引發(fā)數(shù)字圖像畸變的問題。
本文論述了1:1圖像采樣理論,并對該理論進行了驗證。
本文介紹了1:1圖像采樣理論的應(yīng)用,提出了一些相關(guān)技術(shù)發(fā)展的思考。
1. 前言
采樣定理在信息數(shù)字化時代的地位毋容置疑,然而隨著信息技術(shù)的發(fā)展,該定理也經(jīng)歷著發(fā)展的考驗。圖像處理的可視性可以幫助我們主觀的查驗算法的正確性,也可以幫助我們主觀核驗采樣定理的科學性。圖像采樣產(chǎn)生的圖像失真促使我們?nèi)徱暡蓸佣ɡ?,促使我們發(fā)現(xiàn)了采樣間隔△x:△y=1:1的約束條件,進而形成了1:1圖像采樣理論,并驗證了1:1圖像采樣理論的正確性。
2.采樣定理存在采樣頻率的不確定性問題
2.1 圖像采樣的基本原理
模擬圖像經(jīng)過采樣轉(zhuǎn)換為數(shù)字圖像。采樣函數(shù)為S(x,y)。
1式中,△x、△y分別是x、y兩方向的采樣間隔(如圖1所示)。
圖1 圖像采樣陣列示意圖
經(jīng)采樣形成的圖像數(shù)字為Fs(x,y)。
2式中,ƒ(x,y)為模擬圖像。
模擬圖像轉(zhuǎn)換為數(shù)字圖像,需遵守采樣定理。
采樣定理,稱為奈奎斯特采樣定理,也稱為香農(nóng)采樣定理。
采樣定理:
科普中國·科學百科對采樣定理詞條進行了較全面的解讀。截止到2023-3-21日,對該詞條的瀏覽次數(shù)高達1088720次,說明大眾對采樣定理的重視。采樣定理廣泛應(yīng)用于信息處理、數(shù)字通信等領(lǐng)域,其科技意義極其重大。
2.2 采樣定理在圖像數(shù)字化應(yīng)用中存在的問題
實例:原清華大學電視教研組于1985年研制成功“TS-84微機圖像圖形處理系統(tǒng)”,在用該系統(tǒng)做圖像處理軟件的過程中,出現(xiàn)了按照采樣定理選擇的采樣頻率所形成的數(shù)字圖像存在如圖3所示的失真。
圖3 圖像采樣失真的圖例
圖3中,右下圖與右上圖、左下圖與左上圖存在明顯的幾何失真。
PAL制標準的黑白圖像帶寬分別為5/5.6/6Mhz,由于10MHz晶體振蕩器市場上有現(xiàn)貨,我們選擇了5Mhz的帶寬,也就是將視頻圖像最高頻率限定在5MHz(在TS-84微機圖像圖形處理系統(tǒng)中,我們采用5MHz的低通濾波器來限制最高頻率),進而選用10MHz頻率作為采樣頻率,來形成數(shù)字圖像。遺憾的是由此形成的數(shù)字圖像卻產(chǎn)生了嚴重的幾何失真。
3. 1:1圖像采樣
3.1 1:1圖像采樣理論
式1、式2、式3和圖1表述了圖像采樣的基本原理和采樣定理。面對符合采樣定理所形成的數(shù)字圖像產(chǎn)生幾何失真的事實,我們追根溯源,發(fā)現(xiàn)了圖1所示的采樣間隔△x、△y之間的關(guān)系沒有被約束。于是,我們得到了△x=△y的啟示,并將△x:△y=1:1的約束,融入到采樣理論中,由此形成了1:1圖像采樣理論。
定義:1:1圖像采樣 1:1 Image Sampling
采用均勻采樣對模擬圖像進行采樣形成數(shù)字圖像,須遵守奈奎斯特采樣定理,且在水平、垂直方向上的采樣間隔相等,即要求在相同的單位長度上,水平方向上的像素數(shù)等于垂直方向上的像素數(shù)。
1:1圖像采樣的數(shù)學表達式:
1:1圖像采樣,既能完整地保留原始圖像中的信息,同時還保證了所形成的數(shù)字圖像具有幾何不變性。也就是說,1:1圖像采樣理論,既是圖像信息保持、也是圖像信息處理的理論。
3.2 1:1圖像采樣理論的驗證
以下給出了我們確定1:1采樣頻率的推導過程。
我們采用PAL制模擬攝像機來輸入模擬圖像,并將視頻模擬圖像的最高頻率限定為5Mhz。表4給出了PAL制、NTSC電視的標準時序表。
表1 PAL-D與NTSC-M制式的時序規(guī)范表
圖4給出了PAL制電視屏幕的示意圖。圖5給出了PAL制行時序的波形。
PAL制每幀為625行, 50行為奇偶兩場的消隱寬度,圖像顯示的總行數(shù)為:
625行 - 50行 = 575行。
式(9)得到的1:1采樣頻率約14.687Mhz,我們在研發(fā)1:1圖像采樣的硬件時,考慮到設(shè)計同步時序還需要一個時鐘。為了避免同步時序時鐘和采樣時鐘產(chǎn)生雙時鐘頻率的串擾,我們將14.687Mhz采樣頻率更改為14.625MHz。14.625MHz 的936分頻正好是行頻,也接近14.687Mhz。我們還考慮了當時存儲體讀寫時序的要求,因此采用了14.625MHz的倍頻29.25Mhz。
由于世面上沒有29.25MHz晶體振蕩銷售,我們直接到位于北京酒仙橋的國營七0七廠定制,圖7給出了29.25MHz晶體振蕩器外型圖。
我們在1988年完成了1:1圖像采樣理論驗證。結(jié)果表明,將圖像采樣失真率從原來10Mhz采樣頻率的46%降為0.4%,1:1圖像采樣取得了顯著的效果。
3.3 圖像采樣誤差
表1表明,圖像采樣誤差,會直接產(chǎn)生圖像畸變。
在科普中國·科學百科對采樣定理詞條進行的解讀中,也提到:“一般實際應(yīng)用中保證采樣頻率為信號最高頻率的2.56-4倍”。這種選擇,大大的縮小了采樣頻率的數(shù)值范圍。即使這樣,用于圖像采樣也會出現(xiàn)不同的失真。
4. 1:1圖像采樣理論的應(yīng)用
完成了1:1圖像采樣理論的正確性驗證后,我們先后研制成功了TH-925圖像卡和TH-2004圖像卡。
① TH-925圖像卡
1992年研制成功1:1的TH-925圖像卡,采用14.625Mhz的晶體振蕩器作為PAL制模擬圖像的1:1采樣時鐘。該圖像卡在社會上獲得廣泛應(yīng)用。
圖7 TH-925圖像卡
圖8 14.625晶體振蕩器
② TH-2004圖像卡
2004年研制成功1:1的TH-2004圖像卡,近百塊用于2008北京奧運會,實現(xiàn)了規(guī)模應(yīng)用。
圖9 TH-2004圖像卡
5. 有關(guān)1:1圖像采樣的教材和著作
① 《微機圖像處理系統(tǒng)》上冊
作者:蘇光大。
該教材1998年8月由清華大學印刷廠印刷,作為清華大學本科生“圖像處理系統(tǒng)”課程的教材。P38頁詳細的說明了圖像的1:1采樣
② 《微機圖像處理系統(tǒng)》
作者:蘇光大。清華大學出版社2000年7月出版。作為清華大學本科生“圖像處理系統(tǒng)”課程的教材。P45頁詳細的說明了圖像的1:1采樣。
③ 《圖像并行處理技術(shù)》
作者:蘇光大。清華大學出版社2002年7月出版。作為清華大學研究生“圖像并行處理技術(shù)”課程的教材。P64頁詳細的說明了圖像的1:1采樣。
④ 《圖像處理系統(tǒng)》
作者:蘇光大。清華大學出版社2020年6月出版。作為清華大學本科生“圖像處理系統(tǒng)”課程的教材。P63頁詳細的說明了圖像的1:1采樣。
6.國家標準和公共安全標準定義的1:1圖像相關(guān)術(shù)語
① 公共安全行業(yè)標準《安防生物特征識別應(yīng)用術(shù)語》(標準編號:GA/T 893-
2010)
該標準由公安部于2010-12-02發(fā)布?!秷D像并行處理技術(shù)》專著被列為該標準的參考文獻。 該標準定義了“一比一圖像”。
3.1.48
一比一圖像 1:1 Image
通過攝像機、掃描儀、數(shù)碼相機等采集設(shè)備所形成的數(shù)字圖像,其像素的縱橫比是1:1的,即行列方向采樣間隔相等,也就是說,垂直方向上單位長度的像素數(shù)等于水平方向上相同單位長度的像素數(shù)。”
② 國家標準《公共安全生物特征識別術(shù)語》(標準編號為GB/T
41786-2022)
該標準由公安部提出,國家市場監(jiān)督管理總局、國家標準化管理委員會于2022年10月12日發(fā)布?!秷D像處理系統(tǒng)》專著被列為該標準的參考文獻。
該標準中定義了“二維1:1圖像”和“圖像畸變”。
“3.1.40
二維1:1圖像 2D 1:1 image
滿足奈奎斯特采樣定理的,且X、Y二個維度方向的像素數(shù)在單位長度上相等的二維圖像。”
“3.1.49
圖像畸變 image distortion
由于光學成像和圖像采樣等過程產(chǎn)生的在大小、比例、梯形、枕形、桶形、扭曲和旋轉(zhuǎn)等方面的圖像變形。”
“1:1圖像”,已成為標準詞條。產(chǎn)生圖像畸變的原因也不僅僅只有光學成像,還有圖像采樣方面的因素。這些創(chuàng)新性詞條,也將促進圖像處理技術(shù)的發(fā)展。
7. 結(jié)束語
本文介紹的1:1圖像采樣理論及其應(yīng)用,是否可以擴展到其他方面,如三維圖像的深度圖。即使是一維信息的數(shù)字化,是否存在更優(yōu)的采樣頻率。深度學習的人臉識別,在一些開放的測試集上取得了優(yōu)異的識別率,而在實際應(yīng)用場景中,則有一些表現(xiàn)欠佳的結(jié)果。巨大的人臉圖像訓練集來源各異,失真的人臉圖像對人臉識別率有無影響?諸多的疑問值得探索??茖W是在不斷發(fā)展的,正如采樣定理一樣。
參考文獻
(1) 蘇光大.《圖像處理系統(tǒng)》[M].北京:清華大學出版社.2020.
(2) GA/T 893-2010 安防生物特征識別應(yīng)用術(shù)語
(3) GB/T 41786-2022 公共安全 生物特征識別 術(shù)語
(4) 科普中國·科學百科詞條欄目.最新更新:2022-02-25
訪談
更多做行業(yè)賦能者 HID迎接數(shù)字化浪潮新機遇 破解新挑戰(zhàn)
今年3月份,全球可信身份解決方案提供商HID發(fā)布了最新的《安防行業(yè)現(xiàn)狀報告》(以下簡稱“報告”),該報告…
數(shù)字化浪潮下,安防廠商如何滿足行業(yè)客戶的定制化需求?
回顧近兩年,受疫情因素影響,包括安防在內(nèi)的諸多行業(yè)領(lǐng)域都遭受了來自市場 “不確定性”因素的沖擊,市場…
博思高鄧紹昌:乘產(chǎn)品創(chuàng)新及客戶服務(wù)之舟,在市場變革中逆風飛揚
11月24日,由慧聰物聯(lián)網(wǎng)、慧聰安防網(wǎng)、慧聰電子網(wǎng)主辦的2022(第十九屆)中國物聯(lián)網(wǎng)產(chǎn)業(yè)大會暨品牌盛會,在深…