引言

 

隨著汽車智能化程度的提升，汽車的智能化功能、娛樂屬性等成為主機廠打造差異化的重點方向。車載攝像頭作為汽車的“眼睛”，是打造智能駕駛和智能座艙必備的視覺感知傳感器。

 

一、車載攝像頭的應(yīng)用趨勢

 

從輔助駕駛到無人駕駛，車載攝像頭的應(yīng)用需求從成像鏡頭向感知鏡頭轉(zhuǎn)變，使用場景由單一場景向多方位場景拓展，應(yīng)用數(shù)量由單攝向多攝邁進?？傊?，未來車載攝像頭的使用數(shù)量會持續(xù)增長，攝像頭的分辨率越來越高。

 

1. 單車搭載攝像頭數(shù)量逐漸增加

 

在低速泊車應(yīng)用上，從最早只有一個倒車后視攝像頭，后來發(fā)展到4~5個環(huán)視攝像頭；行車輔助應(yīng)用上，從最開始1個前視單目攝像頭，發(fā)展到后來的前視三目、四目以及側(cè)視和后視共計7~8行車輔助攝像頭，甚至有些車內(nèi)還配置有駕駛員監(jiān)控攝像頭和乘客監(jiān)控攝像頭等。

 

受功能需求和法規(guī)政策驅(qū)動，以及攝像頭硬件成本的降低的影響，一個L2+級別的智能化汽車配備11個以上的攝像頭將會是很普遍的現(xiàn)象。

1）功能需求驅(qū)動

 

汽車智能化對車輛自身安全、行人安全以及駕駛員監(jiān)控等主動安全提出了更高的要求；攝像頭作為最為最重要的車載傳感器，可以發(fā)揮如下作用：

車外環(huán)境監(jiān)控：a. 輔助或代替駕駛員感知外部環(huán)境，比如車道偏離預(yù)警、交通標志識別、行人/騎自行車人-AEB等。b. 代替內(nèi)/外后視鏡提供圖像給駕駛員，隨著法規(guī)的推進，攝像頭將會取代傳統(tǒng)的內(nèi)/外后視鏡去“監(jiān)控”后方和側(cè)后方的環(huán)境狀況。

 

車內(nèi)環(huán)境監(jiān)控：駕駛員監(jiān)控系統(tǒng)DMS延伸到乘員監(jiān)控系統(tǒng)OMS，其監(jiān)測范圍從駕駛員擴大到整個座艙內(nèi)的物體檢測，比如車內(nèi)兒童遺忘監(jiān)測、座艙異常情況監(jiān)測等。

2）法規(guī)政策驅(qū)動

 

汽車智能化的升級推動汽車安全技術(shù)標準也相應(yīng)地提升，歐盟的E-NCAP、美國的IIHS以及中國的C-NCAP評價測試中不斷擴充主動安全技術(shù)的性能測試，包括以前視攝像頭為主傳感器所實現(xiàn)的AEB、FCW和LDW等駕駛輔助功能和基于艙內(nèi)攝像頭實現(xiàn)的駕駛員監(jiān)測和乘員監(jiān)測等功能。

AEB強制標配法規(guī)

 

主要國家和地區(qū)政府已經(jīng)擬定時間表全面標配AEB，并且政策的覆蓋范圍從商用車領(lǐng)域逐步擴展到乘用車領(lǐng)域。

                                                                                       AEB相關(guān)法規(guī)政策

電子外后視鏡法規(guī)

 

歐盟和日本先后于2016、2017年放開對電子外后視鏡的法規(guī)限制，汽車電子外后視鏡率先在這兩個地區(qū)獲得發(fā)展。

 

我國尚不允許電子外后視鏡代替?zhèn)鹘y(tǒng)后視鏡，但2020年6月，工信部發(fā)布《機動車輛間接視野裝置性能和安裝要求》征詢意見搞，為國內(nèi)電子外后視鏡市場的應(yīng)用吃下了一顆“定心丸”。

 

DMS駕駛員監(jiān)控相關(guān)法規(guī)

 

歐盟E-NCAP發(fā)布的最新2025路線圖，要求從2022年7月開始，所有新車都必須配備DMS。在中國，全國性的商用車DMS系統(tǒng)強制安裝法規(guī)已經(jīng)在調(diào)研立項之中，最快有望在今年底出臺。

 

3）攝像頭硬件簡化，成本降低

 

系統(tǒng)控制集中化架構(gòu)驅(qū)動硬件簡化，攝像頭也逐漸被重新定義為“只采集、不計算”的輕量化傳感器設(shè)備。傳統(tǒng)攝像頭方案需實現(xiàn)圖像采集&視覺處理兩大功能，但在整車E/E 架構(gòu)進化趨勢下，ECU 由分布式演變?yōu)榧惺?，算力向中央集中的同時，包括攝像頭在內(nèi)的傳感器硬件得以簡化，視覺計算處理模塊也會向“中央大腦”轉(zhuǎn)移，攝像頭將只用于“圖像采集”。

 

攝像頭的硬件構(gòu)成變得更加簡單，CIS、鏡頭成為最核心部件，攝像頭的硬件成本大幅降低。有業(yè)內(nèi)人士提出：“120萬像素的攝像頭平均在150元，500萬像素攝像頭價格大概在300元左右，800萬像素攝像頭價格大概在500元左右。”

 

2. 攝像頭分辨率越來越高

 

隨著自動駕駛級別的提升，對攝像頭的要求也越來越高；車載攝像頭最開始的應(yīng)用是倒車輔助和行車記錄，主要是把攝像頭拍攝的圖像和視頻供人察看，幾十萬像素的分辨率也基本可以滿足要求。隨著功能和應(yīng)用場景的擴展，攝像頭應(yīng)用重點轉(zhuǎn)移到了在駕駛過程中輔助系統(tǒng)進行周圍環(huán)境感知。

 

系統(tǒng)對攝像頭的分辨率要求越來越高，從最開始30萬像素升級到100多萬像素，又發(fā)展到現(xiàn)在的200萬像素，并且隨著技術(shù)的進一步提升以及市場需求的推動，未來的高級別自動駕駛車輛中都在規(guī)劃應(yīng)用800萬級別的高清像素攝像頭，用于對更遠距離的目標進行識別和監(jiān)測。

                                                                          800w像素攝像頭用在Aquila蔚來超感系統(tǒng)

車企是否應(yīng)用800萬像素攝像頭，成本肯定是一方面，另一方面還要看車企是否具備相配套的技術(shù)能力。某車企自動駕駛負責人曾說過：“堆砌硬件會給人一種錯誤的認知，認為傳感器越多自動駕駛的能力就越高，但如果測試和算法跟不上，硬件堆砌再多也沒用。”

如果每個攝像頭都達到800萬像素，計算平臺處理數(shù)據(jù)的難度也在增大，整體系統(tǒng)成本必然也會增加。因此不能單看攝像頭的成本，還需要從整個系統(tǒng)的角度去看。同時，車載攝像頭并不是像手機那樣拼像素的能力，還需具備與高分辨率攝像頭配套的算法能力。

 

如果沒有與高分辨率攝像頭的相匹配的算法和測試能力，那無疑于“小馬拉大車”。雖然采用了一個較高的配置，但是性能提升卻有限。這種情況下，高分辨率攝像頭的性能依然是無法充分發(fā)揮出來的。那樣的話，800萬像素攝像頭便成了一個“花瓶”，只是吸引用戶的噱頭而已。

 

雖然整體上來講，算法和測試能力也許還未能跟得上攝像頭技術(shù)發(fā)展的步伐。但是高分辨率攝像頭這個未來的應(yīng)用趨勢是毋庸置疑的，它是技術(shù)和市場“雙輪驅(qū)動”的必然結(jié)果。

 

二、800萬像素攝像頭應(yīng)用

 

在今年的上海車展上一些OEM宣布了800萬像素攝像頭的搭載計劃，同時一些供應(yīng)商也在其自動駕駛感知解決方案中采用了800萬像素攝像頭作為前視應(yīng)用場景中的主要傳感器。

1. 車企應(yīng)用

                                                                                          8MP攝像頭車企應(yīng)用匯總

1）2021款理想ONE

全球首個量產(chǎn)應(yīng)用800萬像素攝像頭的車型，前置攝像頭由原來的單目130萬像素升級到800萬像素，水平視場角由原來的52°擴展到120°，對車輛和行人的最遠有效探測距離由150m左右提升到200m以上。

 

在控制決策芯片上，2021 款理想ONE輔助駕駛芯片已經(jīng)從EyeQ4換成了地平線征程3，算力由原來的2.5TOPS提升至10TOPS。

                                                                                                兩款車型基礎(chǔ)信息對比

2）蔚來ET7

蔚來ET7計劃于2022年第1季度上市，該車搭載了11個8MP攝像頭，其中包括7個行車輔助攝像頭（4個前向 + 3個后向）和4個環(huán)視攝像頭。其中行車輔助攝像頭的供應(yīng)商為聯(lián)創(chuàng)電子，環(huán)視攝像的供應(yīng)商為德賽西威。

                                                                                                    蔚來ET7-攝像頭布置示意圖     

  

在控制芯片上，蔚來ET7采用自研的超算平臺-NIO Adam，它包括2顆主控芯片、1顆冗余備份芯片、1顆群體智能與個性訓練專用芯片共計4顆英偉達Orin芯片構(gòu)成，算力共計1016TOPS。

3）極氪001

極氪001搭載的鷹眼視覺融合感知系統(tǒng)（Falcon Eye Vidar）配置有15顆高清攝像頭，其中7顆8MP長距離高清攝像頭、4 個短距環(huán)視高清攝像頭、2 個車內(nèi)監(jiān)測攝像頭、1 個車外監(jiān)測攝像頭和1 個后置流媒體攝像頭。在控制芯片上采用2顆Mobileye EyeQ5芯片，芯片算力接近50TOPS。

                                                                                      極氪001- 8MP攝像頭布置示意圖     

        

2. 自動駕駛系統(tǒng)方案提供商應(yīng)用

1）大疆

 

2021年上海車展，大疆車載的D130和D130+自動駕駛解決方案均采用了800萬像素的前視雙目攝像頭。

a. 感知解決方案：激光雷達（前置）*1 + 前置毫米波雷達*1 + 角雷達*4 + 前視（8MP雙目 - 兩個攝像頭參數(shù)規(guī)格完全相同）+ 環(huán)視*4 + 后視*1（2MP）+ DMS監(jiān)控攝像頭*1

b. 智能駕駛中央域控制器（算力可達100TOPS）

                                                                     D130/D130+ 自動駕駛系統(tǒng)解決方案           

   

2）地平線

 2021年上海車展，地平線發(fā)布了自動駕駛解決方案Matrix Mono和Matrix Pilot。

 

—— Matrix Mono采用800萬像素單目攝像頭，控制器采用地平線征程3，實現(xiàn)L2級自動駕駛功能。

 

—— Matrix Pilot 采用6顆攝像頭：1顆前置800萬像素單目攝像頭，120°水平視場角；另外5顆攝像頭為200萬像素，100°水平視場角，分別位于車身左右兩側(cè)及后側(cè)，用于探測車輛斜前方，斜后方及后方的交通狀況?？刂破鞑捎玫仄骄€征程3，實現(xiàn)L2+級自動駕駛功能。

                                                                                  Horizon Matrix Pilot 攝像頭布局參考    

三、800萬像素攝像頭與算力、算法以及數(shù)據(jù)的關(guān)系

隨著800萬像素攝像頭在2021款理想One上首次量產(chǎn)應(yīng)用，800萬像素攝像頭的議論熱潮再次興起。有一個話題大家普遍很關(guān)注，那就是800萬像素攝像頭與算力、算法以及數(shù)據(jù)之間的關(guān)系，例如：如果用800萬像素攝像頭代替之前低分辨率攝像頭，需要多大算力的芯片的支持？原來的算法是否需要重寫？采用低像素攝像頭積累的數(shù)據(jù)，現(xiàn)在是否能還能復(fù)用？

 

1. 800萬像素攝像頭與算力

 

攝像頭算力需求跟哪些因素有關(guān)？對于車輛配置1個或多個800萬像素攝像頭，大致需要多大的算力支持，這個是否有計算公式可以評估？攝像頭對計算平臺算力的需求，不僅跟攝像頭自身的性能參數(shù)有關(guān)，比如攝像頭的位數(shù)、分辨率、幀率等，同時也與攝像頭的應(yīng)用場景以及采用的算法模型有很大關(guān)系。如果算法固定，識別同樣的東西，肯定是攝像頭的分辨率越高，需要的算力越大；但是，從總體來講，攝像頭的應(yīng)用場景和所采用的算法模型和算法策略對算力的影響是更大的。

 

針對此問題，筆者專門請教過德賽西威副總裁李樂樂，他的看法是：“攝像頭分辨率越高，需要的數(shù)據(jù)存儲量肯定越大，計算能力需求也會更大。但是多大的分辨率對應(yīng)多大的算力，是沒有直接對應(yīng)關(guān)系的，也是不太好直接用公式去衡量。

“ 比如現(xiàn)在新勢力規(guī)劃的車型，攝像頭的配置基本差不多，但是計算平臺的算力差別卻很大，這是為什么呢？首先，因為他們的算法模型可能本身就不太一樣；其次，系統(tǒng)對算力的需求是持續(xù)提升的，硬件的算力資源需要提前預(yù)留好，他們對算力資源的預(yù)留程度層面的考慮也是不同的。

 

“ 同時，跟具體的應(yīng)用場景也有很大關(guān)系，以前視為例，基于同樣分辨率的攝像頭，如果其應(yīng)用場景僅限于識別車輛、行人、車道線這三類目標，其對算力的需求相對來說是一個輕量級的。

“ 若其應(yīng)用場景需要系統(tǒng)識別的目標更多、探測的距離更遠、識別的精度更高，不但要識別上述三類目標，還要識別紅綠燈、限速牌、路標、路桿、多車道車道線等。障礙物的區(qū)分不僅包括車輛、行人，還包含了騎自行車人和騎三輪車人，甚至還增加非標準目標進行檢測，這樣的應(yīng)用場景對算力的需求肯定是更大量級的。”

 

2. 800萬像素攝像頭與算法

 

如果用800萬像素攝像頭代替之前低分辨率攝像頭，原來的算法是否需要重寫？大部分專業(yè)人士給出的答案是：不需要完全重寫，部分可用，部分需要重寫。至于需要重寫的部分占多大比例，是沒有一個明確答案的，因為不同OEM有著不同的開發(fā)現(xiàn)狀和開發(fā)計劃。

 

其中一位專業(yè)人士告訴筆者：“使用高分辨率攝像頭后，其實在算法方面并不需要完全重寫，但深度學習的模型需要重新訓練，原有的數(shù)據(jù)積累可以作為預(yù)訓練使用，不過仍需采集新的高像素數(shù)據(jù)一起使用。”

 

針對此問題，德賽西威的李樂樂這樣表示的：“算法模型是不是一定要調(diào)整，一方面跟攝像頭有關(guān)，另外也跟控制器的SoC也有很大的關(guān)系。

 

“對于支持100萬像素攝像頭的控制器，其大概率是比較低等級的，計算能力是偏弱的，應(yīng)用場景也比較簡單，比如車道線檢測，或者是用于簡單的目標識別加雷達融合做ACC和AEB。這些應(yīng)用場景的大部分算法可能還是基于計算機視覺的一些模式識別算法，也許都還沒有用到神經(jīng)網(wǎng)絡(luò)。

“對于簡單的應(yīng)用場景和傳統(tǒng)的算法，通過ARM處理器就可以完成，甚至都不需要通過加速器來做，即使是AEB，隨著NCAP標準的升級，攝像頭分辨率和角度需要更大才能進一步支持，處理器也就需要更強的性能，算法對應(yīng)也是需要進一步升級，算法的策略和工程化的積累雖然可以繼承，但也不能完全照搬，也需要同步升級。

 

“而現(xiàn)在800萬像素攝像頭所采用域控制器的SoC算力肯定會更強，多采用基于AI的算法，并且算法模型的復(fù)雜度也會更高。對于這種情況，原來的算法大多是不能復(fù)用的，能復(fù)用的主要是策略方面的算法?！?/span>

 

也就是說，若是前后兩代系統(tǒng)采用的控制器芯片SoC類型相同，并且原來采用的就是當前流行的神經(jīng)網(wǎng)絡(luò)模型和深度學習算法，那么攝像頭升級到800萬后，原來的算法模型大多可以復(fù)用，但往往算法的進步也非?？?，一代產(chǎn)品的算法有一代產(chǎn)品算法的局限性，通常也要跟著芯片的升級而升級。

 

比如小鵬的Xpilot3.5系統(tǒng)，前視采用三個200萬像素攝像頭，主控芯片采用英偉達的Xavier來驅(qū)動的。下一代控制器SoC要升級到英偉達的Orin X芯片，其提供的算力更高，攝像頭也要升級到800萬像素，因為兩代SoC的類型相同，上一代的算法模型這一代基本是可以復(fù)用，但也一定會升級和更加復(fù)雜以提高其綜合性能。

 

3. 800萬像素攝像頭與數(shù)據(jù)

 

自動駕駛的算法模塊，尤其是感知和預(yù)測模塊，基本都是數(shù)據(jù)驅(qū)動，可見數(shù)據(jù)對算法迭代的重要性。那么之前通過低分辨率采集的數(shù)據(jù)，攝像頭升級為800萬像素，在算法模型訓練的時候是否可用呢？

 

答案是可以的。800萬像素攝像頭可以通過之前的數(shù)據(jù)去訓練算法模型來繼承原來的一些能力，比如檢測的準確率和誤檢率。但是800萬像素攝像頭探測的距離更遠了，需重新采集之前所沒有的數(shù)據(jù)，去應(yīng)對新的場景，去拓寬自己的性能邊界。

 

以特斯拉為例，即便這些年通過影子模式已經(jīng)積累了大量的場景數(shù)據(jù)，若是換成800萬像素攝像頭，通過之前的數(shù)據(jù)能夠繼承200萬像素攝像頭的一些基礎(chǔ)性能，但仍會有大量場景數(shù)據(jù)依然還是需要再重新采集的，用于不斷地去迭代算法模型，進而無限地逼近800萬像素攝像頭的最佳性能效果。

 

四、關(guān)于800萬像素攝像頭的其它幾點思考

 

1. 800萬像素攝像頭未來的主要應(yīng)用場景有哪些？

 

800萬像素車載攝像頭未來應(yīng)用場景包括：周視（前視、側(cè)視、后視）、環(huán)視、電子后視鏡攝像頭以及艙內(nèi)攝像頭等；其中前視以及艙內(nèi)攝像頭是在不久的將來最有可能規(guī)模化推廣應(yīng)用的主要場景。

 

對于前視場景，它是對高分辨率攝像頭最迫切的一個應(yīng)用場景，因為前視需要解決的場景最多，目標識別任務(wù)最復(fù)雜。其應(yīng)用場景既需要有較高的圖像分辨率能夠識別更遠距離的小目標物體，也需要有一定范圍的視場角以便于及時對切入到本車道的目標做出反應(yīng)。

 

對于側(cè)視和后視場景，它們的探測距離沒有前視探測要求的那么遠，攝像頭的目標識別任務(wù)相對簡單。主要探測目標就是側(cè)方車道和本車道的移動目標，不需要識別紅綠燈、路標等任務(wù)。目前200~500萬像素攝像頭完全可滿足側(cè)/后視的應(yīng)用需求；綜合考慮成本和性能，短期內(nèi)來看，側(cè)/后視對800萬像素攝像頭的需求反而并沒有那么迫切。

 

對于艙內(nèi)視覺應(yīng)用場景，一些傳統(tǒng)OEM為了提升其豪華和科技感，其豪華品牌會在艙內(nèi)配置高分辨率彩色的攝像頭（800萬像素攝像頭），用于滿足艙內(nèi)的娛樂和辦公需求，比如自拍，開視頻電話會議等。

 

對于電子后視鏡應(yīng)用場景，目前主流還是200萬像素的，但是未來是需要800萬像素攝像頭的。電子后視鏡對攝像頭的幀率是有需求的，至少需要達到90幀。從長期來看，電子后視鏡和側(cè)后視的攝像頭是有共用趨勢的。

 

對于環(huán)視應(yīng)用場景，攝像頭主要是提供圖像給人察看，還可用于感知輔助，比如當前車道線的檢測，輔助系統(tǒng)完成對車道線的識別和感知。當前應(yīng)用的魚眼攝像頭分辨率主要分布在100萬像素-200萬像素之間，其中100萬像素左右的魚眼攝像頭已經(jīng)規(guī)?；瘧?yīng)用，200萬像素的環(huán)視才剛剛逐漸開始量產(chǎn)應(yīng)用。

 

2. 800萬像素攝像頭相比100~200萬像素攝像頭，它具備哪些性能優(yōu)勢？攝像頭分辨率上的提升是否會對其他性能參數(shù)帶來影響？

 

能夠具備在更遠探測距離的同時，還可以具備較大的視場角。以前視攝像頭為例，100~200萬像素攝像頭有效探測距離在100~150m的時候，視場角卻只有50°左右，但是800萬像素攝像頭，卻可以在實現(xiàn)200~250m探測距離的同時，還可擁有120°左右的視場角。

 

同時，高分辨率攝像頭還具備更高的動態(tài)范圍（HDR）和 更優(yōu)的LED頻閃消除功能（LFM）。

 

同等條件下，攝像頭分辨率越高，其單像素尺寸就會越小，這樣的話，在低照度下的光電轉(zhuǎn)換效率就會低一些，從而影響在光照不足時攝像頭的表現(xiàn)。高分辨率攝像頭好處在于能夠看得更遠，更清晰，但是其夜間感知效果相對會差一些。因此系統(tǒng)在選擇攝像頭的時候不能一味地去追求高像素，需要做一個平衡。

 

3. 在800萬像素攝像頭的應(yīng)用上，國外傳統(tǒng)OEM相比造車新勢力處于一個相對比較保守的狀態(tài)，為什么會出現(xiàn)這樣一種現(xiàn)象？

 

首先，開發(fā)流程和方法理念是不太一樣的；國內(nèi)造車新勢力，對于新產(chǎn)品和新技術(shù)的應(yīng)用相對來說是比較激進一些的，采用快速迭代的方法，在技術(shù)和產(chǎn)品還沒有完全成熟之前就已經(jīng)開始應(yīng)用。然而對于國外的傳統(tǒng)主機廠，他們對開發(fā)流程的要求相對來說是比較高的，導(dǎo)致開發(fā)周期就比較長。

 

其次，國外的傳統(tǒng)OEM目前主要還是以與Mobileye合作為主。在算法上，大部分OEM還是依賴Mobileye的算法。如果換成一家和算法解耦的芯片公司，比如像英偉達的大算力平臺，或者其他更高算力的計算平臺，還需要相應(yīng)算法能力的支持， 但是目前歐洲缺少這樣的算法公司去做這些事情。如果OEM要采用高分辨率的做多攝像頭方案，若沒有高算力的計算平臺和與之相匹配的算法能力，單純的去使用高分辨率攝像頭也是沒有意義的。