一、當(dāng)前安防存儲(chǔ)的需求
在當(dāng)前安防應(yīng)用場(chǎng)景下，隨著智能化和大數(shù)據(jù)技術(shù)的發(fā)展，針對(duì)安防數(shù)據(jù)的存儲(chǔ)主要有海量視頻存儲(chǔ)需求、海量小文件存儲(chǔ)需求以及安防大數(shù)據(jù)的存儲(chǔ)和處理需求。
1、海量視頻流存儲(chǔ)需求
隨著安防行業(yè)高清化持續(xù)發(fā)展，監(jiān)控點(diǎn)位的持續(xù)增加，聯(lián)網(wǎng)規(guī)模的日益龐大，產(chǎn)生了海量的視頻流存儲(chǔ)需求，而視頻云存儲(chǔ)則是當(dāng)前滿足海量視頻存儲(chǔ)需求的主要產(chǎn)品。安防云存儲(chǔ)通過(guò)虛擬化技術(shù)全面整合磁盤陣列的存儲(chǔ)容量，可按需分配空間且能夠靈活調(diào)整空間大小。而前端攝像機(jī)則可通過(guò)視頻流協(xié)議或者存儲(chǔ)接口協(xié)議直寫云存儲(chǔ)，縮短了前端到存儲(chǔ)的距離，充分發(fā)揮了存儲(chǔ)產(chǎn)品的業(yè)務(wù)特性，避免大量流媒體服務(wù)器的使用，有效降低了投資成本。這些大量的并發(fā)實(shí)時(shí)視頻流通過(guò)云存儲(chǔ)設(shè)備集群實(shí)現(xiàn)負(fù)載均衡調(diào)度，以集群響應(yīng)的方式提供視頻數(shù)據(jù)的高并發(fā)存儲(chǔ)能力以及回放下載能力。在存儲(chǔ)底層則采用糾刪碼、副本或者各種RAID技術(shù)均衡數(shù)據(jù)存儲(chǔ)并提供可靠的數(shù)據(jù)保護(hù)，即使節(jié)點(diǎn)出現(xiàn)故障也不會(huì)造成數(shù)據(jù)丟失。此外，為了方便視頻的回放定位，一些云存儲(chǔ)還采用了專業(yè)的視頻數(shù)據(jù)索引技術(shù)，可根據(jù)視頻存儲(chǔ)的業(yè)務(wù)特定，按照存儲(chǔ)時(shí)間及點(diǎn)位信息提供高性能的視頻查詢檢索速率，達(dá)到秒級(jí)響應(yīng)。在視頻回放的同時(shí)還可支持通過(guò)時(shí)間滑塊拖拉定位、視頻快進(jìn)、慢放以及系統(tǒng)事件點(diǎn)定點(diǎn)回放等多種策略。
2、海量小文件的存儲(chǔ)需求
海量小文件的存儲(chǔ)需求主要來(lái)自當(dāng)前安防智能化的應(yīng)用。安防中的視頻圖像AI智能化應(yīng)用通過(guò)人、車、物等對(duì)象的深度學(xué)習(xí)智能分析算法，從視頻流或者視頻圖片中提取出對(duì)應(yīng)的目標(biāo)對(duì)象圖片以及相關(guān)的屬性信息，從而達(dá)到通過(guò)視頻智能識(shí)別、跟蹤視頻對(duì)象并分析對(duì)象特征屬性，實(shí)現(xiàn)事前及時(shí)預(yù)警、事中精確跟蹤以及事后快速分析的目的。
隨著當(dāng)前視頻圖像AI智能化應(yīng)用的不斷發(fā)展，分析的實(shí)時(shí)視頻流數(shù)量越來(lái)越大，提取的對(duì)象信息越來(lái)越多，通過(guò)解析提取出來(lái)的對(duì)象圖片和數(shù)據(jù)相當(dāng)龐大，這些數(shù)據(jù)都需要進(jìn)行實(shí)時(shí)存儲(chǔ)和后續(xù)的大量讀取和分析。
一方面，智能化的前端攝像機(jī)設(shè)備越來(lái)越多，如車輛卡口攝像機(jī)、人像卡口攝像機(jī)、智能視頻結(jié)構(gòu)化攝像機(jī)等，每天產(chǎn)生大量的目標(biāo)抓拍圖片，并匯聚到中心。以一臺(tái)標(biāo)準(zhǔn)車輛卡口攝像機(jī)為例，只針對(duì)單車道的場(chǎng)景，一般正常路況一天1000臺(tái)車輛，如果是交通繁忙車道可能會(huì)到5000張以上。而針對(duì)人像的采集，正常情況下，平均一個(gè)人像卡口攝像機(jī)一天采集3000張左右的人像，繁忙地段一天可能采集10000～15000張。而針對(duì)普通監(jiān)控場(chǎng)景的結(jié)構(gòu)化攝像機(jī)，同時(shí)采集車輛和人像的目標(biāo)數(shù)量更多，一臺(tái)攝像機(jī)每天可達(dá)到20000張左右。按照一個(gè)系統(tǒng)1000臺(tái)智能化相機(jī)的中等規(guī)模，每個(gè)監(jiān)控點(diǎn)采集10000張目標(biāo)圖片計(jì)算，數(shù)據(jù)存儲(chǔ)180天則可達(dá)到18億張圖片。
另一方面，為了進(jìn)一步擴(kuò)大智能分析數(shù)據(jù)的覆蓋范圍，解決非智能前端的目標(biāo)識(shí)別和信息提取，當(dāng)前大多數(shù)安防系統(tǒng)都部署了后端智能分析算法，用于分析實(shí)時(shí)視頻流數(shù)據(jù)或者歷史視頻流數(shù)據(jù)，比如視頻結(jié)構(gòu)化分析算法、基于視頻流分析的車輛分析算法以及人像分析算法等，這些后端的智能分析算法也隨著算法的成熟應(yīng)用范圍越來(lái)越廣，智能分析的規(guī)模也越來(lái)越大，針對(duì)視頻流分析的結(jié)果也產(chǎn)生大量的目標(biāo)圖片要寫入到存儲(chǔ)之中。
此外，不少后端的智能分析算法是針對(duì)前端采集的圖片進(jìn)行二次分析，依靠后端強(qiáng)大的算力以及先進(jìn)的算法分析能力，將前端采集的圖片再進(jìn)行一次深度分析，提取更多也更準(zhǔn)確的目標(biāo)屬性，這些圖片可以是前端直接發(fā)送到分析系統(tǒng)的，也可以由采集服務(wù)先存儲(chǔ)，然后再由分析系統(tǒng)從存儲(chǔ)系統(tǒng)中調(diào)取前端抓拍的圖片進(jìn)行分析，然后再把分析出來(lái)的結(jié)果（如人像圖、人臉圖、車輛的摳圖等）再寫回存儲(chǔ)。這些大量小圖片的讀寫需求對(duì)存儲(chǔ)系統(tǒng)提出了很大的挑戰(zhàn)。存儲(chǔ)系統(tǒng)小文件并發(fā)寫入能力、小文件并發(fā)讀出能力、小文件并發(fā)刪除能力以及小文件的檢索定位能力都要求能夠適應(yīng)大并發(fā)的場(chǎng)景。
3、安防大數(shù)據(jù)存儲(chǔ)和處理需求
安防中的視頻圖像AI智能化應(yīng)用不僅產(chǎn)生了大量的視頻圖片，也產(chǎn)生了大量的目標(biāo)結(jié)構(gòu)化數(shù)據(jù)。這些數(shù)據(jù)包括智能前端產(chǎn)生的目標(biāo)記錄數(shù)據(jù)，如目標(biāo)類型、目標(biāo)基本特征以及抓拍時(shí)間等，也包括后端智能分析應(yīng)用分析視頻流或者圖片后產(chǎn)生的目標(biāo)結(jié)構(gòu)化數(shù)據(jù)。這些數(shù)據(jù)隨著系統(tǒng)規(guī)模增大以及數(shù)據(jù)應(yīng)用的需求的提升而大量增加，按照之前的例子計(jì)算，1000臺(tái)的中等規(guī)模，每個(gè)監(jiān)控點(diǎn)采集10000個(gè)目標(biāo)計(jì)算，數(shù)據(jù)存儲(chǔ)180天則可達(dá)到18億條原始目標(biāo)記錄，如果這些原始目標(biāo)都經(jīng)過(guò)二次分析，那么數(shù)據(jù)記錄至少翻倍。這些大量的數(shù)據(jù)應(yīng)用都需要在其中進(jìn)行檢索和關(guān)聯(lián)分析，而且隨著視頻大數(shù)據(jù)應(yīng)用的發(fā)展，各種基于視頻大數(shù)據(jù)的分析統(tǒng)計(jì)應(yīng)用和技戰(zhàn)法應(yīng)用越來(lái)越豐富，涉及關(guān)聯(lián)分析的數(shù)據(jù)對(duì)象類型越來(lái)越多，一次分析任務(wù)涉及的數(shù)據(jù)量越來(lái)越大，分析的策略越來(lái)越復(fù)雜，從而對(duì)結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)提出的要求也越來(lái)越高。為了保證這些復(fù)雜數(shù)據(jù)分析應(yīng)用功能的使用順暢，對(duì)應(yīng)的結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)需要提供高性能的海量數(shù)據(jù)讀寫能力和數(shù)據(jù)分析計(jì)算能力。因此當(dāng)前安防行業(yè)的存儲(chǔ)在滿足大量視頻流存儲(chǔ)的同時(shí)，必須要滿足海量小圖片文件以及結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)讀寫的需求。
二、新趨勢(shì)下的安防存儲(chǔ)系統(tǒng)
在視頻AI智能化、安防大數(shù)據(jù)及數(shù)據(jù)融合分析應(yīng)用的需求下，安防存儲(chǔ)的發(fā)展需要依靠底層存儲(chǔ)技術(shù)、物理設(shè)備配置以及整體系統(tǒng)架構(gòu)的協(xié)同發(fā)展。為此，云計(jì)算、大數(shù)據(jù)相關(guān)的技術(shù)和產(chǎn)品將不斷地引入安防存儲(chǔ)系統(tǒng)。
首先，在原來(lái)海量視頻流存儲(chǔ)的基礎(chǔ)上，為適應(yīng)視頻AI智能化應(yīng)用，存儲(chǔ)系統(tǒng)需支持高性能的小文件（如圖片、視頻片段等）存儲(chǔ)和讀取，提供高性能的分布式文件存儲(chǔ)或者對(duì)象存儲(chǔ)能力，支持高并發(fā)的文件寫入。由于小文件的特性，存儲(chǔ)和讀寫的方式跟實(shí)時(shí)視頻流存儲(chǔ)有很大的不同。系統(tǒng)產(chǎn)生的小文件數(shù)量很多，但是整體占用的容量卻沒(méi)實(shí)時(shí)視頻流存儲(chǔ)大，而由于每個(gè)文件都很小，大量并發(fā)的文件存儲(chǔ)進(jìn)來(lái)，存儲(chǔ)系統(tǒng)就必須有高效的數(shù)據(jù)緩存和讀寫機(jī)制，以及文件的索引機(jī)制，才能保證針對(duì)每個(gè)文件的檢索和讀寫效率。此外，小文件的存儲(chǔ)還必須考慮數(shù)據(jù)覆蓋刪除的問(wèn)題通常在一些普通的存儲(chǔ)系統(tǒng)中都是刪除1TB的數(shù)據(jù)，刪除視頻流數(shù)據(jù)很快，但是刪除小文件則出現(xiàn)緩慢甚至阻塞問(wèn)題，因?yàn)閯h除1TB的小文件可能涉及到刪除百萬(wàn)量級(jí)的文件，如果存儲(chǔ)的文件的存儲(chǔ)機(jī)制不好，刪除這么多文件將會(huì)嚴(yán)重消耗存儲(chǔ)的資源，這些都是存儲(chǔ)系統(tǒng)需要面臨并解決的重要問(wèn)題。為此，當(dāng)前不少存儲(chǔ)系統(tǒng)已經(jīng)采用了分布式對(duì)象存儲(chǔ)或者高性能的分布式文件系統(tǒng)技術(shù)來(lái)解決這個(gè)問(wèn)題。
針對(duì)海量的結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)，目前在存儲(chǔ)系統(tǒng)上主要采用高性能的分布式數(shù)據(jù)庫(kù)，通過(guò)分布式數(shù)據(jù)庫(kù)提供高性能的結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)、讀寫以及數(shù)據(jù)比對(duì)分析能力，比如各種MPP數(shù)據(jù)庫(kù)和NewSql數(shù)據(jù)庫(kù)等。這些分布式數(shù)據(jù)庫(kù)系統(tǒng)本身可提供海量結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)管理的能力，同時(shí)在存儲(chǔ)硬件上一般都會(huì)配置高性能的SSD存儲(chǔ)介質(zhì)來(lái)滿足高性能的數(shù)據(jù)讀寫分析需求。同時(shí)對(duì)于數(shù)據(jù)量比較大的場(chǎng)景，系統(tǒng)還會(huì)結(jié)合應(yīng)用需求提供數(shù)據(jù)的分級(jí)存儲(chǔ)機(jī)制，將業(yè)務(wù)經(jīng)常使用的數(shù)據(jù)或者大概率會(huì)使用的數(shù)據(jù)（即熱數(shù)據(jù)）優(yōu)先放到高性能的存儲(chǔ)介質(zhì)中，比如PCIE接口的SSD固態(tài)硬盤中，或者直接加載到內(nèi)存。而其他不常用的數(shù)據(jù)（即冷數(shù)據(jù)）則放在存儲(chǔ)性能較低的存儲(chǔ)介質(zhì)中，比如SAS接口或SATA接口的機(jī)械硬盤。部分存儲(chǔ)系統(tǒng)還支持了冷熱數(shù)據(jù)自動(dòng)遷移的能力，能夠把熱數(shù)據(jù)中不經(jīng)常使用的數(shù)據(jù)自動(dòng)下沉到冷數(shù)據(jù)存儲(chǔ)介質(zhì)中，或者把冷數(shù)據(jù)中突然比較常用的數(shù)據(jù)再加載到高性能的熱數(shù)據(jù)存儲(chǔ)介質(zhì)上，這樣就有效保證了用戶常用數(shù)據(jù)都能夠高效命中并高速讀寫，滿足數(shù)據(jù)分析業(yè)務(wù)的應(yīng)用需求。
此外，為了滿足大量的數(shù)據(jù)分析、數(shù)據(jù)比對(duì)以及數(shù)據(jù)挖掘的需求，可能會(huì)在分布式數(shù)據(jù)庫(kù)服務(wù)器上運(yùn)行各種數(shù)據(jù)分析算法服務(wù)，為此，分布式的數(shù)據(jù)庫(kù)存儲(chǔ)設(shè)備還會(huì)配置高性能的CPU和大容量?jī)?nèi)存，為數(shù)據(jù)處理提供強(qiáng)大的硬件支持。為了保證數(shù)據(jù)可靠性，分布式數(shù)據(jù)庫(kù)采用集群方式來(lái)避免單點(diǎn)故障對(duì)系統(tǒng)造成的影響，底層通過(guò)多副本或者網(wǎng)絡(luò)糾刪碼實(shí)現(xiàn)數(shù)據(jù)的高可靠性，不會(huì)因?yàn)槟硞€(gè)節(jié)點(diǎn)宕機(jī)導(dǎo)致數(shù)據(jù)無(wú)法訪問(wèn)或數(shù)據(jù)丟失。同時(shí)通過(guò)集群的聚合性能對(duì)外提供高性能的數(shù)據(jù)讀寫分析能力。
為了同時(shí)滿足大量視頻流存儲(chǔ)、視頻圖像小文件存儲(chǔ)以及海量結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)，存儲(chǔ)系統(tǒng)中一般都會(huì)配置云存儲(chǔ)系統(tǒng)和分布式數(shù)據(jù)庫(kù)系統(tǒng)，在實(shí)際應(yīng)用的部署形態(tài)上主要有融合模式和分離模式兩種部署方式。
1、融合模式
如圖1所示，該模式下分布式數(shù)據(jù)庫(kù)和云存儲(chǔ)部署在同一臺(tái)設(shè)備上，多臺(tái)設(shè)備構(gòu)成一個(gè)存儲(chǔ)集群。單臺(tái)設(shè)備既存儲(chǔ)視頻流和圖片等非結(jié)構(gòu)化數(shù)據(jù)，也同時(shí)存儲(chǔ)結(jié)構(gòu)化的目標(biāo)采集數(shù)據(jù)，同時(shí)還對(duì)外提供結(jié)構(gòu)化數(shù)據(jù)的檢索分析能力。
這種模式一般比較適用于小規(guī)模的系統(tǒng)建設(shè)，一臺(tái)設(shè)備或者兩臺(tái)設(shè)備即可完成所有的視頻圖像數(shù)據(jù)存儲(chǔ)服務(wù)，成本相對(duì)也比較低。而且一般情況下，存儲(chǔ)設(shè)備是專用設(shè)備，會(huì)采用一體機(jī)的生產(chǎn)模式，安裝部署起來(lái)也相對(duì)比較簡(jiǎn)單。方案的劣勢(shì)主要是系統(tǒng)的擴(kuò)容不夠靈活，擴(kuò)容需要按單臺(tái)設(shè)備擴(kuò)容，如果只是擴(kuò)容視頻或圖片等非結(jié)構(gòu)化數(shù)據(jù)，也需要一臺(tái)完整的設(shè)備來(lái)支持，用于分析計(jì)算的能力可能就會(huì)冗余。而如果只是想擴(kuò)展數(shù)據(jù)的分析計(jì)算能力而增加設(shè)備，存儲(chǔ)能力也會(huì)隨之?dāng)U展。此外，分布式數(shù)據(jù)庫(kù)和云存儲(chǔ)畢竟是兩套不一樣的存儲(chǔ)系統(tǒng)，都在一套存儲(chǔ)設(shè)備上部署也涉及到資源的共享和沖突，相應(yīng)的業(yè)務(wù)效率可能就沒(méi)那么高。
2、分離模式
如圖2所示，該模式下分布式數(shù)據(jù)庫(kù)和云存儲(chǔ)分開(kāi)部署在不同設(shè)備上，分布式數(shù)據(jù)庫(kù)部署在高性能的存儲(chǔ)服務(wù)器上，配置高性能的CPU，大容量的內(nèi)存，高性能的SSD存儲(chǔ)介質(zhì)；云存儲(chǔ)則采用存儲(chǔ)陣列設(shè)備提供大容量的磁盤存儲(chǔ)空間。計(jì)算和存儲(chǔ)形成兩個(gè)獨(dú)立的存儲(chǔ)集群，通過(guò)網(wǎng)絡(luò)提供數(shù)據(jù)服務(wù)和存儲(chǔ)服務(wù)。
這種應(yīng)用模式下，視頻圖像的結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在分布式數(shù)據(jù)庫(kù)所在的高性能存儲(chǔ)服務(wù)器上，而視頻流、圖片等非結(jié)構(gòu)化數(shù)據(jù)則存儲(chǔ)在云存儲(chǔ)陣列上。這種方式的主要優(yōu)勢(shì)是擴(kuò)展比較靈活和方便，結(jié)構(gòu)化存儲(chǔ)和非結(jié)構(gòu)化存儲(chǔ)都可以獨(dú)立擴(kuò)展，互不影響。所以當(dāng)只需要擴(kuò)容視頻流、圖片等存儲(chǔ)空間時(shí)，只需要擴(kuò)容云存儲(chǔ)即可，不需要擴(kuò)容分布式數(shù)據(jù)庫(kù)，也就是不需要再增加部署分布式數(shù)據(jù)庫(kù)服務(wù)器。同樣，當(dāng)用戶需要擴(kuò)展數(shù)據(jù)分析能力時(shí)，可以只擴(kuò)容分布式數(shù)據(jù)庫(kù)服務(wù)器，不需要擴(kuò)容云存儲(chǔ)系統(tǒng)。這樣就可以根據(jù)用戶的具體應(yīng)用需求針對(duì)性地靈活擴(kuò)展。該種模式主要用于中型或大型的系統(tǒng)中，小規(guī)模的場(chǎng)景下成本相對(duì)會(huì)比較高。
三、結(jié)語(yǔ)
在當(dāng)前安防行業(yè)AI智能化、安防大數(shù)據(jù)及數(shù)據(jù)融合分析應(yīng)用的新趨勢(shì)下，安防存儲(chǔ)系統(tǒng)將更多地采用云計(jì)算、大數(shù)據(jù)相關(guān)技術(shù)，并不斷優(yōu)化提升底層的數(shù)據(jù)存儲(chǔ)機(jī)制，通過(guò)先進(jìn)的對(duì)象存儲(chǔ)、分布式文件存儲(chǔ)以及分布式數(shù)據(jù)庫(kù)可滿足海量高清視頻、海量小圖片文件以及海量視頻圖像目標(biāo)結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和應(yīng)用需求，也有效推動(dòng)了安防智能化以及安防大數(shù)據(jù)應(yīng)用的快速發(fā)展。
