平安城市存儲(chǔ)現(xiàn)狀與需求

　　平安城市視頻監(jiān)控系統(tǒng)的建設(shè)實(shí)現(xiàn)所有圖像資源的集中管理，最大限度實(shí)現(xiàn)跨地區(qū)、跨部門視頻監(jiān)控資源共享和互聯(lián)互通互控。目前全國(guó)公安機(jī)關(guān)共安裝監(jiān)控?cái)z像機(jī)近300萬(wàn)臺(tái)，社會(huì)安裝監(jiān)控?cái)z像機(jī)約2000萬(wàn)臺(tái)，監(jiān)控點(diǎn)的高清比例約為50%。如果1080P視頻圖像按照4M碼率、24小時(shí)不間斷存儲(chǔ)30天計(jì)算，1000路1080P視頻圖像的存儲(chǔ)容量就已經(jīng)達(dá)到了1個(gè)PB，1萬(wàn)路的1080P視頻圖像的存儲(chǔ)容量已經(jīng)超過(guò)了10PB，平安城市建設(shè)已經(jīng)全面進(jìn)入存儲(chǔ)P時(shí)代。

　　同時(shí)，按照中央深化社會(huì)體制改革的整體部署，公安部會(huì)同國(guó)家發(fā)改委、中央綜治辦等部門研究起草并聯(lián)合印發(fā)了《關(guān)于加強(qiáng)公共安全視頻監(jiān)控建設(shè)聯(lián)網(wǎng)應(yīng)用工作的若干意見(jiàn)》，提出2020年實(shí)現(xiàn)“全域覆蓋、全網(wǎng)共享、全時(shí)應(yīng)用、全程可控”的總體目標(biāo)。按照全域覆蓋的要求，一個(gè)中等規(guī)模的縣級(jí)城市攝像機(jī)數(shù)量可能達(dá)到5000路以上，全省視頻聯(lián)網(wǎng)路數(shù)在10萬(wàn)路以上，按照1080P視頻圖像4M碼率、24小時(shí)不間斷存儲(chǔ)30天計(jì)算，存儲(chǔ)容量將超過(guò)100PB，面對(duì)如此海量視頻存儲(chǔ)數(shù)據(jù)的價(jià)值信息提取，勢(shì)必對(duì)存儲(chǔ)系統(tǒng)的容量、擴(kuò)展性、性價(jià)比、性能、管理性、穩(wěn)定性等提出更高的要求。

　　面對(duì)PB級(jí)的海量視頻存儲(chǔ)需求，傳統(tǒng)的NVR或IPSAN存儲(chǔ)模式在容量和性能上存在一定瓶頸。其系統(tǒng)的吞吐能力無(wú)法滿足高并發(fā)視頻存儲(chǔ)、回放的需求，且無(wú)法適應(yīng)業(yè)務(wù)變化對(duì)云存儲(chǔ)系統(tǒng)能力的需求。通過(guò)采購(gòu)更多、更高端的硬件設(shè)備來(lái)提高存儲(chǔ)能力的方式，會(huì)使部署成本急劇增長(zhǎng)，系統(tǒng)復(fù)雜性提升，運(yùn)維壓力也隨之提高。因此，建設(shè)大規(guī)模存儲(chǔ)系統(tǒng)也是平安城市視頻存儲(chǔ)的剛需。

　　然而傳統(tǒng)的存儲(chǔ)設(shè)備主要通過(guò)RAID方式實(shí)現(xiàn)單個(gè)存儲(chǔ)節(jié)點(diǎn)內(nèi)部的可靠性，數(shù)據(jù)保護(hù)能力有限。當(dāng)存儲(chǔ)節(jié)點(diǎn)斷電或宕機(jī)時(shí)，會(huì)出現(xiàn)存儲(chǔ)業(yè)務(wù)中斷，導(dǎo)致錄像丟失等情況，無(wú)法保障存儲(chǔ)數(shù)據(jù)的安全性。另外，傳統(tǒng)的存儲(chǔ)方式無(wú)法將整個(gè)存儲(chǔ)資源進(jìn)行統(tǒng)一管理，而是將每個(gè)設(shè)備的空間獨(dú)立分配及管理，這會(huì)使部分設(shè)備出現(xiàn)碎片化的容量空間，且新增設(shè)備無(wú)法整合此類存儲(chǔ)空間，造成空間浪費(fèi)，使空間利用率下降。某些存儲(chǔ)設(shè)備損壞時(shí)，僅通過(guò)人工巡檢查漏補(bǔ)缺，也增加了運(yùn)維難度和運(yùn)維成本。

　　隨著平安城市的持續(xù)建設(shè)，在攝像機(jī)數(shù)量不斷增長(zhǎng)，用戶需求對(duì)高清要求激增的情況下，視頻數(shù)據(jù)量呈爆炸式增長(zhǎng)，這就更加催生了具備海量存儲(chǔ)和高速讀寫性能的云存儲(chǔ)系統(tǒng)應(yīng)用，以應(yīng)對(duì)PB級(jí)的視頻存儲(chǔ)需求。

　　東方網(wǎng)力視頻云存儲(chǔ)

　　云存儲(chǔ)是在云計(jì)算(cloudcomputing)概念上延伸和發(fā)展出來(lái)的一個(gè)新的概念，是指通過(guò)集群應(yīng)用、虛擬化、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等技術(shù)，將網(wǎng)絡(luò)中大量、各種不同類型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)功能的一個(gè)系統(tǒng)。

　　東方網(wǎng)力視頻云存儲(chǔ)結(jié)合平安城市業(yè)務(wù)系統(tǒng)規(guī)模大小不一、業(yè)務(wù)模式集中和分散相結(jié)合等特點(diǎn)，以視頻、圖片文件存儲(chǔ)和管理為核心，采用面向大規(guī)模數(shù)據(jù)密集型應(yīng)用的、可伸縮的分布式文件系統(tǒng)，存儲(chǔ)視頻圖片數(shù)據(jù)，有效提高快速并發(fā)讀寫能力、存儲(chǔ)空間彈性擴(kuò)展能力和系統(tǒng)可靠性，滿足安防視頻監(jiān)控的新要求，解決城市級(jí)海量視頻數(shù)據(jù)存儲(chǔ)、檢索問(wèn)題，并能夠結(jié)合平安城市業(yè)務(wù)提供靈活的部署方式。存儲(chǔ)的內(nèi)容分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，結(jié)構(gòu)化數(shù)據(jù)采用分布式數(shù)據(jù)存儲(chǔ)；而非結(jié)構(gòu)化數(shù)據(jù)(例如視頻、圖片、文本、特征等)存儲(chǔ)在分布式文件系統(tǒng)中。

　　東方網(wǎng)力視頻云存儲(chǔ)系統(tǒng)可分為硬件層、軟件層、業(yè)務(wù)層以及應(yīng)用層四個(gè)層級(jí)。

　　硬件層提供存儲(chǔ)設(shè)備，存儲(chǔ)視頻、圖片等文件。它包括網(wǎng)絡(luò)和物理節(jié)點(diǎn)及節(jié)點(diǎn)內(nèi)的硬盤、網(wǎng)卡、內(nèi)存等。

　　軟件層為硬件層服務(wù)，實(shí)現(xiàn)硬件的虛擬化。管理各個(gè)硬件存儲(chǔ)設(shè)備、實(shí)現(xiàn)硬件的可擴(kuò)展性和穩(wěn)定性。軟件層主要是分布式文件系統(tǒng)和多種增值特性，提供分布式存儲(chǔ)、故障自動(dòng)恢復(fù)、性能負(fù)載均衡、元數(shù)據(jù)服務(wù)等服務(wù)，對(duì)整個(gè)系統(tǒng)進(jìn)行統(tǒng)一管理。

　　業(yè)務(wù)層主要提供實(shí)時(shí)視頻存儲(chǔ)ROFS系統(tǒng)和視圖數(shù)據(jù)存儲(chǔ)PFS兩種存儲(chǔ)技術(shù)，主要作用是將實(shí)時(shí)視頻、歷史視頻以及圖片按照不同的存儲(chǔ)策略存儲(chǔ)在不同的存儲(chǔ)卷中。業(yè)務(wù)層將整個(gè)存儲(chǔ)池分為視頻監(jiān)控、大文件、小文件3個(gè)卷，分別存儲(chǔ)實(shí)時(shí)視頻、歷史視頻、圖片和文本文件，它們?cè)谶壿嬌虾臀锢砩舷嗷ジ綦x。針對(duì)不同的文件采用不同的技術(shù)處理，使云存儲(chǔ)系統(tǒng)更加適應(yīng)平安城市視頻監(jiān)控大數(shù)據(jù)量存儲(chǔ)的應(yīng)用。

　　應(yīng)用層為公安業(yè)務(wù)應(yīng)用、政府業(yè)務(wù)應(yīng)用、其他行業(yè)業(yè)務(wù)應(yīng)用等，云存儲(chǔ)系統(tǒng)可對(duì)各類業(yè)務(wù)應(yīng)用提供大容量的數(shù)據(jù)存儲(chǔ)，可以將業(yè)務(wù)平臺(tái)的實(shí)時(shí)視頻、歷史視頻、圖片、文本信息等通過(guò)云存儲(chǔ)保存，進(jìn)行統(tǒng)一的存儲(chǔ)。

　　全對(duì)稱架構(gòu)

　　目前的云存儲(chǔ)系統(tǒng)從架構(gòu)上區(qū)分有兩類，即全對(duì)稱云存儲(chǔ)架構(gòu)和非全對(duì)稱云存儲(chǔ)架構(gòu)兩種。非對(duì)稱架構(gòu)指云存儲(chǔ)系統(tǒng)中，除了存儲(chǔ)服務(wù)器外，還需單獨(dú)的機(jī)頭服務(wù)器或元數(shù)據(jù)服務(wù)器。東方網(wǎng)力視頻云存儲(chǔ)采用全對(duì)稱架構(gòu)，所有節(jié)點(diǎn)的硬件、軟件、功能完全一樣，即其元數(shù)據(jù)和錄像數(shù)據(jù)分布在集群中的不同存儲(chǔ)節(jié)點(diǎn)中，無(wú)需單獨(dú)的機(jī)頭服務(wù)器或元數(shù)據(jù)服務(wù)器。在該架構(gòu)下所有的存儲(chǔ)設(shè)備位置一樣，經(jīng)過(guò)云存儲(chǔ)軟件系統(tǒng)將存儲(chǔ)服務(wù)器進(jìn)行整合，一同發(fā)揮效應(yīng)。

　　動(dòng)態(tài)負(fù)載均衡

　　現(xiàn)有的網(wǎng)絡(luò)中往往會(huì)存在因帶寬、吞吐量導(dǎo)致的存儲(chǔ)性能異常的問(wèn)題，負(fù)載均衡就是在這種網(wǎng)絡(luò)結(jié)構(gòu)上，來(lái)加強(qiáng)數(shù)據(jù)處理能力、提高靈活性和可用性。東方網(wǎng)力視頻云存儲(chǔ)的動(dòng)態(tài)負(fù)載均衡表現(xiàn)在兩方面：一方面是寫時(shí)均衡：系統(tǒng)周期性地從各個(gè)節(jié)點(diǎn)收集負(fù)載情況，當(dāng)增加一路錄像或集群中有節(jié)點(diǎn)宕機(jī)時(shí)，集群會(huì)自動(dòng)選擇負(fù)載相對(duì)較低的節(jié)點(diǎn)寫入數(shù)據(jù)；另一方面是再次均衡：當(dāng)集群中某些節(jié)點(diǎn)的負(fù)載達(dá)到緊張值，可將其存儲(chǔ)業(yè)務(wù)平滑過(guò)渡到其他負(fù)載較小且未達(dá)到緊張值的節(jié)點(diǎn)上，且業(yè)務(wù)不中斷。

　　虛擬化管理

　　東方網(wǎng)力視頻云存儲(chǔ)系統(tǒng)是將多個(gè)存儲(chǔ)服務(wù)器的磁盤空間和內(nèi)存資源聚集成一個(gè)單一的虛擬存儲(chǔ)資源池，對(duì)上層用戶和應(yīng)用屏蔽了底層的物理硬件。簡(jiǎn)化了與業(yè)務(wù)系統(tǒng)的接口，保證了系統(tǒng)使用的簡(jiǎn)易性。同時(shí)，存儲(chǔ)的擴(kuò)展僅限存儲(chǔ)內(nèi)部，而不會(huì)影響到系統(tǒng)與業(yè)務(wù)系統(tǒng)的接口，也保證了存儲(chǔ)空間內(nèi)數(shù)據(jù)的高共享能力。

　　視頻流直存

　　東方網(wǎng)力視頻云存儲(chǔ)系統(tǒng)接收聯(lián)網(wǎng)平臺(tái)下發(fā)的錄像計(jì)劃(包括開(kāi)流時(shí)間、關(guān)流時(shí)間、錄像通道信息及存儲(chǔ)ID)后，將前端攝像機(jī)的視頻流直接寫入存儲(chǔ)設(shè)備，無(wú)需借助第三方設(shè)備，可實(shí)現(xiàn)7*24小時(shí)不間斷的視頻流直存。

　　特有的流式存儲(chǔ)系統(tǒng)

　　隨著公安業(yè)務(wù)的多樣化和視頻數(shù)據(jù)的爆炸式增長(zhǎng)，對(duì)視頻數(shù)據(jù)的并發(fā)讀寫性能及安全性都提出了很高的要求。東方網(wǎng)力視頻云存儲(chǔ)采用特有的流式存儲(chǔ)系統(tǒng)，該文件存儲(chǔ)系統(tǒng)主要用于存儲(chǔ)視頻流數(shù)據(jù)，以時(shí)間作為索引進(jìn)行查詢操作，可實(shí)現(xiàn)多路視頻流的高性能存儲(chǔ)與回放。它是根據(jù)視頻存儲(chǔ)的讀寫特點(diǎn)，針對(duì)視頻存儲(chǔ)數(shù)據(jù)的安全性、可靠性設(shè)計(jì)的存儲(chǔ)系統(tǒng)。

　　該存儲(chǔ)系統(tǒng)單節(jié)點(diǎn)的(讀加寫)性能可達(dá)500Mb/s，50個(gè)節(jié)點(diǎn)以內(nèi)的集群的讀寫性能隨節(jié)點(diǎn)數(shù)量的增加呈線性增長(zhǎng)；數(shù)據(jù)進(jìn)行格式化時(shí)，時(shí)間不超過(guò)100毫秒，無(wú)需長(zhǎng)時(shí)間等待；并且提供穩(wěn)定可靠的redis服務(wù)，定期將元數(shù)據(jù)寫入磁盤，當(dāng)服務(wù)異常終止之后，可用磁盤中的元數(shù)據(jù)進(jìn)行恢復(fù)，保證錄像數(shù)據(jù)不丟失。

　　在線擴(kuò)容

　　隨著平安城市視頻監(jiān)控行業(yè)存儲(chǔ)需求的增加，視頻文件的總?cè)萘繉⑦_(dá)到PB級(jí)，此時(shí)，項(xiàng)目就面臨著擴(kuò)容問(wèn)題。傳統(tǒng)的存儲(chǔ)方式設(shè)備的存儲(chǔ)容量有限，在擴(kuò)容時(shí)需要給上層業(yè)務(wù)服務(wù)器重新分配空間，嚴(yán)重影響上層視頻共享業(yè)務(wù)的連續(xù)性，且存儲(chǔ)性能、安全性、可靠性、經(jīng)濟(jì)性都會(huì)隨著系統(tǒng)的擴(kuò)展而大大降低。東方網(wǎng)力視頻云存儲(chǔ)系統(tǒng)支持橫向擴(kuò)展(Scale-Out)，通過(guò)增加存儲(chǔ)服務(wù)器數(shù)量和磁盤數(shù)量，實(shí)現(xiàn)系統(tǒng)容量、性能的擴(kuò)展，是單集群的存儲(chǔ)容量達(dá)到PB級(jí)。

　　系統(tǒng)提供了大容量存儲(chǔ)系統(tǒng)集中管理的手段，擴(kuò)容僅僅是管理員對(duì)新加設(shè)備的節(jié)點(diǎn)掛接，對(duì)整個(gè)系統(tǒng)的運(yùn)行沒(méi)有影響，在快速融合新增設(shè)備的同時(shí)保證業(yè)務(wù)不中斷，也避免了設(shè)備擴(kuò)充帶來(lái)的管理麻煩。在線擴(kuò)容是在不需要停止在線業(yè)務(wù)的情況下，增加或刪除存儲(chǔ)節(jié)點(diǎn)，使系統(tǒng)的存儲(chǔ)容量動(dòng)態(tài)增加或縮小。由于東方網(wǎng)力視頻云存儲(chǔ)系統(tǒng)是一個(gè)整體，只對(duì)外提供整體的存儲(chǔ)空間，因此節(jié)點(diǎn)的增減對(duì)業(yè)務(wù)層僅表現(xiàn)為存儲(chǔ)容量的增加和刪除，不會(huì)影響上層業(yè)務(wù)。

　　結(jié)語(yǔ)

　　面對(duì)超大數(shù)據(jù)量的存儲(chǔ)，只有采用高性能、高可靠性的云存儲(chǔ)技術(shù)才能滿足平安城市項(xiàng)目對(duì)視頻數(shù)據(jù)多樣化的應(yīng)用需求。各大安防軟件平臺(tái)廠商只有不斷提高技術(shù)水平，不斷對(duì)產(chǎn)品創(chuàng)新，高質(zhì)量、高效率地滿足用戶需求，才能在未來(lái)平安城市項(xiàng)目競(jìng)爭(zhēng)中嶄露頭角。