国产香蕉97碰碰久久人人片源丰富_久久久久久毛片免费视频_苍井空无高清码在线观看_亚洲a∨中文字幕色_久久久国产精品人_亚洲高清少妇精品_高清无码羞羞视频_亚洲国产中文理论图片_国产成人三级av在线影院_色欲日日拍夜夜嗷嗷叫手机版

基于數(shù)據(jù)中臺的數(shù)字鄉(xiāng)村基礎(chǔ)數(shù)據(jù)資源體系建設(shè)

發(fā)布時間:2024-11-20

依托互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能和實體經(jīng)濟深度融合的現(xiàn)實環(huán)境,數(shù)字化賦能農(nóng)民生活改善和農(nóng)村全面發(fā)展。數(shù)字鄉(xiāng)村建設(shè)發(fā)展過程中,數(shù)據(jù)成為農(nóng)業(yè)生產(chǎn)的新要素,信息技術(shù)成為農(nóng)民生產(chǎn)經(jīng)營的新工具,互聯(lián)網(wǎng)成為農(nóng)村全面發(fā)展的新載體。數(shù)字技術(shù)正穿透所有經(jīng)濟和社會場域,作為應(yīng)用場景,鄉(xiāng)村正成為城市之后的必然選擇,構(gòu)成了“數(shù)字中國”的戰(zhàn)略要沖。數(shù)字鄉(xiāng)村建設(shè)通過科技創(chuàng)新,將大數(shù)據(jù)、人工智能、區(qū)塊鏈、云計算等數(shù)字技術(shù)與農(nóng)業(yè)全產(chǎn)業(yè)鏈以及生態(tài)保護進行深度融合,推動農(nóng)業(yè)綠色發(fā)展,形成高質(zhì)量且穩(wěn)定的生態(tài)系統(tǒng),形成良好的人居環(huán)境,為新發(fā)展格局提供基礎(chǔ)保障。

隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展,鄉(xiāng)村數(shù)據(jù)呈爆炸式增長,如何對鄉(xiāng)村數(shù)據(jù)資源進行有效的管理并提供共享服務(wù),是數(shù)字鄉(xiāng)村建設(shè)亟待解決的問題。根據(jù)以往的數(shù)據(jù)集成思路,借助統(tǒng)一的數(shù)據(jù)平臺可以快速響應(yīng)用戶的各種需求,滿足多種業(yè)務(wù)場景的應(yīng)用。數(shù)據(jù)中臺技術(shù)是指運用統(tǒng)一的標準和技術(shù),對海量的異構(gòu)數(shù)據(jù)進行采集、加工、存儲、管理等一系列數(shù)據(jù)集成與管理,為各類應(yīng)用提供數(shù)據(jù)共享服務(wù)。通過數(shù)據(jù)中臺,數(shù)字鄉(xiāng)村所涉及的各類用戶、政府、農(nóng)民、企業(yè)等對內(nèi)對外建立統(tǒng)一的業(yè)務(wù)系統(tǒng)和管理平臺,減少各種業(yè)務(wù)系統(tǒng)信息孤島現(xiàn)象,打通各部門間的數(shù)據(jù)墻,形成統(tǒng)一的數(shù)據(jù)規(guī)范。


一、數(shù)字鄉(xiāng)村基礎(chǔ)數(shù)據(jù)資源數(shù)據(jù)中臺架構(gòu)

數(shù)據(jù)中臺設(shè)計原則。數(shù)據(jù)中臺的建設(shè)要保證來源于不同系統(tǒng)的同類數(shù)據(jù)具有一致性,要遵循相應(yīng)的行業(yè)數(shù)據(jù)庫設(shè)計標準,以及農(nóng)業(yè)農(nóng)村領(lǐng)域的數(shù)據(jù)標準和地方標準。數(shù)據(jù)中臺設(shè)計時要在充分考慮數(shù)據(jù)實用性的基礎(chǔ)上整合數(shù)據(jù)資源,要通過不斷變化的需求進行數(shù)據(jù)資源的重組,滿足數(shù)據(jù)實用性原則;要考慮數(shù)據(jù)的獨立性,能夠使數(shù)據(jù)獨立于具體應(yīng)用之外,不隨各類系統(tǒng)的變化而改變。同時,數(shù)據(jù)庫的設(shè)計要有可擴展性,當新的需求出現(xiàn)時,可以在原有基礎(chǔ)上進行擴展,不必完全重新設(shè)計數(shù)據(jù)庫。此外,數(shù)據(jù)中臺還應(yīng)該有數(shù)據(jù)的安全設(shè)計,進行有效的備份和數(shù)據(jù)恢復(fù),確保發(fā)生事故時能夠快速恢復(fù),并且要有安全授權(quán)設(shè)計,避免非法用戶的訪問。

數(shù)據(jù)中臺技術(shù)和層次架構(gòu)。數(shù)據(jù)結(jié)構(gòu)總體可以分為三種,結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)以及其他半結(jié)構(gòu)化數(shù)據(jù)。對于結(jié)構(gòu)化數(shù)據(jù)的存儲目前主要用關(guān)系型數(shù)據(jù)庫處理;非結(jié)構(gòu)化數(shù)據(jù)的存儲主要在非關(guān)系型數(shù)據(jù)庫中,例如文件管理系統(tǒng),存儲一些圖片、視頻、文檔等數(shù)據(jù);半結(jié)構(gòu)化數(shù)據(jù)實質(zhì)是一種結(jié)構(gòu)化數(shù)據(jù)的形式,包括一些相關(guān)的標記用以區(qū)分不同的語義元素。數(shù)據(jù)中臺建設(shè)過程中要能夠處理這三種類型的數(shù)據(jù)資源。

數(shù)據(jù)中臺建設(shè)數(shù)據(jù)資源采集、數(shù)據(jù)資源融合、數(shù)據(jù)資源共享等數(shù)據(jù)服務(wù)體系。在整個體系建設(shè)中,將數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)標準納入其中。經(jīng)過數(shù)據(jù)中臺的不斷應(yīng)用,推進數(shù)據(jù)的采集接入、分析、挖掘和治理能力的提升,從而完善數(shù)據(jù)中臺服務(wù)??傮w來看數(shù)據(jù)中臺主要包括數(shù)據(jù)的統(tǒng)一采集接入平臺、數(shù)據(jù)集中處理平臺、數(shù)據(jù)管理平臺、大數(shù)據(jù)分析與數(shù)據(jù)挖掘平臺、統(tǒng)一管理平臺以及數(shù)據(jù)可視化平臺等多個平臺。

數(shù)據(jù)中臺數(shù)據(jù)架構(gòu)。數(shù)據(jù)中臺的數(shù)據(jù)架構(gòu)按數(shù)據(jù)庫的處理內(nèi)容不同分為原始庫、資源庫、主題庫、業(yè)務(wù)庫等。原始庫是存儲未經(jīng)處理的原始數(shù)據(jù),主要存放和原系統(tǒng)一致的數(shù)據(jù);資源庫的建設(shè)是基于原始庫,按資源類型的不同將原始庫中的數(shù)據(jù)規(guī)范化處理,形成不同主題的數(shù)據(jù);主題庫基于原始庫和資源庫,構(gòu)建數(shù)據(jù)的邏輯關(guān)系,形成實體關(guān)系模型,完成知識圖譜的建設(shè)等;業(yè)務(wù)庫面向不同業(yè)務(wù)的場景,建立起相關(guān)的數(shù)據(jù)結(jié)構(gòu)。數(shù)據(jù)中臺同時應(yīng)建立起索引庫和資源目錄,對數(shù)字鄉(xiāng)村數(shù)據(jù)資源進行整合,對相應(yīng)的元數(shù)據(jù)進行管理,比如業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)。

采用分層分類方法將數(shù)字鄉(xiāng)村數(shù)據(jù)指標按照其屬性及其數(shù)據(jù)來源分為農(nóng)村基礎(chǔ)信息數(shù)據(jù)指標、農(nóng)業(yè)基礎(chǔ)信息數(shù)據(jù)指標、農(nóng)民基礎(chǔ)信息數(shù)據(jù)指標三大類,在每一大類里,業(yè)務(wù)關(guān)聯(lián)度高的數(shù)據(jù)歸入同一小類。數(shù)據(jù)指標采用名稱、代碼、數(shù)據(jù)類型、是否為空、注釋來描述數(shù)字鄉(xiāng)村相關(guān)數(shù)據(jù)。


二、數(shù)字鄉(xiāng)村基礎(chǔ)數(shù)據(jù)資源體系建設(shè)路徑

數(shù)據(jù)資源統(tǒng)一采集接入。數(shù)據(jù)資源的采集是數(shù)據(jù)擁有價值的第一步,同時也決定了數(shù)據(jù)潛在的意義。目前基于大數(shù)據(jù)技術(shù)的數(shù)字鄉(xiāng)村數(shù)據(jù)資源采集方式有以下幾種:一是利用農(nóng)村農(nóng)業(yè)各個業(yè)務(wù)系統(tǒng)進行信息采集,通過部署各類非關(guān)系型數(shù)據(jù)庫負載均衡和分片完成海量數(shù)據(jù)的采集。二是通過查看各個業(yè)務(wù)系統(tǒng)的系統(tǒng)日志采集數(shù)據(jù),利用在線分析和離線分析方式分析系統(tǒng)日志文件獲得數(shù)據(jù)。三是利用網(wǎng)頁數(shù)據(jù)的爬取技術(shù)采集網(wǎng)頁、論壇、交易平臺等數(shù)據(jù)信息。四是利用智慧終端各類傳感器、監(jiān)測平臺、監(jiān)控設(shè)備等來獲取圖片、視頻等信息。

數(shù)據(jù)集中處理。數(shù)據(jù)集中處理主要是對數(shù)據(jù)的提取、清洗、關(guān)聯(lián)、對比、標識、對象化等操作。數(shù)字鄉(xiāng)村建設(shè)涉及的業(yè)務(wù)領(lǐng)域眾多、數(shù)據(jù)復(fù)雜多樣,采集獲取的數(shù)據(jù)往往不能直接用于數(shù)據(jù)分析,所以需要對獲取的數(shù)據(jù)進行數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)變換、數(shù)據(jù)規(guī)約等數(shù)據(jù)資源預(yù)處理,篩選出與主題相關(guān)的數(shù)據(jù)。數(shù)字鄉(xiāng)村建設(shè)中采集的數(shù)據(jù)源多來自不同的業(yè)務(wù)平臺,要將相關(guān)聯(lián)的異構(gòu)數(shù)據(jù)源合并放入一個一致的數(shù)據(jù)存儲中完成數(shù)據(jù)的集成。

鄉(xiāng)村基礎(chǔ)數(shù)據(jù)資源存儲。目前,農(nóng)業(yè)農(nóng)村相關(guān)業(yè)務(wù)平臺的后臺數(shù)據(jù)存儲多采用結(jié)構(gòu)化關(guān)系型數(shù)據(jù)庫軟件存儲。大數(shù)據(jù)時代的數(shù)據(jù)存儲方式應(yīng)該發(fā)生轉(zhuǎn)變,為海量多樣化數(shù)據(jù)分析提供支持,而主流的大數(shù)據(jù)存儲是支持海量數(shù)據(jù)讀寫,支持上億行、上百萬列的,面向列的分布式非關(guān)系型數(shù)據(jù)庫。鄉(xiāng)村業(yè)務(wù)系統(tǒng)中的政務(wù)文件、政策規(guī)定等非結(jié)構(gòu)化數(shù)據(jù)可以用大數(shù)據(jù)平臺的分布式文件系統(tǒng)存儲;網(wǎng)絡(luò)輿情、業(yè)務(wù)日志等半結(jié)構(gòu)化數(shù)據(jù)可采用列式存儲的分布式數(shù)據(jù)庫存儲;溫度、土壤、濕度自動監(jiān)測等小時、分鐘級數(shù)據(jù)提供時序數(shù)據(jù)庫實現(xiàn)海量數(shù)據(jù)存儲。

數(shù)據(jù)組織管理。根據(jù)中臺數(shù)據(jù)架構(gòu)進行數(shù)據(jù)的組織管理,建立原始庫、資源庫、主題庫、知識庫、業(yè)務(wù)庫、數(shù)據(jù)資源目錄。原始庫可以進行數(shù)據(jù)的原始加工,抽取數(shù)據(jù)的關(guān)鍵信息、對數(shù)據(jù)進行分級分類標簽管理,同時提供查詢、推送、對比、訂閱等服務(wù)。資源庫是經(jīng)由原始庫中的數(shù)據(jù)整合和清洗過后形成的,可以提供數(shù)據(jù)的檢索、統(tǒng)計分析、訂閱服務(wù)等。主題庫具有相似特征的不同數(shù)據(jù)分類進行歸集,構(gòu)建不同實體間知識圖譜,能夠提供數(shù)據(jù)分析和統(tǒng)計服務(wù)。業(yè)務(wù)庫提供專題類業(yè)務(wù)分析,構(gòu)建實體庫中的業(yè)務(wù)相關(guān)模型,基于資源庫建設(shè)而形成。

數(shù)字鄉(xiāng)村元數(shù)據(jù)管理。為了更有效地完成數(shù)據(jù)的管理,方便數(shù)據(jù)的擴展,實現(xiàn)對鄉(xiāng)村數(shù)據(jù)資源的便捷訪問,設(shè)計使用元數(shù)據(jù)進行數(shù)據(jù)管理。元數(shù)據(jù)是用來描述數(shù)據(jù)的數(shù)據(jù),元數(shù)據(jù)和數(shù)據(jù)本身構(gòu)成了不同層次的數(shù)據(jù),對于信息系統(tǒng)而言要能適應(yīng)元數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)內(nèi)容結(jié)構(gòu)。元數(shù)據(jù)管理可以進行元數(shù)據(jù)的自動修改,例如當系統(tǒng)應(yīng)用需求發(fā)生改變或擴展時,元數(shù)據(jù)管理能自動識別變化,從而修改元數(shù)據(jù),信息應(yīng)用系統(tǒng)不需要進行數(shù)據(jù)的整體修改。

(來源:《當代縣域經(jīng)濟》)

基于數(shù)據(jù)中臺的數(shù)字鄉(xiāng)村基礎(chǔ)數(shù)據(jù)資源體系建設(shè) - 中昊智達控股集團