12577 智能數據處理（高綱1728）

高綱1728江蘇省高等教育自學考試大綱12577 智能數據處理南京信息工程大學編（2018年）江蘇省高等教育自學考試委員會辦公室Ⅰ 課程性質與課程目標一、課程性質和特點本課程是針對物聯網工程專業開設的專業必修課，是為從事科學研究、理論研究、工程實踐提供基本知識儲備和基本訓練的基礎理論性課程。本課程以理論聯系實際為特點介紹設計處理、分析和應用方法與技術，是物聯網工程學科的重要內容、核心與趨勢。課程通過系統地分析物聯網中各類感知數據的特點及相應的事務處理特性，針對互聯網場景下的物聯網數據提出了三層的物聯網數據處理技術體系。在此基礎上，就相關技術發展進行深入的探討和分析。通過介紹物聯網相關應用產品，以及這些產品在智能交通、智能電廠、教育、安全監控等不同領域的應用，使學生在理論學習的基礎上，能夠對物聯網應用的開發及兩化融合、工業4.0環境下的數據處理分析提供重要的指導。通過本課程內容的學習，能夠使學生對物聯網大數據的發展、處理、分析、服務和應用的工程化方法有較為系統和完整的理解。以這些內容作為對智能數據處理技術的代表和延伸，旨在傳遞概念、方法和技術內涵與理論，為學生進一步學習和研究面向數據科學的方法和技術提供支撐。本課程的目的主要是培養學生對數據科學研究的興趣和數據處理的初步能力。培養學生分析數據與處理數據的基本能力，并提高數據服務實踐應用的能力。通過本課程的學習，將使得學生能夠對物聯網產業及數據處理相關技術有初步的認識，對物聯網大數據處理和分析有進一步的理解，并獲得更多實踐的體會。最后，通過本課程的學習，還將加深物聯網工程專業的學生對本專業基本理論的理解及科學解決本專業相關問題的能力。二、課程目標作為物聯網工程專業的專業主干課，要求學生了解物聯網大數據的源起與發展趨勢，物聯網大數據處理的挑戰和相應的計算體系；熟悉感知數據特性與模型，以及相應的物聯網感知數控系統；掌握物聯網感知數據庫系統的設計、關鍵技術及部署體系；能夠面對物聯網感知數據處理的實時性需求給出解決辦法，對實時性事務的實時調度、并發控制及事務的執行模式與框架有深入的理解，從而為這類系統的開發實現提供有價值的參考；領會物聯網大數據在云端的存儲管理，了解物聯網大數據的計算與分析技術；了解物聯網大數據處理的三個層次中對應的產品以及這些產品的成功應用案例，為開展物聯網大數據的實際應用工作打下基礎。本課程的目標大致包括：1．掌握物聯網大數據的概念、特征、技術體系及相關關鍵技術；2．熟悉物聯網數據處理的應用背景，對數據處理對象所在的系統完整過程有較全面的認識，對數據處理之前的過程有基本的理解；3.熟悉智能數據處理的應用情況，在感知數據庫系統與云平臺的基礎上，通過數據處理在智能交通、智能電廠、教育、安全監控等領域的應用案例學習，理解物聯網感知、傳輸、處理三個階段的特點和詳細過程。三、與相關課程的聯系與區別《智能數據處理》是江蘇省高等教育自學考試物聯網工程專業（本科段）必修的專業課程，與物聯網工程專業的許多其他課程有著密切的關系。《計算機技術基礎》、《數據庫技術》、《數據通信與網絡》等課程是本課程的基礎。四、課程的重點和難點本課程的重點之一是物聯網大數據處理的關鍵技術，包括物聯網大數據技術體系、感知數據特性與模型、感知數據庫管理系統、實時事務調度處理技術、物聯網大數據存儲與管理、物聯網大數據技術與分析幾部分內容，尤其是物聯網大數據存儲與管理、物聯網大數據技術與分析部分，需要掌握其技術細節。本課程的重點之二是物聯網大數據處理對象的應用產品研發，包括物聯網網關CubeOne，ChinaDB感知數據庫系統，DeCloud物聯網大數據云平臺幾部分內容。需要熟悉這些產品的組成結構、功能特點及數據處理技術。本課程的難點是物聯網大數據處理的關鍵技術，包括感知數據庫管理系統、實時事務調度處理技術、物聯網大數據存儲與管理、物聯網大數據技術與分析幾部分內容。尤其是物聯網大數據技術與分析部分，對物聯網大數據批處理技術、物聯網大數據交互式查詢、物聯網大數據流式計算、物聯網大數據分析等內容，需要深入掌握各類技術細節。Ⅱ 考核目標本大綱在考核目標中，按照識記、領會、簡單應用和綜合應用四個層次規定其應達到的能力層次要求。四個能力層次是遞進關系，各能力層次的含義是：識記（Ⅰ）：要求考生能夠識別和記憶本課程中有關物聯網數據處理的相關名詞、概念、知識的含義，并能夠根據考核的不同要求，進行正確的表述和選擇。領會（Ⅱ）：要求考生能夠領悟和理解本課程中有關物聯網的概念、理論和方法技巧的內涵及外延，能夠鑒別關于概念和特性的似是而非的說法，理解相關物聯網知識的區別和聯系，能根據考核的不同要求對相關物聯網數據處理知識進行論證，做出正確的解釋和說明。此外；并能根據考核的不同要求分析各種不同領域或背景下所使用的數據處理和分析技術簡單應用（Ⅲ）：要求考生能夠根據已知的物聯網數據處理對象的一個應用需求或應用背景，提出可以采用的數據處理技術，比如感知數據庫管理方面、實時事務調度管理方面、大數據存儲與管理方面、大數據分析方法等。能夠分析和解決有關的物聯網大數據理論問題和實際問題，并得出正確的結論。綜合應用（Ⅳ）：要求考生能夠根據已知的物聯網大數據的多個知識點，分析和解決有關的物聯網理論問題和實際問題，并得出解決問題的綜合方案。對物聯網大數據處理的相關應用具有一定的分析和設計能力，在相關產品的組成結構、功能特點及數據處理技術方面具有一些基本的見解。Ⅲ 課程內容與考核要求第一章 物聯網與產業發展一、學習目的與要求通過本章學習，要求了解物聯網產業的發展歷史，理解傳感器與智能硬件的概念，了解物聯網服務平臺，了解工業4.0與CPS；理解物聯網與大數據的概念及關系；理解物聯網產業面臨的挑戰，理解物聯網操作系統與數據庫，理解物聯網大數據處理與應用。二、課程內容（考試內容）1.1聯網產業的發展 1.1.1傳感器與智能硬件 1.1.2物聯網服務平臺 1.1.3工業4.0與CPS1.2物聯網與大數據1.3物聯網產業的機遇與挑戰 1.3.1物聯網產業面臨的挑戰 1.3.2物聯網操作系統與數據庫 1.3.3物聯網大數據處理與應用三、考核知識點與考核要求1. 物聯網產業的發展領會：傳感器與智能硬件。簡單應用：物聯網服務平臺，工業4.0與CPS2. 物聯網與大數據領會：物聯網與大數據的概念、關系、作用意義。3. 物聯網產業的機遇與挑戰領會：物聯網產業面臨的挑戰，物聯網操作系統與數據庫，物聯網大數據處理與應用。四、本章關鍵問題物聯網與大數據，物聯網操作系統與數據庫，物聯網大數據處理與應用。第二章 大數據處理技術的發展一、學習目的與要求通過本章學習，掌握大數據的基本概念及其剖析過程，理解大數據的若干關鍵技術，并進行適當的總結，理解大數據技術對整個產業鏈的調整和重構，對經濟轉型的推動作用。理解大數據技術為發展物聯網等新興產業和促進傳統產業升級提供的基礎作用。了解大數據面臨的挑戰，尤其是其規模效應給數據存儲、管理及分析所帶來的巨大壓力，了解大數據技術的發展趨勢。本章要求從三個方面學習大數據處理技術的發展，包括大數據存儲和管理技術，大數據計算技術和大數據分析技術。二、課程內容（考試內容）2.1大數據存儲和管理技術 2.1.1面向大數據的文件系統 2.1.2面向大數據的數據庫系統2.2大數據計算技術 2.2．1批處理計算模式 2.2.2交互式查詢計算模式 2.2.3流處理計算模式 2.2.4大數據實時處理的框架：Lambda架構2.3大數據分析技術 2.3.1傳統結構化數據分析 2.3.2文本數據分析 2.3.3多媒體數據分析 2.3.4社交網絡數據分析 2.3.5物聯網傳感數據分析 2.3.6大數據分析技術的發展趨勢三、考核知識點與考核要求1. 大數據存儲和管理技術識記：三類面向大數據的數據庫系統。領會：面向大數據的文件系統，面向大數據的數據庫系統的基本思想和應用。2. 大數據計算技術識記：大數據的兩類處理模式；流處理計算模式的概念和兩種典型的處理方式。領會：批量數據的3個特征。簡單應用：MapReduce編程模型，理解其技術優勢和局限性；交互式數據處理的代表系統Spark系統、Dremel系統；流式數據處理的典型應用Storm系統、Samza系統、Spark Streaming系統；大數據實時處理的框架：Lambda架構。3. 大數據分析技術識記：針對不同數據類型，所采用的大數據分析技術；文本分析技術中的信息提取、主題建模、摘要、分類、聚類、問答系統和觀點挖掘技術。領會：大數據分析技術的必要性；傳統結構化數據分析；文本數據分析；多媒體數據分析；社交網絡數據分析；物聯網傳感數據分析；大數據分析技術的發展趨勢四、本章關鍵問題面向大數據的數據庫系統、批處理計算模式、大數據實時處理的架構Lambda架構、大數據分析技術。第2篇 技術解析篇第三章 物聯網大數據技術體系一、學習目的與要求本章包括物聯網中的大數據挑戰和技術體系。通過本章學習，對物聯網中產生的感知數據發展有較為深入的理解，了解從工業企業自動化生產線及設備上的運行數據，以及隨著工業4.0推進而帶來的數據爆炸，感知數據呈現幾何級數增長的數量對物聯網大數據的獲取、傳輸、存儲、分析、挖掘及應用面臨的各種挑戰。理解互聯網大數據和物聯網大數據的異同，掌握物聯網大數據的特征5HV。了解物聯網大數據應用面臨的技術需求及價值目標，及在此基礎上進一步提出的面向物聯網大數據進行處理分析的技術體系。掌握感知數據的概念，掌握物聯網應用中的兩種數據即結構化數據和半結構化數據。掌握物聯網中感知數據處理的三個層次，感知數據的采集與傳輸、感知數據管理與實時計算、物聯網平臺與大數據中心。二、課程內容（考試內容）3.1物聯網中的大數據挑戰 3.1.1互聯網大數據的特征 3.1.2物聯網大數據的特征3.2技術體系 3.2.1感知數據采集與傳輸 3.2.2感知數據管理與實時計算 3.2.3物聯網平臺與大數據中心三、考核知識點與考核要求1. 物聯網中的大數據挑戰識記：互聯網大數據的特征5V；物聯網大數據的特征5HV。領會：數據的可視化；工業大數據分析技術所需解決的”3B”問題；物聯網大數據的管理與處理分析需要解決的問題與挑戰；感知數據管理與實時計算。2. 技術體系識記：感知數據采集與傳輸所實現的功能；物聯網網關的分類；物聯網網關需要具備的能力。領會：感知數據處理的三層體系結構；。簡單應用：物聯網大數據處理平臺的部署；物聯網平臺。四、本章關鍵問題互聯網大數據與物聯網大數據的特征、異同點，感知數據采集與傳輸，物聯網平臺與大數據中心。第四章 感知數據特性與模型一、學習目的與要求通過本章學習，理解感知數據的特性，掌握感知數據的表示，理解感知數據模型。掌握感知數據庫的定義，能夠對感知數據庫與傳統數據庫及NoSQL的異同進行簡要的分析，掌握感知數據庫系統與傳統的流數據處理系統共同點和差異之處。 二、課程內容（考試內容）4.1 感知數據的特性分析4.1.1 常用的感知數據類型4.1.2 感知數據的主要特征4.2 感知數據的表示與組織4.2.1 物聯網數據模型4.2.2 時態對象模型4.3 感知數據庫的定位4.3.1 感知數據庫的定位4.3.2 感知數據庫的特征4.4 感知數據庫與傳統數據庫4.4.1 感知數據庫與關系數據庫4.4.2 感知數據庫與實時數據庫系統4.4.3 感知數據庫與工廠數據庫系統4.4.4 感知數據庫與流數據處理系統三、考核知識點與考核要求1. 感知數據的特性分析識記：常用的感知數據類型，感知數據的主要特征。領會：時態屬性帶來數據時態一致性要求所包括的兩個方面，事件觸發中的兩類事件。2. 感知數據的表示與組織識記：感知對象的屬性。領會：物聯網數據模型，時態對象數據模型。簡單應用：OPC對象模型。3. 感知數據庫的定位識記：感知數據庫的定位。領會：感知數據庫的功能定位，感知數據庫的基本特征。4. 感知數據庫與傳統數據庫識記：流數據的概念，流數據應用需求的例子。領會：關系數據庫和感知數據庫的對比，感知數據庫與實時數據庫系統，感知數據庫與工廠數據庫系統，感知數據庫與流數據處理系統，流數據處理系統的需求來源，感知數據庫系統與傳統的流數據處理系統共同點和差異之處。四、本章關鍵問題感知數據的特性分析，物聯網數據模型，時態對象數據模型，感知數據庫的功能定位和基本特征，感知數據庫系統與傳統的流數據處理系統共同點和差異之處。第五章 感知數據庫管理系統一、學習目的與要求基于感知數據的特征需求，本章闡述感知數據庫系統的設計、架構及其中的關鍵技術。通過本章學習，掌握感知數據庫系統的設計原則和設計框架。掌握感知數據庫的分布部署在系統分級、分區管理的需求，以及在高性能與高可用性上的需求，理解系統高可用性的分布部署模式是整個系統分布部署的基礎環節。理解感知數據庫所面臨的數據多元性及處理需求的特殊性，掌握感知數據庫系統設計中多方面的關鍵技術，從數據采集到數據存儲管理，以及數據處理、查詢訪問的多個方面。在概念掌握之外，要求對各種模型、體系結構、算法等有較多的理解。二、課程內容（考試內容）5.1 感知數據庫的總體設計5.1.1 總體設計的主要原則5.1.2 感知數據庫的設計框架5.2 感知數據庫的分布部署體系5.2.1 系統的集群部署模式5.2.2 多層級的系統部署體系5.2.3 服務分布的部署體系5.3 感知數據庫中的關鍵技術5.3.1 智能設備及傳感器接口技術 5.3.2 流數據實時在線處理技術5.3.3 事件驅動的高效處理機制5.3.4 感知數據的壓縮存儲技術三、考核知識點與考核要求1．感知數據庫的總體設計識記：感知數據庫系統的設計需要滿足及遵循的原則，網閘設計及其結構。領會：數據采集協調器，數據組織管理器，內存數據管理器，歷史數據管理器，實時事務調度中心，數據訂閱/發布中心，數據同步服務器，內網處理單元，外網處理單元，隔離與交換控制單元，日志管理器，應用接口服務器。簡單應用：感知數據庫的設計框架。2．感知數據庫的分布部署體系識記：兩種不同標準下的集群分類，高性能集群的目的、應用環境，負載均衡集群概念、目的、應用場合，高可用性集群概念、應用領域，數據庫集群的實現方式。領會：幾種典型數據庫集群如Oracle實時應用集群（RAC）、IBM DB2，MSCS和鏡像等，多層次的系統部署體系，服務分布的部署體系。簡單應用：雙機熱備與鏡像，數據庫系統的雙機部署模式，多點集群，數據庫系統的三級部署體系，感知數據庫系統的服務分布部署體系。3. 感知數據庫中的關鍵技術識記：插件特點，感知數據庫工作原理（結合圖文），事件驅動系統，事件驅動框架（EDA）概念，給予訂閱/發布的實時消息通信體系提供的功能，在線壓縮技術更加有效的幾種情況。領會：智能設備及傳感器接口技術，感知數據采集協調器的框架和插件模型，感知數據采集協調器的數據交互模型，感知數據的流數據處理典型特征，流數據在線處理過程針對采集的數據進行的常規處理內容，EDA特點，數據的訂閱/發布，消息的調度對消息傳輸的影響，復合事件處理技術，規則語言和持續查詢語言的比較，用復雜事件處理技術替代普通編程語言來實現應用的好處，感知數據的壓縮存儲技術，數據存儲管理采用的管理體制，數據在線壓縮技術，感知數據的索引技術。簡單應用：系統文件隊列支持定制的舉例（SEG-Y或SEG-D），數據在線壓縮技術中的死去壓縮算法，旋轉門趨勢化（SDT）算法。四、本章關鍵問題感知數據采集協調器的框架和插件模型，感知數據采集協調器的數據交互模型，感知數據庫的分布部署體系，感知數據的流數據處理，復合事件處理技術，數據在線壓縮技術，感知數據的索引技術。第六章 實時事務調度處理技術一、學習目的與要求本章主要針對物聯網、工業4.0、智能制造等理念及產業的發展中物物之間及人與物之間越來越強的的感知與交互需求，分析感知事物的特性，探討感知事務的調度方法及并發控制方法，基于目前硬件的計算能力與系統架構，提出可行的、優化的實時事務執行框架及模式。通過本章學習，掌握常見事務及其特性，理解事務調度方法和并發控制策略，理解服務器體系結構與發展過程，了解操作系統的多任務機制,理解事務的執行框架與模式，了解系統框架的分析與性能優化。二、課程內容（考試內容）6.1 常見事務特性分析6.1.1 感知事務6.1.2 觸發事務6.1.3 用戶事務6.2 事務調度與并發控制6.2.1 事務的調度方法6.2.2 并發控制策略6.3 服務器與操作系統6.3.1 服務器體系結構與發展6.3.2 操作系統的多任務機制6.4 事務的執行框架與模式6.4.1 通用系統模型與調度方法6.4.2 事務處理框架的設計模式6.5 系統框架的分析與性能優化三、考核知識點與考核要求1．常見事務特性分析識記：事務分類，感知事務、觸發事務、用戶事務的概念，觸發事務分類。領會：觸發事務的任務和特點。2．事務調度與并發控制識記：事務調度的目標，方法的目的，領會：事務調度和控制的過程，并發控制策略。3．服務器與操作系統識記：商用服務器分類，持續、進程與線程的概念。領會：SMP體系結構的概念及特征，NUMA體系結構的概念及特征,MPP體系結構的概念及特征,NUMA和MPP的比較（異同點），進程與線程的關系。簡單應用：Linux操作系統體系結構，Linux進程調度原理。4．事務的執行框架與模式識記：數據分類。領會：通用的數據庫系統模型（結合圖文），通用系統模型與調度方法，事務處理框架的設計模式，單進程多線程模式，單進程多線程的事務調度處理框架，基于功能劃分的多進程模式，基于功能劃分的數據庫多進程系統模型，基于數據分區的多進程框架。簡單應用：多進程模型的優點。5系統框架的分析與性能優化識記：系統設計模式分類，多線程服務程序中的線程分類。領會：系統框架的分析過程，性能優化的因素。四、本章關鍵問題本章難點在于事務的執行框架與模式，主要有通用的數據庫系統模型（結合圖文），通用系統模型與調度方法，事務處理框架的設計模式，單進程多線程模式，基于功能劃分的多進程模式，基于數據分區的多進程框架。第七章 物聯網大數據存儲與管理一、學習目的與要求本章是課程的重點章節之一，在學習本章內容之前，需要對物聯網中大量的傳感器采集的數據連續不斷地向物聯網大數據中心傳遞形成的海量物聯網數據之特點有較好的掌握，包括海量性、高緯度和部分稀疏特性、實況相關性、序列性與動態流式特性等，針對這些物聯網大數據存儲與管理的挑戰，本章主要學習利用云文件系統、NoSQL數據庫系統來解決問題。通過本章學習，要求掌握云文件系統的關鍵技術，理解HDFS的目標和基本假設條件，掌握HDFS體系架構，理解HDFS實現中的性能保障；掌握NoSQL數據庫關鍵技術，理解NoSQL數據庫的概念，理解NoSQL數據庫的優勢和劣勢，掌握HBase數據庫系統概念、HBase數據模型和HBase系統架構。理解基于NoSQL數據庫的物聯網大數據存儲于管理，掌握基于HBase的物聯網數據庫設計技術，掌握基于HBase的物聯網數據庫寫入技術。二、課程內容（考試內容）7.1 云文件系統的關鍵技術 997.1.1 HDFS的目標和基本假設條件 997.1.2 HDFS體系架構 1007.1.3 性能保障 1027.2 NoSQL數據庫關鍵技術 1067.2.1 NoSQL數據庫概述 1067.2.2 基于NoSQL數據庫的物聯網大數據存儲與管理三、考核知識點與考核要求1．云文件系統的關鍵技術識記：系統設計的核心目標。領會：硬件失敗，流式數據存取，大數據集，簡單的一致性模型，異構軟硬件平臺的可移植性，HDFS體系架構（HDFS邏輯分層結構），HDFS的性能保障（HDFS元數據操作、數據塊的讀/寫、錯誤處理、垃圾回收、訪問接口）。簡單應用：HDFS物理部署實例，HDFS系統管理，HDFS的機架感知技術（原理、數據庫復制策略、網絡距離的計算、節點組織圖）。2．NoSQL數據庫關鍵技術識記：常見的NoSQL數據庫及其分類，HBase數據模型（表，行，版本號，數據項）,HBase的表和分區、分區和存儲塊概念，HBase訪問接口。領會：NoSQL數據庫的優勢和劣勢，HBase數據庫系統，HBase系統架構，集群組織架構，基于NoSQL數據庫的物聯網大數據存儲與管理，基于HBase的物聯網數據庫設計技術（RowKey的設計、列族和列的設計），基于HBase的物聯網數據庫寫入技術，HBase數據數據緩沖。簡單應用：數據存儲服務詳細設計。四、本章關鍵問題重點和難點：HDFS的機架感知技術，NoSQL數據庫的優勢和劣勢，HBase數據庫系統，HBase系統架構，基于HBase的物聯網數據庫設計技術，基于HBase的物聯網數據庫寫入技術。第八章 物聯網大數據計算與分析一、學習目的與要求本章是課程的最重要的章節之一，需要學生從理論上深入學習物聯網大數據的計算與分析技術。通過本章學習，要求理解物聯網大數據批處理計算，掌握MapReduce的設計思想，理解MapReduce的工作機制，理解MapReduce在物聯網大數據中的應用，掌握物聯網大數據交互式查詢，理解原生SQL on HBase，理解SQL on Hadoop，掌握基于HBase的交互式查詢，掌握物聯網大數據流式計算，掌握流式計算的需求特點，掌握流數據基本概念，掌握流數據查詢操作，掌握基于云計算的流數據聚集查詢操作，掌握流數據定制化服務，理解評測基準，理解Spark Streaming及其在物聯網大數據中的應用，理解物聯網大數據分析計算，理解物聯網大數據OLAP多維分析，理解ROLAP方式的交互式大數據分析，理解MOLAP方式的多維交叉大數據分析，理解物聯網大數據深層次分析，理解城市交通物聯網大數據分析流程和工業物聯網大數據分析流程。二、課程內容（考試內容）8.1 物聯網大數據批處理計算8.1.1 MapReduce的設計思想8.1.2 MapReduce的工作機制8.1.3 MapReduce在物聯網大數據中的應用8.2 物聯網大數據交互式查詢8.2.1 原生SQL on HBase8.2.2 SQL on Hadoop8.2.3 基于HBase的交互式查詢8.3 物聯網大數據流式計算8.3.1 流式計算的需求特點8.3.2 流數據基本概念8.3.3 流數據查詢操作8.3.4 流數據定制化服務8.3.5 評測基準8.3.6 Spark Streaming及其在物聯網大數據中的應用8.4 物聯網大數據分析 1508.4.1 物聯網大數據OLAP多維分析8.4.2 物聯網大數據深層次分析三、考核知識點與考核要求1．物聯網大數據批處理計算識記：MapReduce的設計思想，工業物聯網數據類型。領會：，MapReduce的工作機制，MapReduce的總工作流程。簡單應用：MapReduce在物聯網大數據中的應用。2．物聯網大數據交互式查詢識記：Hive概念。領會：原生SQL On HBase，SQL on Hadoop，基于HBase的交互式查詢。簡單應用：基于SQL語句的底層數據庫調度過程。3. 物聯網大數據流式計算識記：流數據基本概念，流數據處理系統分類，固定窗口，界標窗口，華東窗口，窗格式窗口和翻滾式窗口，流式處理規則（轉換規則、檢測規則），聲明式語言和命令式語言，常用的算子運算符。領會：感知數據流式計算的需求特點，流數據處理的一般功能模型，流數據處理的算子，流管理運算符，Bag集合運算符，聚集操作運算符，“增量式”思想的應用，流數據查詢操作，流數據連接查詢操作，基于云計算的流數據聚集查詢操作，流數據上的滑動窗口聚集操作優化方法，流數據中的高級查詢操作，利用云計算環境提升流數據查詢處理性能和效率的思想，流數據定制化服務，評測基準。簡單應用：大規模流數據服務模型與傳統數據服務模型的比較，Stream Feed流數據服務抽象模型，流數據服務托管案例。綜合應用：Spark Streaming及其在物聯網大數據中的應用（優勢，場景分析，示例設計，示例實現）。4. 物聯網大數據分析識記：OLAP的實現方法。領會：傳統數據分析和物聯網大數據分析的對比，物聯網大數據OLAP多維分析，ROLAP方式的交互式大數據分析，MOLAP方式的多維交叉大數據分析，物聯網大數據深層次分析，FP-Growth算法思路，基于Spark的并行FP-Growth處理計算框架及算法的計算步驟。簡單應用：Kylin的方案和架構，Pinot的方案、架構和實時數據分析，Druid的方案和架構。綜合應用：城市交通物聯網大數據分析流程（結合圖文）：問題建模，準備數據，使用算法或訓練算法，工業物聯網大數據分析流程（結合圖文）：信號處理，特征提取，健康評估，健康預測與診斷，可視化呈現與可視化分析。四、本章關鍵問題重點和難點：MapReduce的工作機制，流數據查詢操作，物聯網大數據OLAP多維分析，物聯網大數據深層次分析，城市交通物聯網大數據分析流程，工業物聯網大數據分析流程。第3篇 產品研發篇第九章 物聯網網關CubeOne一、學習目的與要求本章為物聯網大數據處理系統的具體應用，主要介紹物聯網網關CubeOne，通過本章學習，要求了解工業物聯網網關CubeOne的基本情況，理解無線傳感器網絡網關，了解無線傳感器網絡概述，理解ZigBee-WiFi網關，理解ZigBee-WiFi網絡應用案例。二、課程內容（考試內容）9.1 工業物聯網網關9.1.1 CubeOne產品概述9.1.2 CubeOne功能特點9.1.3 CubeOne的應用領域9.2 無線傳感器網絡網關9.2.1 無線傳感器網絡概述9.2.2 ZigBee-WiFi網關9.2.3 ZigBee網絡應用案例三、考核知識點與考核要求1. 工業物聯網網關識記：CubeOne功能特點。領會：CubeOne產品概述，CubeOne的應用領域。2. 無線傳感器網絡網關識記：無線傳感器網絡特點。領會：無線傳感器網絡概述，無線傳感器網絡典型結構，ZigBee-WiFi網關。簡單應用，ZigBee-WiFi網絡應用案例四、本章關鍵問題重點：無線傳感器網絡概述，無線傳感器網絡典型結構，ZigBee-WiFi網絡應用案例。第十章 ChinDB感知數據庫系統一、學習目的與要求本章為物聯網大數據處理系統的實踐部分，主要介紹ChinDB感知數據庫系統。通過本章學習，要求理解ChinDB概念，理解ChinDB組成與功能特點，理解ChinDB數據組織管理，，理解ECA規則與實時計算，掌握ChinDB的HA方案，了解HA概念及模式分類，理解ChinDB HA的兩種部署模式，理解物聯網應用平臺，了解平臺結構和主要特點，了解應用領域與應用案例。二、課程內容（考試內容）10.1 ChinDB系統概述10.2 ChinDB組成與功能特點10.3 ChinDB數據組織管理10.3.1 標簽點及其屬性10.3.2 標簽點的組織方式10.3.3 關系數據管理10.3.4 歷史數據管理10.4 ECA規則與實時計算10.5 ChinDB的HA方案10.5.1 HA概述及模式分類10.5.2 ChinDB HA的部署模式10.6 物聯網應用平臺10.6.1 物聯網平臺概述10.6.2 平臺主要特點10.6.3 應用領域與應用案例三、考核知識點與考核要求1. ChinDB系統概述識記：ChinDB系統概念。領會：ChinDB的特點，支持的操作系統，優點，應用情況。2. ChinDB組成與功能特點識記：關系數據與斷面查詢關聯，關系數據與歷史查詢關聯。領會ChinDB系統組成（結合圖），ChinDB的主要功能特點，。3. ChinDB數據組織管理識記：標簽及其屬性，標簽點的組織方式，傳統組織方式中標簽點的組織和索引分層。領會：面向對象組織方式，關系數據管理，ChinDB歷史數據管理。4. ECA規則與實時計算識記：ECA概念，領會：基于ECA規則的實時計算主要實現的功能。5. ChinDB的HA方案識記：HA概念，定義式，高可用的三種工作模式。領會：備份服務器系統，ChinDB HA的部署模式，共享存儲部署模式（結合圖文），非共享存儲部署模式（結合圖文）。6.物聯網應用平臺識記：ChinPMC概念。領會：物聯網平臺概述，平臺主要特點。簡單應用：ChinPMC物聯網應用平臺。綜合應用：應用領域與應用案例，工業企業應用案例（結合圖），智慧礦山應用案例（結合圖），智能化裝備應用案例（結合圖），廣域監測監控應用案例（結合圖）。四、本章關鍵問題重點：ECA規則與實時計算，ChinDB的HA方案，ChinPMC物聯網應用平臺，應用領域與應用案例。第十一章 DeCloud物聯大數據云平臺一、學習目的與要求本章為物聯網大數據處理的實踐部分，主要關注DeCloud物聯網大數據的云平臺。通過本章學習，要求掌握DeCloud組成，理解DeCloud軟件概述，掌握DeCloud通信服務，掌握DeCloud通信服務，掌握DeCloud計算服務，了解DeCloud數據發布/訂閱服務，了解DeCloud在智能交通領域的應用，了解DeCloud在教育物聯網云服務平臺中的應用，了解DeCloud在電梯安全監控中的應用，了解DeCloud在高精度位置服務中的應用。二、課程內容（考試內容）11.1 DeCloud組成11.1.1 軟件概述11.1.2 通信服務11.1.3 計算服務11.1.4 存儲服務11.1.5 數據發布/訂閱服務11.2 DeCloud在智能交通領域的應用11.3 DeCloud在教育物聯網云服務平臺中的應用11.4 DeCloud在電廠設備故障預警的應用11.5 DeCloud在電梯安全監控中的應用11.6 DeCloud在高精度位置服務中的應用三、考核知識點與考核要求1. DeCloud組成識記：DeCloud軟件概述，DeCloud核心功能定位，DeCloud特點，。領會：DeCloud通信服務（結合圖文），DeCloud通信服務的構造，DeCloud計算服務（結合圖文），DeCloud計算服務的構造，DeCloud的存儲服務，DeCloud數據發布/訂閱服務。2. DeCloud在智能交通領域的應用領會：DeCloud4ITS的優勢，DeCloud4ITS在線運行的任務，違章嫌疑車輛處理，車輛實時布控預警，實時佳通路況及交通流信息服務，城市車輛綜合分析。簡單應用：DeCloud4I5S交通數據處理平臺，基于DeCloud平臺的智能交通應用系統，3. DeCloud在教育物聯網云服務平臺中的應用識記：DeCloud教育物聯網云服務平臺中傳感數據的生命周期。領會：DeCloud教育物聯網云服務平臺總體架構，。4. DeCloud在電廠設備故障預警中的應用識記：電廠設備故障的常用檢測方法，單側點數據分析中的孤立點檢測法，多測點數據分析中的相關性分析，皮爾遜相關系統公式。領會：單側點數據分析，多測點數據分析。5. DeCloud在電梯安全監控中的應用識記：國家對電梯運行標準出臺的重要政策。DeCloud電梯安全監控云服務系統目標。領會：DeCloud電梯安全監控云服務系統的運行原理、可選配的傳感器。簡單應用：DeCloud電梯安全監管應用系統向用戶提供的功能。6. DeCloud在高精度位置服務中的應用簡單應用：大規模差分數據播發服務工作原理，高精度位置服務平臺結構綜合應用：基于高精度位置服務的軌跡及手機GPS對比四、本章關鍵問題重點：DeCloud組成，DeCloud在智能交通領域的應用，DeCloud在電廠設備故障預警中的應用。Ⅳ 關于大綱的說明與考核實施要求一、自學考試大綱的目的和作用課程自學考試大綱是根據專業自學考試計劃的要求，結合自學考試的特點而確定。其目的是對個人自學、社會助學和課程考試命題進行指導和規定。課程自學考試大綱明確了課程學習的內容以及深廣度，規定了課程自學考試的范圍和標準。因此，它是編寫自學考試教材和輔導書的依據，是社會助學組織進行自學輔導的依據，是自學者學習教材、掌握課程內容知識范圍和程度的依據，也是進行自學考試命題的依據。二、課程自學考試大綱與教材的關系課程自學考試大綱是進行學習和考核的依據，教材是學習掌握課程知識的基本內容與范圍，教材的內容是大綱所規定的課程知識和內容的擴展與發揮。本大綱與教材所體現的課程內容完全一致；大綱里面的課程內容和考核知識點， 在教材里都可以找到。三、關于自學教材本課程使用教材為：《物聯網大數據處理技術與實踐》，王桂玲、王強等編著，電子工業出版社，2017年版。四、關于自學要求和自學方法的指導本大綱的課程基本要求是依據專業考試計劃和專業培養目標而確定的。課程基本要求還明確了課程的基本內容，以及對基本內容掌握的程度。基本要求中的知識點構成了課程內容的主體部分。因此，課程基本內容掌握程度、課程考核知識點是高等教育自學考試考核的主要內容。根據物聯網工程專業（本科段）的要求，以及本課程的特點，考生在進行自學時應注意以下幾點：1．在學習本課程前，應仔細閱讀課程大綱的第一部分，了解課程的性質、地位和任務，熟知課程的基本要求以及與本課程有關的課程的聯系，以便使以后的學習能緊緊圍繞課程的基本要求。2．在閱讀某一章教材內容前，考生應先認真閱讀大綱中關于該章的考核知識點、自學要求和考核要求，注意對各知識點的能力層次要求，以便在閱讀教材時做到心中有數，有的放矢。3．閱讀教材時，考生應根據大綱要求，要逐段細讀，逐句推敲，集中精力，吃透每個知識點，對基本概念必須深刻理解，基本原理必須牢固掌握，在閱讀中遇到個別細節問題不清楚，在不影響繼續學習的前提下，可暫時擱置。4．學完教材的每一章內容后，考生應針對考試大綱列出的關鍵問題認真復習，以便進一步理解、消化和鞏固所學知識，增強分析問題、解決問題的能力。五、應考指導1．如何學習很好的計劃和組織是你學習成功的法寶。如果考生正在接受培訓學習，一定要跟緊課程并完成作業。為了在考試中做出滿意的回答，考生必須對所學課程內容有很好的理解，如使用“行動計劃表”來監控你的學習進展。考生閱讀課本時可以做讀書筆記，可以用彩筆來標注需要重點注意的內容，如紅色代表重點、綠色代表需要深入研究的領域、黃色代表可以運用在工作之中。此外，還可以在空白處記錄相關網站與文章。2．如何考試卷面整潔非常重要。書寫工整，段落與間距合理，卷面賞心悅目有助于教師評分，教師只能為他能看懂的內容打分。回答所提出的問題。要回答所問的問題，而不是回答你自己樂意回答的問題！避免超過問題的范圍。3．如何處理緊張情緒 正確處理對失敗的懼怕，要正面思考。如果可能，請教已經通過該科目考試的人，問他們一些問題。做深呼吸放松，這有助于使頭腦清醒，緩解緊張情緒。考試前合理膳食，保持旺盛精力，保持冷靜。4．如何克服心理障礙這是一個普遍存在的問題！如果你在考試中出現這種情況，可以試試下列方法：使用“線索”紙條。進入考場之前，將記憶“線索”記在紙條上。但你不能將紙條帶進考場，因此當你閱讀考卷時，一旦有了思路就快速記下。按自己的步調進行答卷。為每個考題或部分合理分配時間，并按此時間安排進行。要做到心理障礙的排除，還可以試著在考試的時候一邊瀏覽試題一邊回顧書本大綱，梳理出一個題目分布的框架，這樣你就會對答題有進一步的把握。六、對社會助學的要求1．社會助學者應根據本大綱規定的考試內容和考核目標，認真鉆研指定教材，明確本課程的特點和學習要求，對考生進行切實有效的輔導，避免考生在自學時可能出現的各種偏向，把握社會助學的正確方向。2．社會助學者應對考生進行學習方法的指導，向考生提倡“認真閱讀教材，刻苦鉆研教材，主動提出問題，依靠自己學懂”的學習方法。3．社會助學者應注意對考生自學能力的培養，使考生逐步學會獨立學習，在自學過程中善于提出問題、分析問題、做出判斷和解決問題。對考生提出的問題，社會助學者應以啟發引導為主。4．社會助學者應努力引導考生將識記、領會、簡單應用和綜合應用聯系起來，將基本知識轉化為識記工作能力，全面培養和提升考生的綜合素質。5．社會助學者應指導考生正確處理重點和一般的關系，幫助考生掌握全部考試內容和考核知識點，切勿孤立地抓重點，將考生引向猜題和押題。七、對考核內容的說明本課程要求考生學習和掌握的知識點內容都作為考核的內容。課程中各章的內容均由若干知識點組成，在自學考試中成為考核知識點。因此，課程自學考試大綱中所規定的考試內容是以分解為考核知識點的方式給出的。由于各知識點在課程中的地位、作用以及知識自身的特點不同，自學考試將對各知識點分別按四個認知（或叫能力）層次確定其考核要求。八、關于考試命題的若干規定1．本課程采用閉卷考試的方法，考試時間的長度為150分鐘。對本課程考試過程中除攜帶必要的答題用的簽字筆和橡皮外，嚴禁攜帶其他與考試無關的工具。2．本大綱各章所規定的基本要求、知識點及知識點下的知識細目，都屬于考核的內容。考試命題既要覆蓋到章，又要避免面面俱到。要注意突出課程的重點、章節重點，加大重點內容的覆蓋度。3、命題不應有超出大綱中考核知識點范圍的題，考核目標不得高于大綱中所規定的相應的最高能力層次要求。命題應著重考核考生對基本概念、基本知識和基本理論是否了解或掌握，對基本方法是否會用或熟練。不應出與基本要求不符的偏題或怪題。4、本課程在試卷中對不同能力層次要求的分數比例大致為：識記占20%，領會占30%，簡單應用占30%，綜合應用占20%。5、要合理安排試題的難易程度，試題的難度可分為：易、較易、較難和難四個等級。每份試卷中不同難度試題的分數比例一般為：2:3:3:2。必須注意，試題的難易程度與能力層次有一定的聯系，但二者不是等同的概念，在各個能力層次中都存在著不同難度的試題。6、課程考試命題的主要題型一般有單項選擇題、判斷改錯題、填空題、名詞解釋題、簡答題和論述題。在命題工作中必須按照本課程大綱中所規定的題型命制，考試試卷使用的題型可以略少，但不能超出本課程對題型的規定。附錄 題型舉例一、單項選擇題（四個備選答案只有一個正確，將其選出，并填入題內括號中）1、DeCloud電廠設備故障預警系統的核心是：（B） A. DeCloud存儲服務 B. DeCloud計算服務 C. DeCloud數據發布/訂閱服務 D. DeCloud通信服務2、深度學習通常使用的網絡是：（C） A. 電信網絡 B. 無線傳感器網絡　 C.　人工神經網絡 D.　數據通信網絡二、判斷改錯題1、社交網絡數據中的聯系數據是一類典型的“元數據”。（×）改正：元數據 圖數據2、大數據是第二經濟的核心內涵和關鍵支撐。（√） 三、填空題1、在Linux中，一個進程在內存中有三部分數據：“數據段”、“_________”與“代碼段”。（堆棧段）2、Lambda架構是由Strom的作者Nathan Marz提出的一個_________框架。（實時大數據處理） 四、名詞解釋1、MSCS答：Microsoft SQL Cluster Server,失敗轉移集群，是一種基于共享磁盤的高可用集群是操作系統級別的集群。2、EDA答：Event-Driven Architecture，事件驅動框架，是實時事件處理的軟件框架。五、簡答題1、簡述互聯網大數據的特征。答：（1）數據體量巨大； （2）數據類型繁多； （3）價值密度大； （4）處理速度快； （5）結果的真實性。2、簡述流數據上的滑動窗口聚集操作的并行劃分優化方法。答：基本的滑動窗口劃分方法以窗口為單位將其劃分到多個節點上執行，這種方法雖然簡單，但由于連續的滑動窗口之間存在元組重疊的情況，導致同一元組劃分到多個節點上重復處理。基于批量窗口的劃分方法將多個窗口的元組作為一個單元劃分到節點上進行處理，同一分片中的元組不需重復處理了，減少了計算開銷和空間開銷。由于劃分代價和計算代價都會隨重疊元組數目提升而提升，因此，當窗口太大、流數據的達到速度太高時，基本窗口和批量窗口的并行處理方法不具有好的可擴展性。此外，還可以與層次型處理方法結合，在將窗口劃分為子窗口再劃分多多個節點上執行。六、論述題1、基于SQL查詢語句“select SensorID, value,Time from tempSensorTable where Time>=to_date (‘2016-2-24 00:00:03’,’yyyy-mm-dd hh24:mi:ss’) and Time<=to_date (‘2016-2-24 00:00:04’,’yyyy-mm-dd hh24:mi:ss’) and value<=25 and Sensor ID>=’0001’and SensorID<’1001’,論述底層數據庫調度過程。答：（1）判斷查詢是否為統計查詢。SQL中的統計聚合函數包括sum、avg、count、max、min。在底層數據庫調度中，是否包含統計查詢將影響到HBse查詢所使用具體的查詢技術。底層數據庫調用模塊通過解析SQL語法樹，判斷是否有統計聚合函數的關鍵字。（2）調用過濾器或協處理器對HBase進行調度。在該例中的SQL篩選條件中，Time屬于HBase中的Rowkey字段的一部分，value為列族中的列。底層數據庫調度模塊將得到的傳感器ID與時間Time進行拼接，得到行鍵的范圍，調用行鍵與值的組合過濾器對存儲在HBase中的傳感器數值信息進行過濾，將過濾后的Rowkey與傳感器的作為結果返回。2、試述Twitter的Storm系統。答：Storm是一套分布式、可靠、可容錯的用于處理流數據的系統。其流式處理作業被分發至不同類型的組件，每個組件負責一項簡單的、特定的處理任務。Storm可用來實時處理新數據和更新數據庫，兼具容錯性和擴展性。Storm也可被用于連續計算，對流數據做連續查詢，在計算時將結果以流的形式輸出給用戶。它還可被用于分布式RPC，以并行的方式運行復雜運算。Storm提供了簡單的類似于MapReduce的編程模型，降低了實時處理的復雜性。它也擁有良好的水平擴展能力，其流式計算過程是在多個線程、進程和服務器之間并行進行的。Storm利用ZeroMQ作為消息隊列，極大地提高了消息傳遞的速度，系統的設計也保證了消息能得到快速處理。Storm保證每個消息至少能得到一次完整處理。任務失敗時，它會負責從消息源重試消息。