背景

  隨著云計算和大數據的興起和發展,云計算已經成為處理大數據很重要的一個組成部分,伴隨著數據量的幾何增長,傳統的數據挖掘平臺系統架構模式已經遠遠不能適應現代數據挖掘的建設要求。DataSense就是建立在數據立方基礎上針對海量的數據的集中計算與挖掘,建立一套具有高可靠、可在線彈性伸縮,提供數據內在關系和價值的數據挖掘計算平臺。為業務決策提供便捷、快速和高效的平臺支撐。



產品介紹

  DataSense是南京云創大數據科技股份有限公司自主研發的分布式數據挖掘平臺。具有高處理性能和高可靠性,可不間斷接受任務。

  系統實現了大多數主流的數據挖掘功能,包括屬性選擇、分類預測、回歸預測、聚類分析、關聯分析、時間序列分析等6大類。為適應不同業務數據的特點,對同一個數據挖掘功能,通過多種算法進行實現,例如“分類預測”有決策樹、分類回歸樹、支撐向量機分類、神經網絡分類、貝葉斯網絡、樸素貝葉斯、邏輯回歸、分類組合模型等算法可供用戶選用,共計包含了27個數據挖掘算法。



系統基本組成


DataSense分布式數據挖掘平臺總體架構


  DataSense數據挖掘系統分為前臺管理平臺以及后臺數據挖掘平臺兩部分組成。其總體架構如下圖:

總體架構圖


  其中采用了數據立方作為對系統海量數據的底層存儲平臺,提供了高效的ETL工具,能夠對海量數據進行高效快速的清洗。前端WEB部分方便用戶管理和使用系統,對于數據挖掘的結果提供了餅圖、散點圖、折線圖、面積圖、柱狀圖、雷達圖、線箱圖、分布圖、多折線圖、帕累托圖等10類可視化手段,利于用戶對數據和模型的觀察和理解。


DataSense數據挖掘核心模塊系統架構如下圖所示:


DataSense系統架構圖


DataSense系統架構圖

分布式數據挖掘引擎
管理本機上同時運行的多個計算任務,協調資源分配。
分布式挖掘運行時
單獨的數據挖掘程序,負責對切分好的很小單元任務進行處理。
DataSense分布式數據挖掘管理引擎
提供對數據挖掘應用的API,同時負責對整個數據挖掘任務的調度管理。
分布式數據挖掘算法庫
提供對數據挖掘常用的基本挖掘算法,同時用戶可以自己任意添加新的挖掘算法。

分布式數據挖掘可靠性設計


  DataSense采用了JobKeeper作為整個系統的可靠性調度平臺。調度平臺提供了一套基于Web的管理化界面,可以實時的觀察各個處理節點的任務運行狀態,以及任務列表的分配情況,機器的負載情況等。用戶在管理系統界面上可以完成所有的工作,如新任務的添加,任務的手動調度以及集群日志的查看與分析等。


JobKeeper任務分發流程圖


JobKeeper任務分發流程圖

  分布式機器任務處理節點和管理節點之間維護一個心跳時間,實時向管理節點匯報任務處理信息,同時,任務處理節點在每個心跳時間內向管理節點獲取該處理的任務列表,并和 本機正在處理的任務列表進行比對,完成相關的任務調度工作。若一個處理節點在多個心跳時間范圍內仍然沒有主動的和管理節點相互聯系,那么管理節點將會根據 各機器的負載情況,將失去心跳連接的處理節點上的任務進行任務的重新分配和執行。



產品優勢和特點

  大數據挖掘平臺是一套軟件與硬件相結合的系統,其中專有技術和軟件是高附加值部分,可以廣泛應用于需要海量數據挖掘的應用場合(如廣電、電信、互聯網、銀行等領域)。該系統相比傳統數據挖掘系統有如下技術優勢:


高度可靠


  大數據挖掘系統采用云架構,底層數據被分塊存儲在不同的存儲節點上,數據采用先進的1:1容錯機制進行容錯,可在任意損壞一個存儲服務器節點的情況下實現數據完整可靠,系統對外存儲訪問服務不間斷。

  云存儲的管理節點采用了主備雙機鏡像熱備的高可用機制,在主管理節點出現故障時,備管理節點自動接替主管理節點的工作,成為新的主管理節點,待故障節點修復并重啟服務后,它則成為新的備管理節點,保障系統的7×24小時不間斷服務。

  數據挖掘采用了先進任務調度框架JobKeeper,當出現故障節點后,JobKeeper會自動轉移處理任務,保證數據挖掘過程的完整性和正確性。


優異性能


  數據挖掘采用分布式并行計算技術,將海量數據的計算處理轉化為各個存儲節點上并行讀寫和計算,這樣減少了網絡的帶寬使用,提高了數據的處理速度。同時隨著處理節點數目的增多,整個系統的計算性能將呈線性增長。

  同時,JobKeeper采用負載均衡技術,自動均衡各服務器負載,使得各處理節點的性能調節到很高,實現資源優化配置。


海量存儲


  數據挖掘平臺所依賴的數據存儲層數據立方容量僅受限于卷管理服務器內存,可支撐的容量接近無限,經推算,理論容量為1024×1024×1024 PB (1G個PB容量)。這樣為超大規模的數據挖掘提供了數據支撐。


在線伸縮


  大數據挖掘系統擴容非常方便,支持不停止服務的情況下,動態加入新的處理節點,無需任何操作,即實現擴容;同時,無需人為干預,也可以摘下任意節點,系統自動縮小規模而不影響挖掘業務,運行在此節點上的計算將會重新運行到其他節點上。


通用易用


  大數據挖掘系統提供專用的API接口,供開發人員調用。


智能管理


  提供基于WEB的管理控制平臺,所有的管理工作均由大數據挖掘管理模塊自動完成,使用人員無需任何專業知識便可以輕松管理整個系統。通過管理平臺,可以對數據立方中的數據源進行挖掘業務,同時提供挖掘結果的可視化查詢界面,可以方面的查看挖掘結果,為業務決策做支持。此外,用戶還可以通過監控界面可以清楚地了解到每一個處理節點的負載、存儲和運行情況。


快速高效


  大數據挖掘平臺算法庫采用了分布式并行算法能夠在較短的時間內完整各種算法,同時隨著機器的增加系統性能線性增長。



平臺界面介紹


DataSense平臺主頁


DataSense平臺主頁

  DataSense分布式數據挖掘平臺提供對集群機器的負載監控,磁盤監控等基本管理功能。用戶可以快速方便的監控整個集群的運行狀態。


數據導入

  負責對數據的導入,支持數據庫,文件系統兩種數據抽取方式。將數據抽取保存到數據立方。


點擊查看大圖


元數據信息管理

  對數據本身結構信息管理,提供新建、刪除、修改表等操作。


點擊查看大圖

點擊查看大圖


數據管理

  可以查詢不同表的數據信息,可以導出原始數據文件。


點擊查看大圖


任務管理

  由于算法的輸入規模的不同,部分數據挖掘業務可能運行時間過長,系統提供了挖掘任務的查看、管理功能。


點擊查看大圖


用戶管理

  大數據挖掘平臺提供了多用戶使用,系統管理員可以通過用戶信息管理功能實現對系統多用戶的管理。


點擊查看大圖


系統配置

  提供系統平臺自身的參數信息管理。


點擊查看大圖


可視化查詢介紹

  系統提供了對于已有數據的可視化查詢,用戶可以自定義查詢邏輯,系統會在后臺自動提交查詢任務。目前查詢支持了標準SQL 60%的查詢功能。


點擊查看大圖


分類算法介紹

  分類算法目前提供了對于數據集的學習、分類的功能。同時用戶還可以保存數據訓練模型以便決策者或者第三方系統能夠在線獲取模型,并基于模型進行企業經營行為的決策或計算。分類結束后系統會通過可視化的方式展示系統訓練分類后的結果,如下圖所示:


點擊查看大圖

點擊查看大圖


聚類算法介紹

  聚類分是對未知事物的分類,系統提供了對結構化數據的聚類,用戶可以選擇不同緯度的聚類。


點擊查看大圖


  上圖為聚類設計頁面,用戶可以選擇數據源,聚類屬性,聚類本身的相關屬性等信息。


點擊查看大圖


  聚類完成后,系統通過可視化的查詢,目前提供了餅圖、散點圖、折線圖、面積圖、柱狀圖、雷達圖、線箱圖、分布圖、多折線圖、帕累托圖等10類可視化手段,利于用戶對數據和模型的觀察和理解。



市場應用



應用范圍 應用描述
互聯網行業 基于用戶行為的智能推薦
移動行業 智能化移動業務的準確推薦
電力行業 海量運營數據的預測,設備負載預測
... ...



更多下載

聯系方式    總機:400-8855-360



市場部

區域/行業
銷售人員
分 機
手機號
郵 箱
騰訊QQ
項目總監
袁高峰
8008
15051887778
新疆分公司
任家瑞
8019
13851763165
北京 安徽 天津 遼寧 黑龍江 吉林
駱夢陽
8052
13952028557
山東 浙江 四川 廣西
楊  劍
8030
18751869256
內蒙古
何家樂
8031
18616794962
云南、福建、河北、江西、上海
劉立宏
8034
13815414773
山西
劉連鵬
8018
18021395113
海南
左  賽
8033
18017566211
河南 重慶 湖北 貴州 陜西
王  軍
8035
13851877991
廣東
單明月
8056
13770311887
湖南
張緒文心
8027
18602548008
校企合作
張 偉
8028
05157345
新疆
陳鑫磊
15899133730
王 瑋
8054
15077865340
謝久軍
8042
13805153062 
人臉識別
李云龍
025-83700385-8050
15722710158
車牌識別
邱毅林
025-83700385-8022
15950494413
寧夏、甘肅、西藏、青海
何傳武
025-83700385-8086
13601464646
河南辦事處
劉宏
(河南辦事處 主任)
 
13333831976
湖北辦事處
周俊
(湖北辦事處)
 
13995587166
貴州辦事處
湯添智
(貴州辦事處)
13602805009
重慶辦事處
曾娟
(重慶辦事處)
13628383332
安徽辦事處
曹先操
18905605095


教育行業代理

區域/行業 代理商 區域/行業 代理商
安徽省教育行業代理 安徽康源物聯信息科技有限公司(總代理) 福建教育行業代理 福建東方銳智教育科技有限公司
安徽盛馳信息科技有限公司 甘肅教育行業代理 西北師范大學(蘭州微費電子科技有限公司)
廣東省教育行業代理 廣州松子智能科技服務有限公司 廣西教育行業代理 廣西國邦志成科技有限公司(總代理)
廣州萬維視景科技有限公司 廣西智慧城市科技有限公司
貴州省教育行業代理 貴州普創大數據科技有限公司(總代理) 廣西中藍信息工程有限公司
內蒙古省教育行業代理 內蒙古萬富圣達教育科技有限公司(總代理) 南寧西大思科軟件有限責任公司
河北省教育行業代理 河北惠美電子科技有限公司 河南教育行業代理 河南奇酷網絡工程有限公司
析牛(北京)科技有限責任公司 鄭州楓葉科技有限公司(總代理)
石家莊展思科技有限公司 上海微贏信息科技有限公司
湖北省教育行業代理 武漢飛鳥云科技有限公司 湖南教育行業代理 湖南啟云信息科技有限公司
武漢市興鑫高科技發展有限公司 湖南神州宜達信息技術有限公司
武漢偉福賽思電子有限公司 湖南紫薇垣信息系統有限公司
武漢未來空間科技有限公司 長沙眾元網絡有限公司
武漢云中點信息科技有限公司 山西教育行業代理 太原太工天宇教育科技有限公司(總代理)
江蘇省教育行業代理 南京八星網絡科技有限公司 遼寧教育行業代理 遼寧新淞信息技術有限公司(總代理)
南京翼馬數控機床有限公司 沈陽稀有金屬研究所
無錫微迪艾科技有限公司 沈陽中港石化有限公司
江西省教育行業代理 江西臻宸科技有限公司 浙江教育行業代理 杭州帆若信息科技有限公司
南昌鼎秀信息技術有限公司 浙江掌尊信息科技有限公司(總代理)
陜西省教育行業代理 陜西精測電子儀器有限公司(總代理) 上海教育行業代理 上海秉渡教育科技有限公司
陜西朗益通科技有限公司 上海玖數軟件有限公司
西安普飛特科技有限公司 尊虞教育科技(上海)有限公司
山東省教育行業代理 山東利揚大數據科技有限公司 重慶教育行業代理 重慶八城科技有限公司(總代理)
山東今領教育科技有限公司(總代理) 重慶閃易科技有限公司
濟南舜意望特管理咨詢有限公司 重慶卓合科技有限公司
青島華星科電子設備有限公司 四川教育行業代理 成都優越教育咨詢有限公司(總代理)
北京美國英語語言學院 云南省教育行業代理 云南磐恩科技有限公司


校企合作

校企合作基地 北京華科云創大數據科技有限公司
校企合作核心合作伙伴 河南源之點信息技術有限公司
河南省融創教育科技有限公司
濟南凰富信息科技有限公司
杭州瑞楠信息技術有限公司
長沙市眾元網絡技術有限公司
武漢明德云智教育科技有限公司
無錫大云教育科技有限公司


公安行業代理

區域/行業 代理商 聯系人 手機號 郵 箱
山東省公安行業代理 山東聞遠通信技術有限公司 戴宇 18761674128 [email protected]
山東尊啟信息技術有限公司 張為曉 13954141334 [email protected]
山東融御中安信息安全有限公司 趙慧奇 18660862096 [email protected]
海南省公安行業 海南怡盟電子科技有限公司(總代理) 熊桂霞 15298946071 [email protected]
海南阿福企業策劃有限公司 黃振福 18789630559 [email protected]
浙江省公安行業代理 杭州聯洲科技有限公司 史慧平 18968188988 [email protected]
杭州寧杭信息技術有限公司 許其元 13738038938 [email protected]
福建省公安行業代理 杭州寧杭信息技術有限公司 許其元 13738038938 [email protected]
貴州省公安行業總代理 北京云教互動科技有限公司貴州分公司 穆俊玲 17311090120
江蘇省公安行業代理 徐州麒麟物聯網科技有限公司 遲明秋 15862186070 [email protected]
陜西省公安行業總代理 陜西樂享電子科技股份有限公司 張化斌 13909215859 [email protected]
安徽省公安行業總代理 南京點道數據科技有限公司 李天宇 15951823701 [email protected]
河北省公安行業代理 河北惠美電子科技有限公司 張慧 15283231728 [email protected]
重慶市公安行業代理 重慶貴飛科技有限公司 秦龍 18623001736 [email protected]
河南省公安行業代理 河南翰林網絡技術開發有限公司 張磊 15617216616 [email protected]
四川省公安行業總代理 成都國策正義文化傳媒中心 李斌 18620323772 [email protected]
山西省公安行業代理 中泰鼎晟(北京)科技有限公司 田澤雨 13835177588 [email protected]
內蒙古公安行業代理 中泰鼎晟(北京)科技有限公司 田澤雨 13835177588 [email protected]


誠征全國代理    總機:400-8855-360

負責人
分 機
手機號
郵 箱
騰訊QQ
楊  劍
8030
18751869256
點擊這里給我發消息
閱讀:17833次


版權所有 © 2011-2019 南京云創大數據科技股份有限公司(股票代碼:835305), 保留一切權利。(蘇ICP備11060547號-1)  
云創大數據-專業的云存儲、大數據、云計算產品供應商


东京不热