DDP大數據基礎引擎平臺
DDP (Dana Data Platform) 是基于開源技術的成熟大數據商用平臺,包含以Hadoop為主的大數據生態基礎引擎。平臺涵蓋數據采集、存儲計算、分析挖掘、應用建模、可視化展現以及運維管理等多維度能力。終端用戶可通過豐富的平臺接口,完成各行業大規模數據的挖掘分析與應用對接管理。
大數據開發與應用的生態系統,內置完善的開發框架和多種數據服務引擎,集成數據采集、處理、分析和展示能力,幫助廣電用戶高效快速地開發基于融合媒體的大數據應用和分析系統, 以適應互聯網時代新媒體行業對新業務、新能力的拓展需求。
基礎架構產品、數據管理產品以及大數據開發平臺,在廣電行業融合媒體的時代背景下,力圖幫助廣大媒體行業用戶,加快實現廣播電視媒體與互聯網從簡單相“加”邁向深度相“融”。
— 技術引擎分類 —
數據抽取類
包含多種數據源的實時抽取、離線抽取等技術引擎。比如:datax、kettle. sqoop. flume。也包含爬蟲、日志抽取等特定數據場景的數據抽取引擎。同時提供kafka作為消息中間件進行高效的數據傳輸交換。
數據存儲類
包含多種數據存儲服務。提供業務數據庫、分布式MPP數據庫、分布式內存數據庫、融合數據庫、圖數據庫、Nosql等多種場景存儲系統,同樣支持以Hadoop為主的hive. hbase. kudu等多種存儲系統。
數據分析類
提供sparkstream、MapReduce、queryDSL等多種數據分析語法和框架,同時提供圖并行計算框架、storm流計算框架。機器學習方面,DDP提供了sparkML機器學習模型架構,同時支持MLLib、tensorflow等機器學習框架。
非結構化數據處理類
DDP提供豐富的非結構化數據處理組件,cayman非結構化混合存儲網關、leopard媒體文件處理引擎、eel流媒體引擎等,為非結構化數據處理提供豐富技術組件。
運維監控類
DDP提供了一套服務管理引擎,底層計入zabbix支持系統的節點資源管理,各服務的資源和安裝部署管理,同時提供統一的監控運維門戶和授權管理控制臺。
— 應用場景 —
云上大數據
DDP底層靈活接入大數據云操作系統,實現集群資源管理、容器化部署,同IaaS層完美整合。基于Docker容器技術,構建出資源組織與調度完善的多租戶體系,從而更好的為企業提供云上的大數據服務。
企業級多租戶大數據平臺
DDP支撐打造一體化的大數據平臺,滿足多租戶場景下的應用需求,實現租戶權限和資源管理,進行表和資源的訪問權限控制,保障資源之間的共享與隔離,提供合理高效的作業調度。
面向業務的數據整合
DDP打通各種不同系統中的數據邊界,抽取來自各業務系統的數據,設計、開發、管理特定主題的數據集市,用于某部門或者某些特殊分析目的。通過系統性的數據整合,避免數據孤島問題。
企業級數據倉庫建設
DDP用于實現高效的企業數倉建設。在構建數據倉庫的完整流程中,利用DDP-HD的工具能力,加速企業數倉落地。確保數據遷移的效率,輕松攻克遷移過程中的技術難題。