大數(shù)據(jù)專欄

大數(shù)據(jù)應(yīng)用是新東網(wǎng)現(xiàn)階段及未來專注開發(fā)的重要業(yè)務(wù)領(lǐng)域，涉及渠道大數(shù)據(jù)，城市大數(shù)據(jù)、農(nóng)業(yè)大數(shù)據(jù)、溯源大數(shù)據(jù)、輿情大數(shù)據(jù)、安全大數(shù)據(jù)等。2018年，新東網(wǎng)將建成大數(shù)據(jù)云平臺（DOONE CLOUD INSIGHT），實現(xiàn)支持數(shù)據(jù)超市，提供數(shù)據(jù)公共服務(wù)能力及提供專題方式的圖像化配置數(shù)據(jù)計算能力，支持接入政府云、阿里云和騰訊云服務(wù)能力。“大數(shù)據(jù)專欄”將陸續(xù)推出系列文章，每周三發(fā)布。

 

 

通信行業(yè)大數(shù)據(jù)應(yīng)用背景

 

 

近幾年來，隨著計算機和信息技術(shù)的迅猛發(fā)展和普及應(yīng)用，行業(yè)應(yīng)用系統(tǒng)的規(guī)模迅速擴大，行業(yè)應(yīng)用所產(chǎn)生的數(shù)據(jù)呈爆炸性增長。 動輒達到數(shù)百TB甚至數(shù)十至數(shù)百PB規(guī)模的行業(yè)/企業(yè)大數(shù)據(jù)已遠遠超出了現(xiàn)有傳統(tǒng)的計算技術(shù)和信息系統(tǒng)的處理能力，因此，尋求有效的大數(shù)據(jù)處理技術(shù)、方法和手段已經(jīng)成為現(xiàn)實世界的迫切需求。在國家層面上,我國在"十三五"規(guī)劃（2016－2020）中提出："實施國家大數(shù)據(jù)戰(zhàn)略，推進數(shù)據(jù)資源開放共享"。作為"'十三五'十四大戰(zhàn)略"之一的"國家大數(shù)據(jù)戰(zhàn)略"，我國《大數(shù)據(jù)產(chǎn)業(yè)"十三五"發(fā)展規(guī)劃》也正在緊張制定中。"十三五"期間，大數(shù)據(jù)領(lǐng)域必將迎來建設(shè)高峰和投資良機。

 

在市場競爭日益激烈的大背景下，通信企業(yè)一方面考慮是否需要投入營銷成本來占據(jù)更多市場份額；另一方面針對營銷成本投入后營銷效果如何、營銷過程數(shù)據(jù)如何、如何為一線提供行之有效的營銷策略、營銷數(shù)據(jù)及營銷工具，成為公司領(lǐng)導及管理層的切身痛點。

 

 

渠道大數(shù)據(jù)平臺是什么

 

 

渠道大數(shù)據(jù)平臺基于大數(shù)據(jù)挖掘技術(shù)，結(jié)合行業(yè)海量數(shù)據(jù)處理，通過面向各級承包經(jīng)營者小CEO，以客戶為中心，建立以“劃小、經(jīng)營、承包”三位一體的統(tǒng)一平臺，為承包者及企業(yè)的生產(chǎn)經(jīng)營提供有效的解決方案。

 

l 劃小管理

 

引入“阿米巴”經(jīng)營模式對企業(yè)經(jīng)營單元進行劃小管理。企業(yè)通過自下而上的倒三角管理模式實現(xiàn)量收成本、預算考核快速分配下達，再通過自上而下的經(jīng)營發(fā)展來實現(xiàn)企業(yè)與小CEO雙贏的格局。

 

l 承包管理

 

以網(wǎng)格為單位，開展以客戶為中心的精準營銷模式，實現(xiàn)網(wǎng)格化劃小承包責任機制，由小CEO管控各自承包責任田的成本預算及利潤。從而激發(fā)小CEO的營銷動力，多發(fā)展多收益。

 

l 經(jīng)營分析

 

以大數(shù)據(jù)分析技術(shù)作為導向，建立多樣的經(jīng)營分析模式：量收分析、發(fā)展分析、欠費分析、離網(wǎng)分析、商機發(fā)現(xiàn)等。通過大數(shù)據(jù)分析技術(shù)，分析用戶消費行為，針對不同潛在欠費、離網(wǎng)用戶及不同的業(yè)務(wù)場景，快速建立一套精準的營維體系。

 

渠道大數(shù)據(jù)平臺整體解決方案

 

 

l 平臺采用技術(shù)架構(gòu)

 

 

Hadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架。 Hadoop 以一種可靠、高效、可伸縮的方式進行數(shù)據(jù)處理。Hadoop 是可靠的，因為它假設(shè)計算元素和存儲會失敗，因此它維護多個工作數(shù)據(jù)副本，確保能夠針對失敗的節(jié)點重新分布處理。Hadoop 是高效的，因為它以并行的方式工作，通過并行處理加快處理速度。

 

Hadoop 由許多元素構(gòu)成。其最底部是 Hadoop Distributed File System（HDFS），它存儲 Hadoop 集群中所有存儲節(jié)點上的文件。HDFS（對于本文）的上一層是MapReduce 引擎，該引擎由 JobTrackers 和 TaskTrackers 組成。

 

l 平臺數(shù)據(jù)邏輯架構(gòu)

 

平臺數(shù)據(jù)整體邏輯分層主要分為五層架構(gòu)管理，包括有數(shù)據(jù)集成層、文件存儲層、數(shù)據(jù)存儲層、編程模型層以及數(shù)據(jù)分析層。來實現(xiàn)劃小平臺數(shù)據(jù)流的邏輯分層。實現(xiàn)安全、可靠、高效的數(shù)據(jù)架構(gòu)工作流。

 

l 平臺數(shù)據(jù)挖掘方案

 

 

 

如上圖所示，平臺數(shù)據(jù)挖掘核心思路分如下幾大步驟：

 

1） 數(shù)據(jù)采集與預處理：數(shù)據(jù)采集是通過RFID射頻技術(shù)、傳感器以及移動互聯(lián)網(wǎng)等方式獲得的各種類型的結(jié)構(gòu)化及非結(jié)構(gòu)化的海量數(shù)據(jù)，并完成對已接收數(shù)據(jù)的辨析、抽取、清洗等操作

 

2） 數(shù)據(jù)存儲與管理：大數(shù)據(jù)存儲與管理技術(shù)是用存儲器把采集到的數(shù)據(jù)存儲起來，建立相應(yīng)的數(shù)據(jù)庫，并進行管理和調(diào)用。主要解決大數(shù)據(jù)可存儲、可處理及有效傳輸?shù)汝P(guān)鍵問題。

 

3） 數(shù)據(jù)分析與挖掘：數(shù)據(jù)分析及挖掘技術(shù)是大數(shù)據(jù)的核心技術(shù)。主要是在現(xiàn)有的數(shù)據(jù)上進行基于各種算法的計算，從而起到預測的效果，從而實現(xiàn)一些高級別數(shù)據(jù)分析的需求。

 

4）數(shù)據(jù)展現(xiàn)與應(yīng)用 ：大數(shù)據(jù)技術(shù)能夠?qū)㈦[藏于海量數(shù)據(jù)中的信息挖掘出來，從而提高各個領(lǐng)域的運行效率。

 

l新東網(wǎng)“渠道大數(shù)據(jù)平臺”能做什么?

 

用于以下三大領(lǐng)域：商業(yè)智能、政府決策、公共服務(wù)。

 

 

1、 市場化承包機制

 

建立完善的承包管理機制，將企業(yè)經(jīng)營單元劃小為一個小顆粒度的網(wǎng)格，進行有效的經(jīng)營管理模式。企業(yè)通過至上而下的管理方式實現(xiàn)企業(yè)預算、營業(yè)目標快速分配下達，再通過至下而上的發(fā)展來實現(xiàn)企業(yè)與個人經(jīng)營者雙贏的格局，從而激發(fā)企業(yè)營銷活力，推動企業(yè)業(yè)務(wù)發(fā)展；

 

2、 經(jīng)營統(tǒng)計分析

 

實現(xiàn)多維度的運營分析功能，為各級管理層和經(jīng)營分析人員提供信息支撐，直觀反映企業(yè)的市場運營狀況；

 

3、 業(yè)務(wù)營銷支撐

 

打造前端營銷一體化工作平臺，為前端業(yè)務(wù)部門提供針對性營銷工作、精細化的營銷管理工作和全渠道視圖化管理，提高市場渠道營銷能力；

 

4、 企業(yè)的“工資條”

 

規(guī)范統(tǒng)一的薪酬管理模式，企業(yè)的“工資條”，為一線人員提供查看績效工資的入口，實時了解自身的薪酬；

 

5、 企業(yè)溝通交流

 

打造全網(wǎng)渠道管理交流平臺，實現(xiàn)運營數(shù)據(jù)采集和指標配置及統(tǒng)一下發(fā)，為各級管理人員提供溝通保障；

 

6、 人力管理機制

 

建立不同責任渠道的組織架構(gòu)，并根據(jù)“分渠道、分層級、分角色”管理模式進行人員工號權(quán)限的限制，實現(xiàn)經(jīng)營單元精確化管理。