數據中臺筆記
上午花了1小時把這章節看完了。理解本章節主要是講述了如何在公司內部推廣及持續運營數據中臺的問題。
對于這個數據運營,總的理解是:
始終不忘初心:圍繞業務這個“因”
數據中臺的運營,重要的是要業務層的需要,佛教所謂的“因”, 初心是業務數據化,數據業務化,所以離不開業務這個“因”。
業務用好了數據,自然會讓數據重復的迭代、自然會關心數據的安全問題、公司的除了CIO之外的高層自然會關注數據中臺。
2.“跨界”:
數據業務化,業務數據化的過程中,肯定會遇到各種問題,業務人員不懂數據、數據人員不懂業務,所以這種場景下跨界就變得很重要,能夠成功跨界的技術人員,往往能夠比較成功。現在鼓勵業務人員懂的基本的SQL語法,鼓勵數據人員懂的看基本的經營指標,也都是這個原因。
3.不懼怕失敗:
技術新舊代替的時候,有時候可能舊技術在某個時間甚至強于新技術,這個時候會需要考驗領導層的決心,鼓勵各個業務線利用數據來提高效率,10個項目,可能成功1,2個,這個時候就可以樹立典型,梳理標兵,通過這種方式讓新技術在公司里面能夠快速被用起來。
有了這么多“因”,“果”不會太差。
-- by 飛霜
10.1 數據中臺運營效果評估
數據中臺不能看為產品,而應該看做一個機制??梢园褦祿掷m用起來。
如果數據可以被持續高質量地生產出來,數據消費者可以便捷地獲取到數據,并能在安全、有監管的環境中使用,最終讓數據資產達到一種比較理想的“越來越多,越來越好”的狀態。
數據中臺運營團隊的使命及目標:
1. 數據安全及質量是中臺可持續運營的基礎;
2. 提效降本是打造中臺影響力的關鍵。
10.2 數據中臺運營的4個價值切入點:
1.統一戰略-->2.搭建組織-->3.打造氛圍-->4.實踐創新
數據中臺一旦開始運營,一定是CEO、CMO、COO、CFO 等各業務高管共同負責的目標。
搭建組織:包含常規數據分析人員+數據產品經理+數據運營專家+數據架構師。
集團型企業數據運營團隊組織架構示例
包括:
數據委員會:負責指定方向,并授權各職能部門落地。
虛擬數據團隊:各部門數據團隊核心成員、熟悉建模理論、具備開發經驗。
專家評審組:按照評審流程推進工作,記錄要點線下改進。
執行團隊:統一開發標準規范,做到有跡可循,有據可依。
3.打造氛圍:
大屏顯示,數據可視化。
4.實踐創新:
內部通過鼓勵、賽馬等機制梳理優秀典型,通過復制成功經驗的方式推動業務數據化、數據業務化落地。
10.3 數據資產運營
10.3.1 數據資產運營的4個目標:
數據資產運營的目標:讓數據資產變得可閱讀、易理解、好使用、有價值。
可閱讀:資產信息必須以業務人員的閱讀習慣呈現,而非面向技術人員的呈現方式。
易理解:數據資產需要標簽化,面向業務人員的組織模式。
好使用:業務部門直接通過低碼拖拽的方式,構建需求,直接使用數據。
有價值:根據標簽的使用量、調用受眾量、調用業務量、等維度來間接評估標簽的重要程度。通過A/B 測試或者灰度測試,評估使用了數據資產服務的業務 和 未使用數據資產服務支撐的業務 在 核心業務指標里:用戶黏性、轉化率、營業額、訪問量、訪問深度、好評率、回頭率、忠誠度等指標的差異程度,進而衡量業務的價值。
10.3.2 數據資產運營的完整路徑:
看-》選-》用-》治-》評
10.3.3 數據資產運營執行的5個動作
組織登記 2.收集業務需求 3.登記信息上架
這里收集業務需求根據行業不同需求也在變化:
電商行業的類目運營人員,可能對復購率比較高的女性做精細化運營,因此“復購率” 和 “性別” 是主要的標簽需求。
而制造業的業務人員來說,要增強設備制造產品的成品率,那么某零件的“制造失敗率”就是主要的標簽需求。
推廣宣傳:
這里主要反饋標簽對運營的幫助,比較使用之前和使用之后,對業務幫助是否有幫助。(比如業務的效率是否有提升、盈利能力是否有上升等)
服務保障:
主要保障性能和安全。(頻控、異常檢查、業務審核、權限管理、數據加密等)
治理優化:
項目管理領域一個戴明循環的概念:PDCA 循環。
PDCA的四個階段
這里講了,業務是不斷變化的,因此需要對數據運營里面的標簽、數據組織方式等做持續優化。
10.3.4 數據資產質量評估
(1) 源頭數據質量
數據安全性、準確性、穩定性、時效性、全面性
(2) 加工過程質量
標簽測試準確率、產出穩定性、生產時效性、覆蓋量、完善度、規范性、離散度。
(3)使用價值質量:
使用準確率、標簽調用量、標簽受眾熱度、標簽可用率、標簽故障率、標簽關注熱度、標簽持續優化度、標簽持續使用度、標簽成本性價比等
其中上面描述的一些內容,需要通過內部系統使用的日志進行挖掘來進行評估。
10.3.5 數據資產安全管理
(1) 分級分類管理
按照數據的重要程度進行劃分。(業務重要度、資產敏感度等)
(2) 脫敏和加密(數據屏蔽+存儲數據加密)
數據脫敏后,不能反推出原始數據,防止數據泄露。
數據加密是對數據存儲的操作,配置加密后,數據存儲的是密文,實際使用數據時需要先解密才使用,可防止“托庫”類操作直接從存儲層泄露數據。
(3)監控和審計
構建各種安全指標,比如記錄表大小變動、數據歷史波動、人員使用監控、資產脫敏監控等。這樣保證業務的安全。
10.4 數據成本運營:
數據量大了之后,就得考慮成本。
1) 原始數據成本: 建議永久保存。
2)過程數據:臨時表建議及時刪除。
3)結果數據:通過業務驗證,有價值的保存,沒價值的刪除。
四種關鍵優化策略:
1) 重復計算:
對每個任務的邏輯或輸入輸出進行分析,識別出其中的加工方法及輸入輸出的匹配狀況,當重復率達到閾值,則進行優化。
2)冗余計算
提取數據量與處理耗時的算力基線,以及數據加工輸入量的合理性基線分析,發現不合理的處理邏輯。
3)低價值計算:
評估數據的價值,如果數據集無價值則停止執行。
4)調度不合理:
判斷上下游業務的執行時間是否合理,根據業務的類型來判斷選擇 N+ 1 或者實時業務 。
(一些分析性業務,不需要實時展出的,往往是N+1 ,而一些需要實時反饋的,比如推薦,則需要用實時分析模型)
10.4.3 數據中臺成本賬單監管
需要按照業務部門,根據存儲資源、計算資源來進行統計,控制成本。
10.5 數據中臺運營的實踐經驗
10.5.1 全員具備數據中臺意識是數據中臺戰略開展的基礎保障。
10.5.2 數據中臺一定要以場景需求為導向。
10.5.3 運營中臺本質是對各部門需求及資源的盤活。
業務、產品、研發、數據團隊配合示意圖
看到334頁,明天繼續。
聲明:本站所有文章資源內容,如無特殊說明或標注,均為采集網絡資源。如若本站內容侵犯了原著者的合法權益,可聯系本站刪除。
