廣州熱線

金蝶管易云作為國內(nèi)頭部的電商ERP，一直保持著和電商平臺(tái)的密切合作，致力于讓最成熟高效的技術(shù)成為提高客戶生產(chǎn)力的能量源泉，目前，管易云底層的數(shù)據(jù)庫已升級成實(shí)時(shí)數(shù)倉技術(shù)DataWorks+Hologres+Flink，海量數(shù)據(jù)也可以做到穩(wěn)定可靠和秒級響應(yīng)，讓訂單處理更加絲滑高效、讓數(shù)據(jù)分析更加實(shí)時(shí)智能、讓外部系統(tǒng)對接更加通暢穩(wěn)定。

　　一、業(yè)務(wù)架構(gòu)

管易云ERP系統(tǒng)的業(yè)務(wù)架構(gòu)中，主要的業(yè)務(wù)流程包括：電商平臺(tái)對接（數(shù)據(jù)下載、存儲(chǔ)），基礎(chǔ)數(shù)據(jù)量龐大；訂單處理流程（數(shù)據(jù)的審核、打印、配貨、發(fā)貨），數(shù)據(jù)的調(diào)用頻率極高；報(bào)表分析匯總（商品、庫存、訂單、利潤等數(shù)據(jù)的分析匯總），數(shù)據(jù)的分析、計(jì)算能力都會(huì)面臨極大的挑戰(zhàn)；集成網(wǎng)關(guān)（奇門、API等接口數(shù)據(jù)處理），數(shù)據(jù)能夠進(jìn)行精準(zhǔn)的接口轉(zhuǎn)化處理；三方系統(tǒng)數(shù)據(jù)互通（金蝶、用友等財(cái)務(wù)系統(tǒng)、快遞系統(tǒng)等），三方數(shù)據(jù)互通極其容易造成數(shù)據(jù)漏抓取等問題。對于電商行業(yè)的客戶來說，數(shù)據(jù)的準(zhǔn)確性和處理的高效性都是非常重要的，尤其是現(xiàn)在整個(gè)電商行業(yè)已經(jīng)進(jìn)入業(yè)財(cái)稅時(shí)代，任何一筆訂單的數(shù)據(jù)錯(cuò)誤、遺漏都會(huì)導(dǎo)致整個(gè)業(yè)財(cái)相關(guān)的部門花費(fèi)大量的人力去復(fù)查。

由上圖可看出，管易云業(yè)務(wù)中需要數(shù)據(jù)的高效率分析、存儲(chǔ)和分析。原先底層架構(gòu)使用的是RDS for MySQL和PolarDB for MySQL，PolarDB 主要是用于存儲(chǔ)交易類的數(shù)據(jù)分析，如訂單、會(huì)員、商品等分析；RDS 主要用于存儲(chǔ)讀寫相對不是很頻繁的數(shù)據(jù)，如：采購、調(diào)撥、調(diào)整、盤點(diǎn)等。但由于存量數(shù)據(jù)的不斷增長，這套技術(shù)方案面臨著很大挑戰(zhàn)，主要包括： 1、因?yàn)闃I(yè)務(wù)在增長，數(shù)據(jù)量也面臨著極速的增長，但是查詢效率卻越來越慢，無法快速滿足業(yè)務(wù)實(shí)時(shí)取數(shù)的需求，影響業(yè)務(wù)決策。 2、由于數(shù)據(jù)量龐大，即使是簡單的數(shù)據(jù)庫DDL操作都需要花費(fèi)相當(dāng)長的時(shí)間周期，這對管易和產(chǎn)研團(tuán)隊(duì)來說都成了急需攻破的難關(guān)。 3、運(yùn)維麻煩，業(yè)務(wù)穩(wěn)定性也帶來了極大的挑戰(zhàn)。 因此，管易云考慮采用更先進(jìn)的技術(shù)來實(shí)現(xiàn)對海量數(shù)據(jù)的實(shí)時(shí)寫入、更新和實(shí)時(shí)查詢的方案。

二、升級為實(shí)時(shí)數(shù)倉Flink+Hologres

為了解決這些挑戰(zhàn)，管易的技術(shù)團(tuán)隊(duì)一直在積極評估和探索新的技術(shù)方案，包括阿里云XDB、TiDB、Hadoop等。然而，在探索的過程中，也并非一帆風(fēng)順。一方面，試錯(cuò)的成本過高，每次調(diào)整，都可能會(huì)對業(yè)務(wù)穩(wěn)定性和客戶使用體驗(yàn)造成沖擊。另一方面，現(xiàn)存相關(guān)案例中也缺乏電商領(lǐng)域特性的示例，如海量數(shù)據(jù)處理、高并發(fā)和實(shí)時(shí)更新等。在經(jīng)過一番艱難的探索后，一次偶然的機(jī)會(huì)，管易看到了一個(gè)物流行業(yè)的案例分享，案例中使用了實(shí)時(shí)數(shù)倉Flink+Hologres來支撐物流訂單的實(shí)時(shí)查詢和實(shí)時(shí)監(jiān)控等。盡管物流行業(yè)與電商有相當(dāng)大的區(qū)別，但物流作為電商領(lǐng)域中的重要一環(huán)，其技術(shù)特性與電商領(lǐng)域還是有很多相似之處。因此，管易選擇了阿里云Hologres作為解決方案。 為了確保Hologres技術(shù)方案的可行性，管易內(nèi)部多次拉通多個(gè)業(yè)務(wù)部門參與研討，以確定具體的應(yīng)用場景，這樣做的目的是避免因數(shù)據(jù)庫切換而對用戶體驗(yàn)造成影響。經(jīng)過多次討論后，最終決定以報(bào)表查詢場景作為驗(yàn)證方案開始執(zhí)行。 選擇報(bào)表查詢場景是因?yàn)槟壳肮芤椎膱?bào)表存量數(shù)據(jù)巨大（約有上百TB），查詢場景非常復(fù)雜，客戶查詢幾十萬數(shù)據(jù)的響應(yīng)往往要30秒以上，但該報(bào)表查詢對客戶使用來說又是使用非常頻繁，如：客戶的運(yùn)營人員需要時(shí)時(shí)查詢某產(chǎn)品一定時(shí)間范圍內(nèi)的銷量以制定促銷計(jì)劃；客戶的財(cái)務(wù)人員需隨時(shí)查詢各類訂單、產(chǎn)品的銷量、利潤從而制定采購計(jì)劃等等，而這些查詢操作所產(chǎn)生的數(shù)據(jù)檢索都是相當(dāng)大的，查詢速度過慢對于客戶來說體驗(yàn)會(huì)相當(dāng)差。 下圖確定驗(yàn)證方案后，報(bào)表場景基于Hologres+Flink的數(shù)據(jù)流轉(zhuǎn)圖： 1、數(shù)據(jù)源存儲(chǔ)在RDS中，包括訂單、庫存、商品等數(shù)據(jù)。 2、通過DataWorks數(shù)據(jù)集成的整庫同步將RDS的數(shù)據(jù)同步到Hologres，包括全量數(shù)據(jù)離線同步、增量數(shù)據(jù)實(shí)時(shí)同步以及分庫分表合并成一張Hologres表等。 3、然后在Hologres中進(jìn)行數(shù)倉分層，ODS-DWD-DWS，大多數(shù)是通過DataWorks的分鐘級調(diào)度來做，然后在Hologres提供近實(shí)時(shí)查詢。但有些場景對數(shù)據(jù)的實(shí)時(shí)性要求非常高，比如實(shí)時(shí)物流跟蹤，因此用Flink讀取Hologres Binlog進(jìn)行數(shù)據(jù)處理，然后再寫入Hologres的方案，使得數(shù)據(jù)能夠?qū)崟r(shí)寫入實(shí)時(shí)查詢，滿足部分業(yè)務(wù)的實(shí)時(shí)查詢。 4、由Hologres提供統(tǒng)一的對外查詢應(yīng)用，包括實(shí)時(shí)物流跟蹤、數(shù)據(jù)參謀、實(shí)時(shí)大屏、運(yùn)營分析等，這樣不用把數(shù)據(jù)再寫一份到MySQL提供線上服務(wù)，減少開發(fā)操作。

為了將現(xiàn)有的報(bào)表數(shù)據(jù)整合到Hologres中，管易安排了4名開發(fā)人員（包括DBA和開發(fā)），共計(jì)投入了3個(gè)月的時(shí)間完成了從RDS到Hologres的報(bào)表數(shù)據(jù)遷移工作。在完成了數(shù)據(jù)和任務(wù)遷移之后，開始了逐步使用Hologres提供業(yè)務(wù)查詢，直到后面完全上生產(chǎn)。上完生產(chǎn)之后，發(fā)現(xiàn)帶來的好處有幾個(gè)方面： 1、延遲降低到秒級：之前通過MySQL的查詢至少是30s+，現(xiàn)在新系統(tǒng)的查詢基本都在10s內(nèi)，報(bào)表查詢的整體響應(yīng)速度都有了質(zhì)的飛躍，同時(shí)，在物流管家模塊中，借助Hologres強(qiáng)大的實(shí)時(shí)分析聚合能力，成功解決了之前客戶普遍反映的數(shù)據(jù)統(tǒng)計(jì)延遲問題。 2、業(yè)務(wù)更加敏捷：現(xiàn)在新架構(gòu)的主要產(chǎn)品就是DataWorks+Flink+Hologres，由Hologres提供統(tǒng)一的查詢應(yīng)用，架構(gòu)變得更加精簡，對于業(yè)務(wù)的一些臨時(shí)需求也能做到更快的響應(yīng)，同時(shí)開發(fā)和運(yùn)維也變得更加敏捷，減少了很多不必要的操作，報(bào)表查詢的穩(wěn)定性也得到提升。

三、最終呈現(xiàn)

鑒于Flink+Hologres+DataWorks這套新的架構(gòu)在管易報(bào)表場景的有效驗(yàn)證，后續(xù)也將會(huì)持續(xù)基于這套架構(gòu)做更多的業(yè)務(wù)場景探索，搭建更大規(guī)模的數(shù)據(jù)中心平臺(tái)，通過整合和管理海量數(shù)據(jù)，提供更高效、可靠的數(shù)據(jù)服務(wù)，實(shí)現(xiàn)銷售渠道、業(yè)務(wù)中臺(tái)以及財(cái)務(wù)系統(tǒng)的全面關(guān)聯(lián)，打造一個(gè)更加智能的ERP平臺(tái)，讓數(shù)據(jù)賦能業(yè)務(wù)價(jià)值。