目前，在大數(shù)據(jù)應(yīng)用領(lǐng)域，大家遇到的問題也很集中，首先是數(shù)據(jù)治理難，企業(yè)數(shù)據(jù)治理成本高，投入大；其次是技術(shù)門檻高，企業(yè) IT 平臺技術(shù)門檻高，技術(shù)架構(gòu)復(fù)雜，數(shù)據(jù)孤島和業(yè)務(wù)孤島嚴(yán)重。再次是成就業(yè)務(wù)難，IT 團(tuán)隊數(shù)據(jù)團(tuán)隊成就業(yè)務(wù)壓力大，如何體現(xiàn)數(shù)據(jù)的價值，如何體現(xiàn)數(shù)據(jù)平臺的價值。最后是業(yè)務(wù)仿真難，數(shù)據(jù)與業(yè)務(wù)割裂，如何基于數(shù)據(jù)實現(xiàn)對業(yè)務(wù)的仿真、模擬、驗證、預(yù)測。

針對以上這些問題，我們在 12 月 2-3 日北京 ArchSummit 全球架構(gòu)師峰會上，專門策劃了這樣的專題，希望讓聽眾了解數(shù)據(jù)治理、數(shù)據(jù)分析、數(shù)據(jù)決策、大數(shù)據(jù)平臺等領(lǐng)域，最新的技術(shù)和大公司的實踐，了解他們是如何將 AI 能力與大數(shù)據(jù)技術(shù)結(jié)合，實現(xiàn)數(shù)據(jù)分析治理等工作的效率大幅提升，實現(xiàn)大數(shù)據(jù)引擎的性能優(yōu)化、成本優(yōu)化的。

議題一：華為數(shù)智融合的理念與實踐

針對數(shù)據(jù)價值很難得到充分挖掘的問題，華為數(shù)據(jù)智能首席架構(gòu)師龍江老師，會介紹華為團(tuán)隊的解決方案：把數(shù)據(jù)、AI 模型、應(yīng)用深度結(jié)合，通過低代碼方式將企業(yè)業(yè)務(wù)進(jìn)行快速仿真，實現(xiàn)數(shù)據(jù)驅(qū)動的智能決策。效果也很明顯，那就是通過數(shù)智流水線平臺，華為實現(xiàn)財經(jīng)、運(yùn)營等領(lǐng)域核心業(yè)務(wù)場景，100% 實現(xiàn)系統(tǒng)智能輔助專家決策。

演講的內(nèi)容，包括華為數(shù)智融合的理念與關(guān)鍵技術(shù)，以及數(shù)智領(lǐng)域世界級難題解決思路。

議題二：基于元數(shù)據(jù)和配置驅(qū)動的 eBay 交易風(fēng)控 AI 模型管理和部署實踐

eBay 的支付業(yè)務(wù)覆蓋全球，交易風(fēng)控面臨的挑戰(zhàn)很多。AI 模型作為交易風(fēng)險控制的不可或缺的手段，在 eBay 交易風(fēng)控系統(tǒng)中承擔(dān)了至關(guān)重要的角色。來自 eBay 的資深工程師王兵老師，圍繞這個話題，分享他們提出的一種新的模型集成和部署方式，通過統(tǒng)一的模型元數(shù)據(jù)和配置，避免了模型訓(xùn)練和模型部署過程中的不一致，減少的人工代碼開發(fā)的工作，極大降低了模型上線的門檻，提高了模型部署的效率。

議題三：Hudi+Presto 在 News Break 數(shù)據(jù)平臺的嘗試

這次也邀請到了 News Break 架構(gòu)師關(guān)立勝老師，來分享 Schema registry + Hudi + Presto/Spark 這比較主流三件套的組合拳，以及 2C 數(shù)倉設(shè)計的一些理念，尤其是有多個數(shù)據(jù)源和漏斗模型。

在 CDH to AWS 的遷移過程中，基于傳統(tǒng)的 Hive ETL 方案無論在性能、實效性和可維護(hù)性上已經(jīng)跟不上業(yè)務(wù)的訴求。Hudi 的快速入湖 + Presto 的快速查詢，再結(jié)合 Schema registry/evolution，良好的數(shù)倉分層設(shè)計，為構(gòu)建現(xiàn)代數(shù)據(jù)平臺提供了主要組件。最終效果是對關(guān)鍵數(shù)據(jù)的端到端時延控制在 15 分鐘以內(nèi)，比較好的支撐了業(yè)務(wù)發(fā)展。同時 Hudi + Spark 也極大提高了推薦系統(tǒng)數(shù)據(jù)流效率，和節(jié)省了 AWS 開支。

除了以上這些話題之外，ArchSummit 會議上還有數(shù)字化場景下的業(yè)務(wù)架構(gòu)、微服務(wù)架構(gòu)實踐、國產(chǎn)化軟件迭代優(yōu)化、軟件質(zhì)量保障等話題，感興趣的可以點擊閱讀原文查看大會日程。