12 月 20 日，數(shù)據(jù)庫(kù)國(guó)際頂會(huì) VLDB2024 公布新一批論文，阿里云旨在實(shí)現(xiàn)將 AI 算法在數(shù)據(jù)庫(kù)“一鍵部署”的 PilotScope 中間件相關(guān)論文成功入圍。同日，阿里云宣布將 PilotScope 全部技術(shù)免費(fèi)開(kāi)源。

開(kāi)源地址：https://github.com/alibaba/pilotscope

在 AI 和 DB 之間“搭橋”

AI 和數(shù)據(jù)庫(kù)的結(jié)合在業(yè)內(nèi)已經(jīng)探索了很長(zhǎng)一段時(shí)間，其中 AI for DB 是利用 AI 技術(shù)替換數(shù)據(jù)庫(kù)里的某些功能，使其性能得到提升。

這個(gè)方案需要依賴深度學(xué)習(xí)或者說(shuō)大模型。但難點(diǎn)在于，AI 開(kāi)發(fā)和數(shù)據(jù)庫(kù)開(kāi)發(fā)基本是兩撥人，數(shù)據(jù)庫(kù)特別復(fù)雜，AI 開(kāi)發(fā)人員很難梳理清楚其中的結(jié)構(gòu)，得到嵌入效果的同時(shí)還要保證數(shù)據(jù)庫(kù)的穩(wěn)定性。同時(shí)，AI 方法非常多樣，數(shù)據(jù)庫(kù)底層架構(gòu)也不盡相同，這導(dǎo)致嵌入的模式、交互需求、具體底層實(shí)現(xiàn)方式都各不相同，如果做定制化就會(huì)帶來(lái)很大的時(shí)間成本，不利于大規(guī)模應(yīng)用。

“AI 做了很多，DB 做了很多，但中間的橋梁沒(méi)有人干，這個(gè)橋是不通的。我們現(xiàn)在做的事情就是要把這個(gè)橋搭建起來(lái)。”PilotScope 項(xiàng)目負(fù)責(zé)人朱鎔說(shuō)道。

根據(jù)朱鎔的介紹，PilotScope 屏蔽不同數(shù)據(jù)庫(kù)異構(gòu)的細(xì)節(jié)，提供了抽象的、可對(duì) AI 調(diào)用的一整套接口。PilotScope 把數(shù)據(jù)庫(kù)交互需求及嵌入過(guò)程，抽象成了一個(gè)個(gè)的接口，將最難的底層細(xì)節(jié)開(kāi)發(fā)部分屏蔽掉，用戶可以直接使用，AI 工程師不用關(guān)注數(shù)據(jù)庫(kù)的細(xì)節(jié)。

理論上，用戶只要支持這個(gè)接口，同一個(gè) AI 方法可以支持各種數(shù)據(jù)庫(kù)，包括阿里云、微軟、AWS 以及 PostgreSQL 等數(shù)據(jù)庫(kù)，開(kāi)發(fā)者可以用一個(gè)方法、寫一次代碼就支持所有類型數(shù)據(jù)庫(kù)在上面的運(yùn)行。接口還可以不斷擴(kuò)展，支持不同 AI 方法的需求，同時(shí)通過(guò)開(kāi)源的方式來(lái)增加支持 AI 算法的多樣性。

另外，PilotScope 對(duì) AI 算法的嵌入做了最小的擾動(dòng)和侵入，不對(duì)系統(tǒng)的穩(wěn)定性造成影響。用戶不開(kāi)啟 PilotScope 時(shí)可以直接忽略它的存在，而使用 PilotScope 并把某些 AI 算法進(jìn)行了相應(yīng)運(yùn)行后，PilotScope 的檢測(cè)機(jī)制會(huì)處理和限定模型的異常輸出，對(duì)于不正常的結(jié)果會(huì)直接打斷，讓數(shù)據(jù)用原來(lái)的模塊運(yùn)行。

據(jù)了解，當(dāng)前 PilotScope 針對(duì)參數(shù)調(diào)優(yōu)、索引推薦、基數(shù)估計(jì)、查詢優(yōu)化等數(shù)據(jù)庫(kù)主流任務(wù)，預(yù)置了 10 多種 AI 算法，并完成 PostgreSQL 和 Spark 等兩大主流開(kāi)源數(shù)據(jù)庫(kù)的適配打樣。根據(jù)團(tuán)隊(duì)的實(shí)驗(yàn)數(shù)據(jù)，使用 PilotScope 將 AI 算法嵌入數(shù)據(jù)庫(kù)，較傳統(tǒng)“硬植入”方法，查詢優(yōu)化等任務(wù)提速 1-2 倍不等，并且 PilotScope 本身對(duì)部署產(chǎn)生的額外代價(jià)基本可忽略。

十多人，用了兩年做研發(fā)

PilotScope 項(xiàng)目是一個(gè)深度交叉的領(lǐng)域：要有懂算法的研發(fā)人員明確算法具體需求，也要有懂系統(tǒng)的研發(fā)將需求真正抽象成系統(tǒng)化設(shè)計(jì)；除了要有懂 AI 的人，還要有懂?dāng)?shù)據(jù)庫(kù)的人，了解數(shù)據(jù)庫(kù)架構(gòu)、嵌入模式、與數(shù)據(jù)庫(kù)的交互等；在系統(tǒng)設(shè)計(jì)的人員抽象出系統(tǒng)模式后，還需要開(kāi)發(fā)人員用實(shí)際的代碼把構(gòu)思實(shí)現(xiàn)出來(lái)；AI for DB 是學(xué)界想做的算法探索研究，業(yè)界想做一些實(shí)際落地，兩者的綜合平衡對(duì)滿足開(kāi)源社區(qū)是比較重要的。

從上可以看出，這樣的研發(fā)難度是不小的。朱鎔表示，從有做 PilotScope 的想法開(kāi)始到今天正式搞出來(lái)，十幾個(gè)人的團(tuán)隊(duì)差不多用了兩年時(shí)間才基本完成。

做 PilotScope 的想法來(lái)源于阿里云團(tuán)隊(duì)在做 AI for DB 中遇到了測(cè)試、部署、落地等各種痛點(diǎn)問(wèn)題。2021 年夏季之前，團(tuán)隊(duì)是點(diǎn)對(duì)點(diǎn)地解決，然后發(fā)現(xiàn)通用性差、成本高，很難持續(xù)下去。之后，團(tuán)隊(duì)開(kāi)始構(gòu)思這樣的一個(gè)中間件，在與業(yè)務(wù)部門溝通、研究了學(xué)界最新進(jìn)展后，才將最終需求確認(rèn)下來(lái)，包括要支持哪些主流方法、支持到什么程度等。

整個(gè) 2022 年，團(tuán)隊(duì)一直在解決“兩端解耦、讓橋順暢”的難題，到了 9 月份左右才開(kāi)始做真正的系統(tǒng)研發(fā)。考慮到兩個(gè)數(shù)據(jù)庫(kù)的適配，團(tuán)隊(duì)要做很多細(xì)小的修改、打磨、迭代，陸陸續(xù)續(xù)到今年八九月份才算基本成熟。

據(jù)悉，PilotScope 目前已在阿里云內(nèi)部展開(kāi)試點(diǎn)應(yīng)用。朱鎔表示，未來(lái)將做一些產(chǎn)業(yè)化部署，希望通過(guò)這個(gè)工具，把 AI for DB 的算法真正大規(guī)模的地應(yīng)用到數(shù)據(jù)庫(kù)系統(tǒng)里，提升數(shù)據(jù)庫(kù)系統(tǒng)的效率和效果。

點(diǎn)擊底部閱讀原文訪問(wèn) InfoQ 官網(wǎng)，獲取更多精彩內(nèi)容！

今日好文推薦

數(shù)據(jù)庫(kù)的下一場(chǎng)革命：S3 延遲已降至原先的 10%，云數(shù)據(jù)庫(kù)架構(gòu)該進(jìn)化了

網(wǎng)游新規(guī)致騰訊網(wǎng)易市值半天蒸發(fā)5200億；吳泳銘“爆改”淘天：管理層全換成有功績(jī)的年輕人；字節(jié)年收入超騰訊、逼近Meta｜Q資訊

創(chuàng)始人 3 天狂砍 5 萬(wàn)行代碼后，應(yīng)用程序更快、更易使用了

選擇哪種編程語(yǔ)言已經(jīng)不重要了，只提倡程序員下班后“多看看書(shū)”提升競(jìng)爭(zhēng)力是誤人子弟｜獨(dú)家專訪亞馬遜 CTO