最近，美國賓夕法尼亞州立大學(xué)團(tuán)隊(duì)研發(fā)了一款無線智能藍(lán)牙戒指 OmniRing。該設(shè)備是首款針對手指運(yùn)動追蹤和智能健康監(jiān)測的智能戒指，這也是首個(gè)從視頻中獲取合成訓(xùn)練數(shù)據(jù)，以解決搜索空間為連續(xù)手指運(yùn)動的問題的項(xiàng)目。

該設(shè)備基于集成電路設(shè)計(jì)、3D 打印材料和機(jī)器學(xué)習(xí)，目前已被開源。其特點(diǎn)為輕便（總重 2.5 克）、低功耗、低成本。其中，傳感器及單片機(jī)處理器等材料成本不超過 175 元。

圖丨無線智能藍(lán)牙戒指 OmniRing（來源：陸泰廷）

這款智能戒指的功能包含了三維的自由手指動作追蹤，該團(tuán)隊(duì)希望 OmniRing 可以融合元宇宙中的場景，例如用戴戒指的手在空中做手勢，以此來完成對鍵盤、鼠標(biāo)、顯示器等虛擬外設(shè)的交互和使用。與此同時(shí)，該智能戒指還可實(shí)現(xiàn)對人體機(jī)能的監(jiān)測，能夠監(jiān)測到心率、脈搏和血氧等相關(guān)的身體健康指標(biāo)。

論文審稿人認(rèn)為，該研究無論在現(xiàn)在還是未來都有廣闊的前景，并且極具開源性。該研究得到了學(xué)術(shù)界的關(guān)注以及商業(yè)公司的合作邀請，包括可穿戴設(shè)備的研究人員、使用手語者、醫(yī)生等。

“這些合作邀請激勵(lì)著我們更加努力地將科研成果帶出實(shí)驗(yàn)室，研究出改變?nèi)祟惿詈蜕a(chǎn)的產(chǎn)品。”該論文共同第一作者、賓夕法尼亞州立大學(xué)博士研究生陸泰廷表示。

近日，相關(guān)論文以《一個(gè)戒指來監(jiān)測所有：用于手指運(yùn)動分析和醫(yī)療保健應(yīng)用的開源智能平臺》（One Ring to Rule Them All: An Open Source Smartring Platform for Finger Motion Analytics and Healthcare Applications）為題發(fā)表于 ACM/IEEE Conference on Internet of Things Design and Implementation，并獲得物聯(lián)網(wǎng)邊緣智能領(lǐng)域的最佳論文獎(jiǎng)之一[1]。

該論文共同第一作者為賓夕法尼亞州立大學(xué)周浩、陸泰廷，通訊作者為該校馬漢斯·戈?duì)栠_(dá)（Mahanth Gowda）教授。

圖丨相關(guān)論文（來源：ACM/IEEE Conference on Internet of Things Design and Implementation）

一直以來，戈?duì)栠_(dá)實(shí)驗(yàn)室專注于研究應(yīng)用機(jī)器學(xué)習(xí)到可穿戴設(shè)備。此前，他們曾研發(fā)手指運(yùn)動追蹤的設(shè)備 ssLOTR [2]，其外形類似于 Tapstrap 的穿戴式設(shè)備。研究人員把傳感器放置在每個(gè)手指，以追蹤手指的運(yùn)動。

用戶在佩戴傳感器時(shí)，可能會進(jìn)行日常生活的活動，例如在筆記本電腦上工作（打字、瀏覽等）、吃飯、喝酒、看電影等。曾有用戶反饋設(shè)備較重，長時(shí)間佩戴不舒適，而且由于帶子的原因，手指的活動或多或少會受到限制。

基于此，該課題組開始了 OmniRing 的研究工作。在開始項(xiàng)目前，他們遇到三個(gè)難題：第一，在以往研究中，沒有將所有的電子部件嵌入到一個(gè)戒指中的案例；第二，市面上的智能戒指并不提供源數(shù)據(jù)和電路設(shè)計(jì)；第三，缺少可穿戴設(shè)備的大量公共訓(xùn)練數(shù)據(jù)。

為解決上述問題，該團(tuán)隊(duì)通過利用柔性印刷電路板、3D 打印和低成本制造方面的創(chuàng)新，設(shè)計(jì)了一個(gè)感應(yīng)嵌入式衛(wèi)星，以實(shí)現(xiàn)具有長電池壽命和小尺寸的連續(xù)感應(yīng)，用于運(yùn)動分析和醫(yī)療保健的各種應(yīng)用。

“我們展示了利用 OmniRing 從公共視頻中提取訓(xùn)練數(shù)據(jù)進(jìn)行三維手指運(yùn)動跟蹤的可行性，并開發(fā)了一個(gè)基于變壓器的架構(gòu)。該架構(gòu)可以識別手指間的關(guān)聯(lián)機(jī)會，以跟蹤所有手指，而無需在所有手指上放置傳感器環(huán)。”陸泰廷說。

與此同時(shí)，研究人員還進(jìn)行系統(tǒng)性用戶研究，以驗(yàn)證 OmniRing 在日常生活中的舒適度和接受度，以及驗(yàn)證三維手指運(yùn)動跟蹤的性能，包括對用戶多樣性的魯棒性、傳感器位置的變化以及在自由生活條件下的能力等。

并且，研究團(tuán)隊(duì)還為社區(qū)開放 OmniRing 的源代碼，以擴(kuò)展其在硬件和應(yīng)用方面的新功能。

（來源：陸泰廷）

在該論文中，作者們展示了在當(dāng)前 OmniRing 設(shè)計(jì)中納入慣性傳感器和光電容積描記（Photoplethysmography，PPG）傳感器的可行性。慣性傳感器可用于活動識別的若干應(yīng)用，而紅外無損檢測傳感器則可用于健康分析應(yīng)用，包括心率、睡眠和情緒監(jiān)測。

陸泰廷表示：“我們只觸及了表面，額外的傳感器，如心電圖和 EDA，可以被納入心臟疾病檢測和壓力水平的應(yīng)用中。”

此外，整合觸摸和觸覺傳感器可以在游戲等應(yīng)用中向用戶提供反饋。雖然在一個(gè)戒指中包含所有傳感器的空間可能有限，但如果用戶愿意在多個(gè)手指上佩戴戒指，不同的傳感方式可以被整合到不同的戒指中。

目前，該團(tuán)隊(duì)正在探索這一系列的問題，他們希望社區(qū)能夠擴(kuò)展該平臺，以實(shí)現(xiàn)新可能性。目前，通過 OmniRing 中的慣性傳感器將傳感器數(shù)據(jù)發(fā)送到一個(gè)智能手機(jī)應(yīng)用程序進(jìn)行分析。然而，鑒于 CPU（ARM 的Cortex-M4）可以支持信號處理和機(jī)器學(xué)習(xí)，研究人員將考慮設(shè)備上計(jì)算/預(yù)處理和卸載傳感器數(shù)據(jù)之間的矛盾，作為團(tuán)隊(duì)未來工作的一部分。

“雖然在論文中我們專注于運(yùn)動分析和醫(yī)療應(yīng)用，但該平臺可擴(kuò)展到生物識別認(rèn)證的應(yīng)用。例如，心跳模式被認(rèn)為是一個(gè)人的指紋，OmniRing 中的 PPG 傳感器的心率可被用來作為個(gè)人生物特征的識別特征。”他說。

圖丨陸泰廷（來源：陸泰廷）

該設(shè)備應(yīng)用場景多樣，未來可以將激勵(lì)器進(jìn)一步整合到 OmniRing 中，為用戶提供觸摸和觸覺反饋。

而隨著個(gè)性化日常生活監(jiān)測的流行，智能設(shè)備正在幫助人們適應(yīng)積極和健康的生活方式。陸泰廷表示：“我們相信 OmniRing 的外形設(shè)計(jì)可以讓人們舒適地長期佩戴，它可以幫助監(jiān)測日常的生活活動，包括跑步、吃飯、喝水、刷牙、睡眠周期等。”

通過用 OmniRing 感知手部運(yùn)動模式，有望開發(fā)一款警報(bào)系統(tǒng)來識別危險(xiǎn)或疏忽的駕駛，從而提高安全性。同樣，它也可以警告司機(jī)不要在駕駛時(shí)與手機(jī)互動。

該設(shè)備可能為教員提供根據(jù)學(xué)生的情緒狀態(tài)調(diào)整教學(xué)內(nèi)容的能力，可以使學(xué)習(xí)更有吸引力和樂趣。OmniRing 有可能通過監(jiān)測 PPG 傳感器記錄的心臟跳動間隔，來解釋學(xué)生的情緒狀態(tài)。此外，該設(shè)備還可不斷評估自閉癥患者和抑郁癥患者的精神狀態(tài)，這可以為醫(yī)療保健提供者提供重要的反饋。

另一方面，OmniRing 還可以通過幫助有特殊需要的人進(jìn)行互動或控制設(shè)備來實(shí)現(xiàn)無障礙應(yīng)用。在手語識別方面，該團(tuán)隊(duì)介紹，OmniRing 可以實(shí)現(xiàn)手指運(yùn)動跟蹤，以幫助識別手語并將其翻譯成口語，從而縮小聾人和聽人之間的溝通差距。

該智能戒指可用于日常生活中監(jiān)測心臟病、高血壓等疾病的患者的心率、血壓和情緒狀態(tài)。這不僅有助于通過向醫(yī)生提供精細(xì)的反饋來更好地監(jiān)測疾病，而且有可能通過減少去醫(yī)院的次數(shù)，進(jìn)而降低相關(guān)醫(yī)療費(fèi)用。

（來源：陸泰廷）

陸泰廷在加州大學(xué)歐文分校完成了計(jì)算機(jī)科學(xué)和電子工程的雙學(xué)士學(xué)位。他目前正在賓夕法尼亞州立大學(xué)電子工程和計(jì)算機(jī)科學(xué)系攻讀博士學(xué)位，與導(dǎo)師戈?duì)栠_(dá)教授合作，正在開發(fā)融合多傳感器和智能算法的新型傳感系統(tǒng)。

周浩目前正在賓夕法尼亞州立大學(xué)攻讀博士學(xué)位。作為研究助理，周浩與導(dǎo)師戈?duì)栠_(dá)教授和團(tuán)隊(duì)在手部追蹤、手語翻譯、家居健康監(jiān)測等。他表示：“我專注于在計(jì)算機(jī)視覺大方光彩的諸多領(lǐng)域上研究成本低、魯棒性強(qiáng)、穩(wěn)定性高的物聯(lián)網(wǎng)系統(tǒng)，讓人人有權(quán)享受科技賦能的美好生活。”

“當(dāng)然，我們的使用設(shè)備得出的數(shù)據(jù)和結(jié)論都是面向全社會，同樣包括學(xué)術(shù)界、現(xiàn)實(shí)應(yīng)用領(lǐng)域、盈利組織都可以使用我們得出的數(shù)據(jù)和結(jié)論，我們希望未來更多的合作參與到可穿戴設(shè)備的研究和使用。”陸泰廷最后說道。

參考資料：

1.Hao Zhou，Taiting Lu ACM/IEEE Conference on Internet of Things Design and Implementation，May 2023 Pages 27–38 https://doi.org/10.1145/3576842.3582382

2.Hao Zhou，Taiting Lu the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies，6， 2: 90，1–31. https://doi.org/10.1145/3534587https://doi.org/10.1145/3534587