上海交大與清華聯(lián)手發(fā)布 DeepDR Plus，僅用眼底圖像可預(yù)測(cè) 5 年內(nèi)糖尿病視網(wǎng)膜病變進(jìn)展

1996 年，被譽(yù)為爵士樂第一夫人的 Ella Fitzgerald 在位于洛杉磯比弗利山莊的家中去世。這位天才歌手曾獲得 13 個(gè)格萊美獎(jiǎng)、超 4000 萬專輯銷量，最終卻在糖尿病視網(wǎng)膜病變 (diabetic retinopathy, DR) 的影響下郁郁而終。如今，糖尿病已被我國(guó)列為四類重大慢性病之一，每 10 人中就有 1 位糖尿病患者。而根據(jù)賈偉平院士在 2023 年 7 月發(fā)表的研究數(shù)據(jù)，我國(guó)現(xiàn)約有糖尿病視網(wǎng)膜病變患者 1950 萬。
數(shù)據(jù)來源：

https://www.nature.com/articles/s41467-023-39864-w

一般而言，糖尿病視網(wǎng)膜病變?cè)谠缙陔[匿性較強(qiáng)，無癥狀發(fā)展，但晚期患者幾近失明，并且不可逆，已成為 20-74 歲成年人可預(yù)防性失明的主要原因。糖尿病視網(wǎng)膜病變通常進(jìn)展緩慢，但又受到多重風(fēng)險(xiǎn)因素影響，發(fā)病及病程進(jìn)展風(fēng)險(xiǎn)在不同個(gè)體間存在較大差異，所以準(zhǔn)確診斷并評(píng)估發(fā)展風(fēng)險(xiǎn)成為困擾醫(yī)生及患者的一大挑戰(zhàn)。

隨著 AI 在醫(yī)學(xué)領(lǐng)域發(fā)揮著愈發(fā)重要的作用，深度學(xué)習(xí)與卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)被用于從視網(wǎng)膜照片中，自動(dòng)檢測(cè)糖尿病視網(wǎng)膜病變，但卻很少能夠前瞻性的預(yù)測(cè)風(fēng)險(xiǎn)。

為此，上海交通大學(xué)主動(dòng)健康戰(zhàn)略與發(fā)展研究院院長(zhǎng)、上海市第六人民醫(yī)院內(nèi)分泌代謝科、上海市糖尿病重點(diǎn)實(shí)驗(yàn)室賈偉平教授和李華婷教授團(tuán)隊(duì)，上海交通大學(xué)電院計(jì)算機(jī)系/教育部人工智能重點(diǎn)實(shí)驗(yàn)室盛斌教授團(tuán)隊(duì)，和清華大學(xué)副教務(wù)長(zhǎng)、醫(yī)學(xué)院主任黃天蔭教授團(tuán)隊(duì)，構(gòu)建了基于時(shí)序影像序列深度學(xué)習(xí)的糖尿病視網(wǎng)膜并發(fā)癥預(yù)警系統(tǒng) DeepDR Plus，僅基于眼底圖像便可預(yù)測(cè)糖尿病視網(wǎng)膜病變?cè)?5 年內(nèi)的進(jìn)展。

研究亮點(diǎn)：

* 開發(fā)并驗(yàn)證了一個(gè)深度學(xué)習(xí)系統(tǒng) (DeepDR Plus)，僅通過眼底圖像即可預(yù)測(cè)糖尿病視網(wǎng)膜病變進(jìn)展

* 該系統(tǒng)被應(yīng)用于中國(guó)和印度的真實(shí)臨床案例，可將臨床應(yīng)用的平均篩查間隔從 12 個(gè)月延長(zhǎng)至 31.97 個(gè)月

* 該系統(tǒng)可在大幅降低篩查頻率和公共衛(wèi)生成本的情況下，仍保持極低的漏診率

論文地址：

https://doi.org/10.1038/s41591-023-02702-z

數(shù)據(jù)集一鍵下載：

https://hyper.ai/datasets/29716

數(shù)據(jù)集：中國(guó)和印度的臨床數(shù)據(jù)

首先，為了學(xué)習(xí)與糖尿病視網(wǎng)膜病變相關(guān)的特征，DeepDR Plus 系統(tǒng)使用來自上海綜合糖尿病預(yù)防和護(hù)理系統(tǒng)（上海綜合模型）和上海糖尿病預(yù)防計(jì)劃 (SDPP) 的 179,327 名糖尿病患者的 717,308 張眼底圖像進(jìn)行預(yù)訓(xùn)練。

其中，SDPP 是一項(xiàng)以社區(qū)為基礎(chǔ)的縱向隊(duì)列研究，包括 79,284 名參與者，他們于 2015 年 12 月至 2022 年 11 月在華東療養(yǎng)院和上海第六人民醫(yī)院接受了體檢，其中有 25,231 名參與者完成了至少 4 年的年度隨訪。

隨后，研究人員在一個(gè)內(nèi)部數(shù)據(jù)集中開發(fā)并驗(yàn)證了該模型，這一內(nèi)部數(shù)據(jù)集由來自糖尿病視網(wǎng)膜病變進(jìn)展研究 (DRPS) 隊(duì)列的 19,100 名糖尿病患者的 76,400 張眼底圖像組成，研究人員將 DRPS 隊(duì)列以 9:1 的比例分為發(fā)展數(shù)據(jù)集和內(nèi)部測(cè)試集，并使用了 8 個(gè)獨(dú)立的縱向隊(duì)列進(jìn)行外部驗(yàn)證。

DeepDR Plus 系統(tǒng)設(shè)計(jì)

為了評(píng)估整合臨床工作流程的 DeepDR Plus 系統(tǒng)的有效性，該研究還在一項(xiàng)基于社區(qū)的中國(guó)成年人前瞻性隊(duì)列研究中，進(jìn)行了一項(xiàng)實(shí)際研究，共有 2,185 名參與者被納入分析，其中 538 名參與者在綜合管理 (IM) 組（綜合醫(yī)院-社區(qū)糖尿病管理項(xiàng)目），1,647 名參與者在非 IM 組。同時(shí)，為了進(jìn)一步評(píng)估與臨床工作流程整合的結(jié)果，該研究還在印度前瞻性隊(duì)列 (SN-DREAMS) 中進(jìn)行了一項(xiàng)基于現(xiàn)實(shí)世界的研究，其中 992 名糖尿病患者接受了連續(xù) 4 年的隨訪。

模型：僅用眼底圖像可有效預(yù)測(cè)疾病進(jìn)展
DeepDR Plus 系統(tǒng)包含三種預(yù)測(cè)糖尿病視網(wǎng)膜病變進(jìn)展的模型：元數(shù)據(jù)模型、眼底模型和組合模型。其中：

眼底模型利用 ResNet-50 作為 Backbone，從眼底圖像中提取特征，并使用軟注意 (soft-attention) 層選擇信息量最大的特征。該研究首先使用動(dòng)量對(duì)比 (Momentum Contrast, MoCo,v2)，利用自監(jiān)督學(xué)習(xí)來創(chuàng)建預(yù)訓(xùn)練的特征提取器，用于從眼底圖像中提取特征。同時(shí)，該研究還使用一致性指數(shù) (concordance index, C-index) 和 IBS (integrated Brier score) 評(píng)估模型預(yù)測(cè)參與者未來 5 年的糖尿病視網(wǎng)膜病變表現(xiàn)。

元數(shù)據(jù)模型輸入元數(shù)據(jù)以生成生存預(yù)測(cè)，包括年齡、性別、吸煙狀況、糖尿病病程、基線 DR 水平、體重指數(shù)、糖化 HbA1c、收縮壓、舒張壓、甘油三酯、低密度脂蛋白膽固醇和高密度脂蛋白膽固醇。

組合模型則同時(shí)輸入眼底模型的眼底評(píng)分與元數(shù)據(jù)。

在內(nèi)部驗(yàn)證中，對(duì)于患者糖尿病視網(wǎng)膜病變進(jìn)展的預(yù)測(cè)，元數(shù)據(jù)模型、眼底模型、組合模型的一致性指數(shù)分別為 0.696、0.823、0.833。結(jié)果表明，組合模型的性能與眼底模型相似，優(yōu)于元數(shù)據(jù)模型。這證明了眼底模型的準(zhǔn)確預(yù)測(cè)性能。在 8 個(gè)獨(dú)立的外部數(shù)據(jù)集中，模型在預(yù)測(cè)糖尿病視網(wǎng)膜病變進(jìn)展方面取得了相似的性能，這表明 DeepDR Plus 系統(tǒng)具有高一致性和強(qiáng)定標(biāo)性。

眼底模型預(yù)測(cè) DR 進(jìn)展的內(nèi)外驗(yàn)證

為了確定患者應(yīng)該何時(shí)尋求眼科醫(yī)生幫助評(píng)估 DR 發(fā)展程度，該研究還進(jìn)行了 3 個(gè)亞組分析，進(jìn)一步證明 DeepDR Plus 系統(tǒng)預(yù)測(cè)能力。3 個(gè)亞組包括無視網(wǎng)膜病變的糖尿病轉(zhuǎn)至 DR（亞組 1），無需轉(zhuǎn)診的 DR 至需要轉(zhuǎn)診的 DR（亞組 2），非視力威脅 DR 轉(zhuǎn)至視力威脅 DR（亞組 3）。

該研究面向三大亞組分別使用 DeepDR Plus 系統(tǒng)，通過基線視網(wǎng)膜圖像來預(yù)測(cè) 5 年內(nèi)不同類型的 DR 等級(jí)惡化。結(jié)果表明，元數(shù)據(jù)模型在三大亞組的一致性指數(shù)為 0.700-0.711，IBS 為 0.261-0.328；眼底模型的一致性指數(shù)提高至 0.826、0.820、0.824，IBS 下降到 0.153-0.189；組合模型的一致性指數(shù)為 0.835-0.852，IBS 為 0.145-0.167。

此外，該研究還評(píng)估了眼底模型在外部數(shù)據(jù)集的預(yù)測(cè)性能，并取得了與內(nèi)部數(shù)據(jù)集相當(dāng)?shù)慕Y(jié)果。結(jié)果表明，單獨(dú)使用眼底圖像可以有效預(yù)測(cè)疾病進(jìn)展。

模型在內(nèi)部測(cè)試集和外部數(shù)據(jù)集的驗(yàn)證

AI 驅(qū)動(dòng)的個(gè)性化篩查間隔

在該研究中，IM 組定期接受臨床檢測(cè)和代謝測(cè)量，并由綜合醫(yī)院的專家提供指導(dǎo)建議。因此，該研究又將 IM 組和非 IM 組分別分為低風(fēng)險(xiǎn)組和高風(fēng)險(xiǎn)組，并通過 DeepDR Plus 系統(tǒng)中的眼底模型和元數(shù)據(jù)模型評(píng)估所有參與者。

IM 組和非 IM 組的研究流程圖

在非 IM 組中，與元數(shù)據(jù)模型相比，眼底模型高風(fēng)險(xiǎn)組患者更容易發(fā)展為糖尿病視網(wǎng)膜病變，眼底模型低風(fēng)險(xiǎn)組患者的糖尿病視網(wǎng)膜病變的可能性更低。

風(fēng)險(xiǎn)識(shí)別模型與參與者結(jié)果之間的關(guān)系

此外，與固定的年度篩查相比，該研究還評(píng)估了元數(shù)據(jù)模型或眼底模型推薦的個(gè)性化篩查方案的性能。如果 IM 組和非 IM 組的所有參與者都遵循眼底模型給出的推薦個(gè)性化篩查間隔，平均篩查間隔可以從 12 個(gè)月延長(zhǎng)到 31.97 個(gè)月。與元數(shù)據(jù)模型相比，眼底模型可以實(shí)現(xiàn)相似的篩查頻率降低，同時(shí)可明顯降低 DR 的延遲檢測(cè)率。另外，與非 IM 組相比，使用眼底模型推薦的篩查間隔，IM 組患者任何 DR 進(jìn)展的延遲檢測(cè)率均較低 (0.37% 對(duì) 1.28%)，這表明無論未來的干預(yù)措施如何，DeepDR Plus 系統(tǒng)都可以保證降低 DR 的延遲檢測(cè)率。

預(yù)測(cè)從無視力威脅DR發(fā)展到

視力威脅DR的Kaplan-Meier圖

綜上所述，與元數(shù)據(jù)模型相比，眼底模型可以更準(zhǔn)確地對(duì)參與者進(jìn)行分層，從而實(shí)現(xiàn)個(gè)性化干預(yù)，減少 DR 篩查頻率，同時(shí)減少延遲檢測(cè) DR 進(jìn)展的時(shí)間。

糖尿病視網(wǎng)膜病變 AI 診斷，中國(guó)處于第一梯隊(duì)
近日，AGILE 全球人工智能治理評(píng)估指數(shù)正式發(fā)布，首次評(píng)估解碼全球人工智能治理新格局。評(píng)估結(jié)果顯示，在人工智能發(fā)展水平方面，美國(guó)和中國(guó)在總量上處于領(lǐng)先地位。

AGILE全球人工智能治理評(píng)估指數(shù)排名

得益于國(guó)內(nèi)人工智能技術(shù)的快速發(fā)展，我國(guó)在人工智能輔助醫(yī)療領(lǐng)域進(jìn)展喜人，僅在細(xì)分的糖尿病視網(wǎng)膜病變的篩查方面就可與美國(guó)并駕齊驅(qū)。早在 2013 年，上海交大醫(yī)學(xué)院附屬第六人民醫(yī)院賈偉團(tuán)隊(duì)平及李華婷團(tuán)隊(duì)，就聯(lián)合上海交大計(jì)算機(jī)系盛斌團(tuán)隊(duì)，開始圍繞糖尿病視網(wǎng)膜病變特征的自動(dòng)提取技術(shù)展開探索。

到了 2016 年，谷歌采用深度學(xué)習(xí)系統(tǒng)經(jīng)過大量的糖尿病視網(wǎng)膜病圖片數(shù)據(jù)訓(xùn)練之后，精準(zhǔn)診斷出中重度 DR，成果發(fā)表于《美國(guó)醫(yī)學(xué)會(huì)雜志》(JAMA)。

在谷歌的啟發(fā)下，時(shí)任新加坡國(guó)家眼科中心主任的黃天蔭感到震撼。同時(shí)，黃天蔭認(rèn)為谷歌的研究仍然具有缺乏多種族驗(yàn)證的局限性。2017 年，黃天蔭及新加坡國(guó)家眼科中心團(tuán)隊(duì)成功研制了新的深度學(xué)習(xí)系統(tǒng)，率先在多種族多國(guó)隊(duì)列上有效地診斷出 DR 以及其他相關(guān)眼科疾病，成果后續(xù)也發(fā)表于 JAMA 期刊。

同樣是 2017年，杭州衛(wèi)計(jì)委率先啟動(dòng)糖尿病視網(wǎng)膜病變篩查項(xiàng)目，引入了基于人工智能輔助診斷的便攜式眼底照相機(jī)，以解決基層專業(yè)醫(yī)療資源缺乏的問題。同時(shí)，國(guó)內(nèi)也有多家人工智能醫(yī)療設(shè)備進(jìn)入市場(chǎng)，為更多患者帶來疾病治愈的新希望。

到了 2018 年，賈偉平團(tuán)隊(duì)與黃天蔭團(tuán)隊(duì)合作，聯(lián)合新加坡國(guó)家眼科中心等國(guó)際一流學(xué)術(shù)機(jī)構(gòu)，獲批組建上海市代謝相關(guān)疾病智慧防控「一帶一路」國(guó)際聯(lián)合實(shí)驗(yàn)室，開展糖尿病防治領(lǐng)域的合作。

盡管一切都發(fā)展的如火如荼，但 AI 診斷系統(tǒng)并未立即在臨床診療中得到進(jìn)一步驗(yàn)證。2020 年，谷歌團(tuán)隊(duì)更是發(fā)布報(bào)告表示，其糖尿病視網(wǎng)膜病變 AI 診斷系統(tǒng)在泰國(guó)臨床落地應(yīng)用中表現(xiàn)出強(qiáng)烈的「水土不服」，超五分之一的圖像因?yàn)榍逦葐栴}被系統(tǒng)拒絕識(shí)別，護(hù)士們不得不重拍照片，患者也輾轉(zhuǎn)至其他醫(yī)院就診，相關(guān) AI 系統(tǒng)在泰國(guó)的 11 家診所落地后被排斥。

而當(dāng) AI 診斷系統(tǒng)在海外臨床遇阻的同時(shí)，國(guó)內(nèi) AI 診斷系統(tǒng)卻開始迎來高速發(fā)展期。2020 年 8 月，我國(guó)首批基于深度學(xué)習(xí)技術(shù)的糖尿病視網(wǎng)膜病變眼底圖像輔助診斷軟件獲批上市。2021 年，南開大學(xué)發(fā)布了 CABNet (Category Attention Block)，還提出了 Global Attention Block，只需少量附加參數(shù)，就能顯著提高現(xiàn)有深度架構(gòu)的性能，并在 DR 分級(jí)方面取得優(yōu)異表現(xiàn)。

同樣是 2021 年，賈偉平團(tuán)隊(duì)攜手盛斌團(tuán)隊(duì)重磅推出 DeepDR 系統(tǒng)，能夠精準(zhǔn)區(qū)分從輕度到增殖期不同程度的視網(wǎng)膜病變，核心成果獲中國(guó)授權(quán)發(fā)明專利 3 項(xiàng)、美國(guó)授權(quán)發(fā)明專利 1 項(xiàng)，并在全國(guó)多地醫(yī)院落地使用。也是這一年，黃天蔭就任清華大學(xué)講席教授。上海交通大學(xué)與清華大學(xué)的醫(yī)工交叉團(tuán)隊(duì)開始對(duì)糖尿病 AI 輔助管理技術(shù)和臨床實(shí)踐開展了更為緊密的多學(xué)科合作與協(xié)同攻關(guān)，這也為雙方此前的研究按下加速鍵。

如今，DeepDR Plus 系統(tǒng)的面世，極大提高了發(fā)展中國(guó)家眼底攝片篩查的效率、公平性和可及性，為全球中低收入國(guó)家和地區(qū)的糖尿病管理模式的提質(zhì)增效與改革創(chuàng)新開辟了新道路。在不久的將來，人工智能也必將為更多糖尿病患者帶來治愈的新希望。

參考資料：
1.https://new.qq.com/rain/a/20240123A05OOZ00

2.https://m.thepaper.cn/baijiahao_20929983

3.https://baijiahao.baidu.com/s?id=1791412684120469650&wfr=spider&for=pc

4.https://www.nsfc.gov.cn/csc/20340/20343/57820/index.html