為癌癥護(hù)理帶來(lái)全新可能！全球首個(gè)全切片數(shù)字病理學(xué)模型發(fā)布

投稿作者：許涵文（華盛頓大學(xué)二年級(jí)在讀博士生）

近年來(lái)，數(shù)字病理學(xué)的蓬勃發(fā)展成為了精準(zhǔn)醫(yī)學(xué)加速突破的重要組成部分。在癌癥護(hù)理過(guò)程中，利用全切片成像技術(shù)將腫瘤組織樣本轉(zhuǎn)換為高分辨率的數(shù)字圖像，已經(jīng)成為常規(guī)技術(shù)。高達(dá)十億像素級(jí)別的病理學(xué)圖片包含多樣的腫瘤微環(huán)境信息，為癌癥分型診斷，生存率分析以及精準(zhǔn)免疫治療提供了前所未有的契機(jī)。

近期，生成式人工智能革命為準(zhǔn)確感知、分析病理學(xué)圖片中的海量信息提供了強(qiáng)有力的解決方案。與此同時(shí)，多模態(tài)生成式人工智能技術(shù)的突破更將助力從時(shí)空多尺度理解數(shù)字病理學(xué)圖片并與其他生物醫(yī)學(xué)模態(tài)相融合，從而更好刻畫(huà)患者疾病演變、發(fā)展過(guò)程，協(xié)助醫(yī)生進(jìn)行臨床診斷和治療。

然而，由于數(shù)字病例學(xué)圖片的大規(guī)模、高像素、特征復(fù)雜等特點(diǎn)，從計(jì)算角度高效處理和理解其中的復(fù)雜模式十分具有挑戰(zhàn)性。每張全切片數(shù)字化轉(zhuǎn)型之后將包含數(shù)十億像素，其面積達(dá)到自然圖像的十幾萬(wàn)倍，應(yīng)用現(xiàn)有的計(jì)算機(jī)視覺(jué)模型難度較大。傳統(tǒng)的視覺(jué)模型，如 Vision Transformer，其計(jì)算復(fù)雜度隨著輸入圖片的大小的增加快速上升。同時(shí)，臨床醫(yī)學(xué)數(shù)據(jù)具有跨尺度、多模態(tài)和高噪聲等特點(diǎn)，而現(xiàn)有的病理學(xué)模型大多基于標(biāo)準(zhǔn)公開(kāi)數(shù)據(jù)集，依然同現(xiàn)實(shí)世界的應(yīng)用具有不小的距離。

為此，來(lái)自微軟研究院、美國(guó) Providence 的醫(yī)療網(wǎng)絡(luò)和華盛頓大學(xué)的研究人員，共同提出了首個(gè)全切片尺度的數(shù)字病理學(xué)模型 GigaPath。

據(jù)介紹，GigaPath模型采取兩階段的級(jí)聯(lián)結(jié)構(gòu)，以及微軟研究院近期開(kāi)發(fā)的 LongNet 架構(gòu)，高效解決了十億像素級(jí)別圖像的處理和理解問(wèn)題。研究人員對(duì) GigaPath 在真實(shí)世界的數(shù)據(jù)上進(jìn)行了大規(guī)模預(yù)訓(xùn)練，從 Providence 旗下 28 家美國(guó)醫(yī)院的 3 萬(wàn)病人收集到 17 萬(wàn)張全切片數(shù)字病理學(xué)圖片，共計(jì) 13 億張病理學(xué)圖塊。

實(shí)驗(yàn)結(jié)果表明，GigaPath 在 26 個(gè)任務(wù)——包含 9 個(gè)癌癥分型和 17 項(xiàng)病理組學(xué)任務(wù)——中的 25 項(xiàng)任務(wù)取得領(lǐng)先效果，在 18 項(xiàng)任務(wù)中顯著高于現(xiàn)有方法。

研究人員表示，該研究展示了全切片尺度層面的建模和大規(guī)模真實(shí)世界數(shù)據(jù)的預(yù)訓(xùn)練極其重要，同時(shí)，GigaPath 也將為更加先進(jìn)的癌癥護(hù)理和臨床發(fā)現(xiàn)提供全新可能。值得一提的是，GigaPath 的模型和代碼已經(jīng)開(kāi)源。

方法

GigaPath 采用兩階段課程學(xué)習(xí)，包括使用 DINOv2 的圖塊級(jí)預(yù)訓(xùn)練和使用帶有 LongNet 的掩碼自動(dòng)編碼器的全切片級(jí)預(yù)訓(xùn)練，如下圖。

圖｜GigaPath 模型示意圖

DINOv2 是一種標(biāo)準(zhǔn)的自監(jiān)督方法，在訓(xùn)練教師和學(xué)生 Vision Transformer 時(shí)結(jié)合了對(duì)比損失和掩碼重建損失。然而，由于自注意力自身帶來(lái)的計(jì)算挑戰(zhàn)，其應(yīng)用僅限于小圖像，例如 256 × 256 圖塊。對(duì)于全切片級(jí)建模，研究團(tuán)隊(duì)將擴(kuò)張注意力（Dilated Attention）從 LongNet 應(yīng)用于數(shù)字病理學(xué)，如下圖。

圖｜LongNet 模型示意圖

為了處理整張全切片的長(zhǎng)圖像圖塊序列，他們引入了一系列遞增的尺寸，用于將圖塊序列細(xì)分為給定尺寸的片段。對(duì)于較大的片段，LongNet 引入稀疏注意力，稀疏性與片段長(zhǎng)度成正比，從而抵消平方增長(zhǎng)。最大的尺寸片段將覆蓋整個(gè)全切片。這能夠以系統(tǒng)的方式捕獲遠(yuǎn)程依賴(lài)關(guān)系，同時(shí)保持計(jì)算的易處理性（上下文長(zhǎng)度呈線(xiàn)性）。

主要實(shí)驗(yàn)結(jié)果

在癌癥分型診斷方面，任務(wù)目標(biāo)定位于根據(jù)病理切片對(duì)細(xì)粒度亞型進(jìn)行分類(lèi)。例如，對(duì)于卵巢癌，模型需要區(qū)分六種亞型：透明細(xì)胞卵巢癌、子宮內(nèi)膜樣卵巢癌、高級(jí)別漿液性卵巢癌、低級(jí)別漿液性卵巢癌、粘液性卵巢癌和卵巢癌肉瘤。**GigaPath 在所有九項(xiàng)癌癥分型任務(wù)中均獲得領(lǐng)先效果，在其中六項(xiàng)癌癥類(lèi)別分型中準(zhǔn)確率提升具有顯著性。**對(duì)于六種癌癥（乳腺癌、腎癌、肝癌、腦癌、卵巢癌、中樞神經(jīng)系統(tǒng)癌），GigaPath 的 AUROC 達(dá)到 90% 或更高。這對(duì)于癌癥診斷和預(yù)后等精準(zhǔn)健康領(lǐng)域的下游應(yīng)用來(lái)說(shuō)是個(gè)好的開(kāi)始。

在病理組學(xué)任務(wù)中，任務(wù)目標(biāo)定位于僅根據(jù)全切片圖像預(yù)測(cè)腫瘤是否表現(xiàn)出特定的臨床相關(guān)基因突變。該預(yù)測(cè)任務(wù)有助于揭示組織形態(tài)和遺傳途徑之間難以被人類(lèi)察覺(jué)的豐富聯(lián)系。除了一些已知特定癌癥類(lèi)型和基因突變對(duì)之外，全切片圖像中存在多少基因突變信號(hào)仍是一個(gè)尚無(wú)答案的問(wèn)題。此外，在一些實(shí)驗(yàn)中，研究人員考慮了泛癌場(chǎng)景，即在所有癌癥類(lèi)型和非常多樣化的腫瘤形態(tài)中識(shí)別基因突變的通用信號(hào)。在如此具有挑戰(zhàn)性的場(chǎng)景中，GigaPath 在 18 項(xiàng)任務(wù)中的 17 項(xiàng)中再次達(dá)到了領(lǐng)先性能，在 18 項(xiàng)任務(wù)中的 12 項(xiàng)中顯著優(yōu)于第二名。Gigapath 可以在整個(gè)全切片水平上提取遺傳相關(guān)的泛癌和亞型特異性形態(tài)特征，為真實(shí)世界場(chǎng)景下的復(fù)雜未來(lái)研究方向打開(kāi)了大門(mén)。

此外，研究者通過(guò)引入病理報(bào)告進(jìn)一步證明了 GigaPath 在多模態(tài)視覺(jué)語(yǔ)言任務(wù)上的潛力。此前，關(guān)于病理視覺(jué)語(yǔ)言預(yù)訓(xùn)練的工作往往集中在圖塊級(jí)別的小圖像上。相反，GigaPath 探索全切片級(jí)別的視覺(jué)語(yǔ)言預(yù)訓(xùn)練。通過(guò)繼續(xù)對(duì)病理學(xué)報(bào)告對(duì)進(jìn)行預(yù)訓(xùn)練，利用報(bào)告語(yǔ)義來(lái)對(duì)齊病理學(xué)圖像的隱空間表征。

這比傳統(tǒng)的視覺(jué)語(yǔ)言預(yù)訓(xùn)練更具挑戰(zhàn)性，在不利用任何單個(gè)圖像圖塊和文本片段之間的細(xì)粒度對(duì)齊信息的情況下，GigaPath 在標(biāo)準(zhǔn)視覺(jué)語(yǔ)言任務(wù)中顯著優(yōu)于三種最先進(jìn)的病理學(xué)視覺(jué)語(yǔ)言模型。

總結(jié)

通過(guò)豐富全面的實(shí)驗(yàn)，研究人員證明了 GigaPath 的相關(guān)研究工作是全切片層面預(yù)訓(xùn)練和多模態(tài)視覺(jué)語(yǔ)言建模層面的良好實(shí)踐。值得一提的是，盡管 GigaPath 在多任務(wù)上取得了領(lǐng)先效果，在某些特定任務(wù)層面依然具有較大的進(jìn)步空間。同時(shí)，盡管研究人員探索了視覺(jué)語(yǔ)言多模態(tài)任務(wù)，但在朝向搭建病理學(xué)層面的多模態(tài)對(duì)話(huà)助手的道路上，依然有很多具體問(wèn)題需要探索。

GigaPath 是橫跨微軟研究院、Providence 醫(yī)療系統(tǒng)和華盛頓大學(xué)保羅艾倫計(jì)算機(jī)學(xué)院的合作項(xiàng)目。其中，來(lái)自微軟研究院和華盛頓大學(xué)的二年級(jí)博士生許涵文和來(lái)自微軟研究院的首席研究員 Naoto Usuyama 為論文共同第一作者。來(lái)自微軟研究院 Health Futures 團(tuán)隊(duì)的 General Manager Dr.Hoifung Poon（潘海峰），華盛頓大學(xué)的王晟教授，以及 Providence 的 Dr.Carlo Bifulco 為論文的共同通訊作者。

許涵文：華盛頓大學(xué)二年級(jí)在讀博士生。研究方向?yàn)?AI 和醫(yī)學(xué)交叉?？蒲谐晒l(fā)表于Nature、Nature Communications、Nature Machine Intelligence 和 AAAI 等。曾擔(dān)任 Nature Communications、Nature Computational Science 等子刊審稿人。

王晟：華盛頓大學(xué)計(jì)算機(jī)系助理教授，研究方向?qū)Ｗ⒂贏I和醫(yī)學(xué)交叉。科研成果發(fā)表于Nature、Science、Nature Biotechnology、Nature Machine Intelligence 和 The Lancet Oncology，研究轉(zhuǎn)化成果被 Mayo Clinic、Chan Zuckerberg Biohub、UW Medicine、Providence 等多個(gè)醫(yī)療機(jī)構(gòu)使用。

潘海峰：微軟研究院 Health Futures General Manager，研究方向?yàn)樯墒?AI 基礎(chǔ)研究以及精準(zhǔn)醫(yī)療應(yīng)用。在多個(gè) AI 頂會(huì)獲最佳論文獎(jiǎng)，在 HuggingFace 上發(fā)布的開(kāi)源生物醫(yī)學(xué)大模型總下載量達(dá)數(shù)千萬(wàn)次，部分研究成果開(kāi)始在合作的醫(yī)療機(jī)構(gòu)和制藥公司中轉(zhuǎn)化為應(yīng)用。