TMI TNSRE | 上海交通大學生物醫(yī)學工程學院錢曉華課題組最新研究成果
“修煉人工智能內(nèi)功”--解決小樣本困境，實現(xiàn)胰腺癌TP53無創(chuàng)評估
近日，上海交通大學生物醫(yī)學工程學院錢曉華課題組，原創(chuàng)性提出了利用Spiral-transformation來解決人工智能在腫瘤影像中的小樣本挑戰(zhàn)。該技術(shù)成功解決了多模態(tài)MRI預測胰腺癌TP53狀態(tài)的難題，并且也在基于CT預測頸部腫瘤HPV狀態(tài)中得到了驗證。該成果以“Combined Spiral Transformation and Model-driven Multi-modal Deep Learning Scheme for Automatic Prediction of TP53 Mutation in Pancreatic Cancer”為題，于2020年11月4日在線發(fā)表在影像領(lǐng)域頂刊《IEEE Transactions on Medical Imaging》(TMI)上。本文第一作者是二年級研究生陳夏晗，通訊作者是錢曉華。
胰腺癌是一種非常兇險的惡性腫瘤，TP53基因的狀態(tài)對胰腺癌患者在治療方案選擇、預后狀態(tài)評估中起著至關(guān)重要的作用。在臨床上，手術(shù)或者穿刺活檢病理組織是檢測TP53基因狀態(tài)的主要方法，但是這種有創(chuàng)的方式具有局限性、盲目性和創(chuàng)傷性等缺點。
因此，錢曉華課題組開發(fā)了基于多模態(tài)MRI的胰腺癌TP53狀態(tài)預測模型(圖1)，致力于對胰腺癌患者的無創(chuàng)評估。具體來說，1) 該模型結(jié)合螺旋變換算法，將三維數(shù)據(jù)轉(zhuǎn)化到二維空間，最大程度地保留了空間上特征的相關(guān)性，并為后續(xù)基因突變預測節(jié)省了大量的計算資源；并且，螺旋變換算法可用于數(shù)據(jù)的有效擴增。2）構(gòu)建了模型和數(shù)據(jù)混合驅(qū)動的多模態(tài)深度學習模型，引入了先驗知識構(gòu)建模型驅(qū)動的約束項，充分利用模態(tài)間信息的相關(guān)性和多樣性，實現(xiàn)各模態(tài)內(nèi)特征的稀疏化和模態(tài)間預測結(jié)果的均衡化，有效提高多模態(tài)的融合效果。
該模型在上海交通大學醫(yī)學院附屬瑞金醫(yī)院提供的多模態(tài)MRI數(shù)據(jù)集上進行了全面的評估，實現(xiàn)了73.6%的胰腺癌TP53預測準確率；并在基于CT預測頸部腫瘤HPV狀態(tài)中獲得了86.5% AUC。該方案提出的自動化無創(chuàng)評估模型將改善傳統(tǒng)基因分析方法的有創(chuàng)性、時間空間局限性等缺點，輔助醫(yī)生對胰腺癌患者的診斷和預后進行智能評估，有助于為患者制定個性化的治療方案。
本研究超越臨床意義的價值在于方法論的創(chuàng)新性，原創(chuàng)性提出了利用空間變換來解決人工智能在腫瘤影像中的小樣本挑戰(zhàn)，為學術(shù)界提供一種有效的通用解決方案。
文章鏈接：https://ieeexplore.ieee.org/document/9248055
圖1 結(jié)合螺旋變換和模型驅(qū)動的多模態(tài)深度學習模型的實現(xiàn)框架
基于手機視頻的帕金森病運動功能自動量化評估的深度圖神經(jīng)網(wǎng)絡方法
運動障礙是帕金森?。≒D）的典型癥狀。神經(jīng)病學家通常使用臨床評分量表（即MDS-UPDRS）來評估PD患者運動癥狀的嚴重程度。但是，這種評估方法不僅費時，而且容易受到評估者認知差異的影響。在最近的新冠肺炎疫情爆發(fā)以來，PD患者遠程醫(yī)療的實現(xiàn)已成為臨床實踐中非常迫切的事情。
為此，上海交通大學生物醫(yī)學工程學院錢曉華課題組與上海交通大學醫(yī)學院附屬瑞金醫(yī)院功能神經(jīng)外科主任孫伯民團隊的張陳誠醫(yī)生合作，于2020年11月19日在康復領(lǐng)域頂刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》（TNSRE）在線發(fā)表了題為“Sparse Adaptive Graph Convolutional Network for Leg Agility Assessment in Parkinson’s Disease”的研究文章，提出了適用于基于視頻（普通手機錄像）對MDS-UPDRS中腿部靈活性任務進行自動化客觀評估的深度學習模型。本文第一作者是二年級博士生郭睿，通訊作者是錢曉華。
腿部靈活性任務是MDS-UPDRS的重要組成部分之一。在該測試中，PD患者需要將每條腿分別以最大的幅度和最快的速度抬高踏地。神經(jīng)病學家根據(jù)患者的動作速度、幅度、有無遲疑和停頓、有無幅度的逐漸縮小等因素來給出評估分數(shù)，分數(shù)范圍為0-4。在該任務的自動量化評估研究中，已有的基于傳感器的方法存在著侵入性、定期標定和校準的局限性，基于視覺的特征工程方法則需要人工事先設計特征。
因此，作者開發(fā)了稀疏化自適應的圖卷積網(wǎng)絡模型實現(xiàn)基于視頻的腿部靈活性任務的自動化評估。具體來說，1）通過先進的人體姿態(tài)估計模型從視頻中提取PD患者的關(guān)節(jié)點序列；2）提出了稀疏化自適應圖卷積單元（SAGCU），以實現(xiàn)視頻中人體骨架序列的空間建模，對人體的物理和邏輯依賴性進行了自適應編碼，然后將稀疏化策略的約束嵌入到成本函數(shù)中以挖掘判別性特征，最終挖掘出了腿部靈活性任務中最重要的空間結(jié)構(gòu)關(guān)系；3）引入了時間上下文模塊（TCM），通過計算時間位置的相關(guān)性來構(gòu)造視頻序列的上下文依賴關(guān)系，捕獲了腿部靈活性任務執(zhí)行過程中關(guān)節(jié)的全局變化；4）開發(fā)了多域注意力學習模塊（MDALM），高級時空特征用于引導低級特征以增強通道域中的顯著性特征，最終實現(xiàn)了時間、空間和通道域的特征集成。
圖2 稀疏化自適應的圖卷積網(wǎng)絡模型的實現(xiàn)框架
該模型在上海交通大學醫(yī)學院附屬瑞金醫(yī)院功能神經(jīng)外科提供的臨床視頻數(shù)據(jù)集上進行了全面的評估，該數(shù)據(jù)集包含148個病人的870個腿部靈活性任務視頻。據(jù)文獻調(diào)查，這也是目前PD腿部靈活性任務自動評估研究中最大的數(shù)據(jù)集。定量和定性的評估分析證明了作者所提出的方案的有效性和可靠性，該方案實現(xiàn)了70.34%的準確率和98.97%的可接受準確率，優(yōu)于其他已有的腿部靈活性任務自動評估的方法（包含基于傳感器的方法）。該論文提出的非接觸式方法為帕金森病的自動運動功能評估和遠程醫(yī)療提供了新方案和潛在的工具。
文章鏈接：https://ieeexplore.ieee.org/document/9264203
研究組介紹
錢曉華
上海交通大學生物醫(yī)學工程學院副教授、博士生導師
實驗室研究興趣：
1）圖像處理與機器學習（深度學習）算法開發(fā)；
2）醫(yī)學圖像（視頻）處理與分析，和健康大數(shù)據(jù)挖掘與分析。
版權(quán)與免責聲明：本網(wǎng)頁的內(nèi)容由收集互聯(lián)網(wǎng)上公開發(fā)布的信息整理獲得。目的在于傳遞信息及分享，并不意味著贊同其觀點或證實其真實性，也不構(gòu)成其他建議。僅提供交流平臺，不為其版權(quán)負責。如涉及侵權(quán)，請聯(lián)系我們及時修改或刪除。郵箱：sales@allpeptide.com