2022年末ChatGPT的推出,不僅成為生成式人AI發(fā)展的重要里程碑,也預示著醫(yī)療領域可能即將迎來一場技術革新。生成式AI技術被寄予厚望,能夠提高醫(yī)療安全和質(zhì)量、降低成本,并改善患者和臨床醫(yī)生的體驗。然而,隨之而來的是,生成式AI可能會給患者安全帶來新的威脅。
醫(yī)療保健改進研究所?。ǎ桑龋桑∠聦僦菐臁。桑龋伞。蹋酰悖椋幔睢。蹋澹幔穑逭偌艘粋€專家組編寫了一份報告。該專家組由亞馬遜、谷歌和微軟等大型科技公司以及哈佛醫(yī)學院、Leapfrog?。牵颍铮酰稹『汀。耍幔椋螅澹颉。校澹颍恚幔睿澹睿簦濉〉鹊念I導者組成。研究目標是,共同確定生成式AI的實際應用領域,指出潛在的威脅,并就如何最大限度地提高效益和減少傷害提出建議。
IHI 總裁兼首席執(zhí)行官 Kedar?。停幔簦逯赋觯P于生成式AI將如何在我們的環(huán)境中部署,還有很多問題尚未解決。他也表示,在這項技術全面應用之前,應當確保大家所關切的問題得到充分考慮。
從生成式AI在醫(yī)療領域的數(shù)百種潛在用途中,專家組選擇了“文檔支持”、“臨床決策支持”和“面向患者的聊天機器人”這三個用例進行審查和研究,并且在報告中指出,這三個用例廣泛代表了未來幾年人工智能的預期臨床用途。
圍繞這三種用例,專家組討論了臨床中實施生成式AI的的潛在好處、風險和挑戰(zhàn),對緩解和監(jiān)測這些風險的策略進行了詳細審查,并對生成式AI對于患者安全的影響展開了評估。
一、文檔支持:“效率提升”與“更復雜的風險”
文檔工作是臨床醫(yī)生日常任務中不可或缺的一部分,但同時也是造成職業(yè)倦怠和認知壓力的重要原因。
生成式AI在文檔支持方面的應用被寄予厚望,包括自動編寫病史摘要、病歷核對、環(huán)境記錄和起草文檔等等。研究表明,人工智能輔助記錄能夠顯著減輕臨床醫(yī)生的記錄負擔,解放他們的雙手,降低認知負荷。此外,如果設計和實施得當,生成式AI還能發(fā)現(xiàn)和解決EHR中不準確的問題,并使藥物核對等一些常見的任務實現(xiàn)標準化。 面向患者,生成式AI工具還可以根據(jù)患者個人的知識水平,用他們喜歡的語言,為患者和護理人員提供可查閱的文檔,簡化醫(yī)學術語。
然而,生成式AI工具的引入也可能帶來新的工作量,例如,如果有些核對工作需要人工審核,那么將會給臨床醫(yī)生帶來更多工作量。此外,醫(yī)療系統(tǒng)可能將效率提升轉化為更高的生產(chǎn)率期望(例如看更多的病人、閱讀更多的X光片或病理切片),這反而可能增加臨床醫(yī)生的工作負擔。
對生成式AI輸出的內(nèi)容進行人工監(jiān)督這一點也可能給患者帶來重大挑戰(zhàn)。專家組成員認為,AI輸出的內(nèi)容可能在很多時候有一定的準確度,但并不完美,因此最終的簽核將由人類操作員執(zhí)行,這樣的“技術”與“人工”的二元組合被廣泛采用,反而可能會由于人類在審查中的偏差,導致更復雜的風險。
專家組也針對這樣的問題提出了一些潛在的解決方案,例如:對AI系統(tǒng)進行編程,增強輸出的可信度;采用各種策略,以確保負責驗證AI結果的人員能保持警惕,并順利找出AI結果的漏洞;審核臨床醫(yī)生更改AI生成內(nèi)容的頻率,給予“提示”;在設計人工智能系統(tǒng)時,應要求臨床醫(yī)生首先進行評估等等。
此外,專家組成員還表達了對患者自主權的擔憂,特別是普通公眾是否能在真正知情的情況下同意使用AI,包括他們的數(shù)據(jù)是否會被共享或出售。
二、臨床決策支持:提高診斷準確性,但需謹慎
生成式AI在臨床決策支持方面的應用,包括提供診斷支持和建議、早期檢測患者病情變化、制定潛在治療方案等。
基于生成式AI的CDSS(臨床決策支持系統(tǒng))可以作為一種輔助工具,通過分析報告中的癥狀、 患者病史和檢查結果,幫助臨床醫(yī)生評估患者病例,提出潛在的診斷建議和下一步措施。許多其他潛在應用也可促進護士、藥劑師、治療師和其他醫(yī)療專業(yè)人員的護理工作。此外,CDSS 還有可能應對基本的安全挑戰(zhàn),如識別未跟進的檢查,或幫助進行藥品對賬等等,這些潛在的功能都可以改善診斷準確性、節(jié)省醫(yī)生的時間并降低成本。
然而,臨床醫(yī)生對這些工具的準確性和可信度仍持保留態(tài)度。歷史上,類似工具的評估并未顯示出預期的臨床醫(yī)生行為改進效果,且存在“垃圾進垃圾出”的問題,即輸入數(shù)據(jù)的不準確性直接影響輸出結果的可靠性。此外,基于人工智能的CDSS的可信度因“黑箱”問題——缺乏透明度而受到質(zhì)疑。
AI本身的弱點,AI領域監(jiān)管的缺乏、以及人們對于醫(yī)療記錄本身的不準確的擔憂等等,多種因素都會導致生成式AI準確性降低?!‰m然基于 生成式AI 的?。茫模樱印】赡軙纫郧鞍姹镜摹。茫模樱印‘a(chǎn)生更可靠的結果,但一些困擾?。茫模樱印≡趯嶋H臨床中使用的核心問題不太可能僅僅通過采用更好的算法來解決。
三、患者支持聊天機器人:改善就醫(yī)體驗,但需確保安全
聊天機器人在其他行業(yè)的廣泛應用,為醫(yī)療保健行業(yè)提供了新的思路。生成式AI聊天機器人可以作為數(shù)據(jù)收集器支持分診、與患者互動回復問題和疑慮,以及支持護理導航。
理論上,醫(yī)療系統(tǒng)采用的生成式AI解決方案,可以提供比未經(jīng)驗證的在線資源更準確、更可靠的數(shù)據(jù)。這些自動化工具可以幫忙回答醫(yī)療問題,支持處方續(xù)訂,幫助患者找到服務,幫助醫(yī)生管理電子病歷收件箱中的患者電子郵件等等。
然而,聊天機器人的使用也帶來了一系列挑戰(zhàn),包括可能削弱患者與臨床醫(yī)生之間的信任關系;如果不進行適當?shù)拈_發(fā)和監(jiān)控,AI聊天機器人可能會進行誤導甚至有害的對話;此外,AI聊天機器人需要證明有管理復雜醫(yī)療病例的能力、要考慮并發(fā)癥以及協(xié)調(diào)相互沖突的信息和利益;信息流和分流也是關鍵問題,如果沒有得到適當校準,聊天機器人的應用可能會導致患者在及時獲得救治的問題上帶來損害。
專家組成員強調(diào),醫(yī)療系統(tǒng)必須向患者披露AI聊天機器人的使用情況,以減少任何混淆,并在患者和使用該技術的醫(yī)療系統(tǒng)之間建立信任。
四、擁抱生成式AI,保持謹慎和懷疑
生成式AI在醫(yī)療中的應用雖然展現(xiàn)出巨大潛力,但也面臨著一系列挑戰(zhàn)。如前文所說,首先,醫(yī)療服務的非個性化、可能產(chǎn)生不準確的預測和建議、人類對技術產(chǎn)出監(jiān)督不力等問題,都需要通過確保人工智能數(shù)據(jù)集的廣泛代表性、透明化的利益沖突和采用新穎的計算方法來解決。其次,"去臨床化"問題,即新晉臨床醫(yī)生可能永遠無法掌握資深臨床醫(yī)生的技能,也是需要積極研究和實驗的領域。最后,醫(yī)療保健系統(tǒng)必須向患者披露人工智能聊天機器人的使用情況,以減少混淆,并建立信任。
在報告中,專家組成員也對生成式AI在改善患者安全方面的潛力進行了肯定。例如,生成式AI能夠幫助匯總并檢查事故報告、護理事件和根本原因分析數(shù)據(jù);利用數(shù)據(jù)實時識別和解決安全問題;找出長期導致安全問題的誘因;改進審計跟蹤;協(xié)助重新設計工作流程;培訓安全和質(zhì)量專業(yè)人員;以及將患者體驗和反饋納入安全工作等。
另一方面,專家組也強調(diào),生成式AI也可能造成傷害,需要以謹慎和懷疑的態(tài)度來看待這項技術,并對信任、透明度、準確性以及以人為本的設計和實施展開呼吁。無論監(jiān)管層面采取什么樣的措施,在醫(yī)療環(huán)節(jié)中,這些工具提供給患者,就將會有成千上萬的使用案例和數(shù)以萬計的算法得到實施。這意味著,生成式AI是改善還是損害安全,可能更多取決于醫(yī)院、醫(yī)療系統(tǒng)和患者家中發(fā)生的情況,而不僅僅是關注監(jiān)管層面的動向。
注:文章來源于網(wǎng)絡,如有侵權,請聯(lián)系刪除