在中國(guó)，有１７００多萬(wàn)視力障礙者，相當(dāng)于每１００人中就有一名視障者，面對(duì)大量不安全因素，他們難以獨(dú)自跨出家門(mén)。

日前，復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室（ＦｕｄａｎＮＬＰ）基于多模態(tài)大模型“復(fù)旦·眸思”（ＭｏｕＳｉ），為視障者量身打造了“聽(tīng)見(jiàn)世界”ＡＰＰ，為視障人群提供生活便利和安全保障。

“聽(tīng)見(jiàn)世界”ＡＰＰ結(jié)合了攝像頭捕捉的畫(huà)面和語(yǔ)言轉(zhuǎn)換技術(shù)，以描繪場(chǎng)景、識(shí)別風(fēng)險(xiǎn)并輔助視障者在環(huán)境中安全導(dǎo)航。只需一枚攝像頭和一對(duì)耳機(jī)，畫(huà)面能夠被轉(zhuǎn)化成語(yǔ)言，描繪場(chǎng)景、提示風(fēng)險(xiǎn)。（“聽(tīng)見(jiàn)世界”下載：?。瑁簦簦穑海鳎鳎鳎恚铮酰螅椋铮颍纾?/p>

２０２３年上半年，復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室發(fā)布了開(kāi)發(fā)ＭＯＳＳ對(duì)話式大型語(yǔ)言模型，被稱(chēng)為中國(guó)版的ＧＰＴ，僅用半年時(shí)間多模態(tài)模型“眸思”問(wèn)世。據(jù)介紹，“眸思”和基于文本的ＭＯＳＳ不同，它能夠理解并識(shí)別圖片內(nèi)容，致力于成為視障者的一雙“眸”。

到目前為止，“聽(tīng)見(jiàn)世界”ＡＰＰ已上線自由問(wèn)答、街道行走、物品查找、拍照閱讀４種模式。分別是街道行走模式、自由問(wèn)答模式和物品查找模式。通過(guò)街道行走模式，可以細(xì)致掃描道路情況，提示潛在風(fēng)險(xiǎn)，如紅綠燈、十字路口、障礙物等。在自由問(wèn)答模式中，可以描述周?chē)鷪?chǎng)景的細(xì)節(jié)，用聲音構(gòu)建豐富的生活場(chǎng)景。物品查找模式可以讓視障人士找尋日常物件變得輕松。通過(guò)拍照閱讀模式可以將文字轉(zhuǎn)化為語(yǔ)音，服務(wù)點(diǎn)菜、讀書(shū)等場(chǎng)景，幫助視障人士獲取更多信息。

在基于幾億張圖片訓(xùn)練出“眸思”大模型基礎(chǔ)上，針對(duì)視障者提出的各類(lèi)需求，團(tuán)隊(duì)又用上萬(wàn)張圖片進(jìn)行特殊樣本訓(xùn)練，使“眸思”具備能夠適配更多場(chǎng)景的能力。據(jù)透露，今年上半年，團(tuán)隊(duì)將結(jié)合ＡＲ升級(jí)ＡＰＰ內(nèi)的定位精度細(xì)化至亞米級(jí)別。下半年，團(tuán)隊(duì)希望將“眸思”升級(jí)為基于視頻的判斷。據(jù)介紹，更多模式正在開(kāi)發(fā)中，例如解說(shuō)模式，可以幫助視障人士解說(shuō)電影。

據(jù)介紹，團(tuán)隊(duì)計(jì)劃與ＮＧＯ組織、智算中心和硬件廠商等開(kāi)展合作，致力于讓視障者免費(fèi)使用產(chǎn)品和相關(guān)服務(wù)。預(yù)計(jì)今年３月“聽(tīng)見(jiàn)世界”ＡＰＰ將完成第一輪測(cè)試，在一、二線城市和地區(qū)同步開(kāi)啟試點(diǎn)，根據(jù)算力部署情況進(jìn)行推廣。

注：文章來(lái)源于網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系刪除