友快網

導航選單

把場景轉化成語音,AI技術如何幫助視障者?

作者|西西弗

蔓小妮是安徽一位28歲的女孩,她長相甜美,看起來與常人無異,幾乎每天都在抖音上分享自己的生活影片,還積累了2。3萬粉絲。她簽名裡寫著,喜歡唱歌,性格開朗,也很堅強。

但她是一位視障女孩。

與正常人相比,視障者在生活中面臨諸多不便。社會對他們生活的改善可能僅限於增建更多無障礙出行設施。但實際上,他們與正常人一樣有多樣化的生活需求。

比如,她們也想化妝,也想打遊戲,也想接觸各類工作機會,而不是接受去按摩院做盲人按摩師的宿命。

如果有強力輔助的話,他們的出路不會被困在按摩院裡,等待不確定又具有風險的生活。

根據資料顯示,全中國目前大約1700多萬視障者。越來越多的社會力量已經關注到這一群體,並試圖用技術和公益的方式來幫助他們解決現實生活中的困境。

盲人是怎麼看短影片和直播的?

小志與蔓小妮一樣,都是視障者。幾年前,小志在考研路上突發疾病導致了視力急速下降,而且不可逆。

世界變得模糊之後,小志的生活也迷茫過。後來他註冊了抖音賬號,透過影片的方式,以親身經歷告訴跟他有同樣經歷的小夥伴,不向命運屈服,爭取更精彩的人生。

他在抖音上主要分享視障群體如何生活的影片內容。比如,視障者使用電腦小技巧,以及視力不好如何點菜,如何發帖評論等。

你可能會很好奇,視障者是如何使用手機的?

對於正常人來說,看圖示就可以使用手機,但對於視障者來說,他們需要在手機上安裝特殊軟體,或者把手機設定為旁白模式,透過聽覺來使用。比如,蘋果手機裡自帶VoiceOver。

在蘋果手機中,點選通用裡的輔助功能,就可以開啟VoiceOver的“旁白功能”。在這個功能下,使用者手指觸控到手機的任何一寸螢幕都會先以旁白的形式發出語音提醒。

“正常人使用手機,點一下圖示就可以開啟APP,我們點一下手機首先跳出來的是旁白的聲音,告訴我們摸到的是哪個應用,然後我們透過雙擊開啟。”一位盲女按摩師告訴剁椒TMT。

在讀屏軟體的幫助下,越來越多的視障者正在透過短影片平臺開啟更大的世界,甚至還有視障者在抖音開直播,賺錢養活自己,也有視障者透過賣美妝產品,獲得了自己的第一桶金。

像抖音上的肖佳,就是一位視障者的美妝博主。在她的簽名裡寫著,就算看不見,我也要美。

為了學習化妝,肖佳要記住每個化妝品的名字以及包裝形狀。為此,她讓女兒給化妝品貼上盲文標籤,再靠記憶力記住顏色變化。她還透過一遍一遍的上妝、卸妝來記住高光和腮紅到底打多少才算適量。

如今,肖佳可以在短影片中分享自己的妝容和穿搭,還可以精準地描繪手裡拿著的衣服款式。

不過,手機裡自帶的軟體只能解決視障者一些使用手機的基本需求,他們的生活中依然存在諸多不便。比如,早上穿襪子到底穿什麼顏色,才能搭配自己的衣服,直播間裡展示出來的服裝到底是什麼款式,什麼材質?

“我們在使用手機的時候,螢幕上的文字可以透過讀屏軟體聽得到。但遇到圖片,特別是圖片上的圖案和文字的時候,瞭解起來比較困難。”上述盲女按摩師告訴剁椒TMT。

AI技術如何解決視障群體的生活難題?

找圖片確實是視障群體創作的過程中的一大難題。即便有一整個相簿,他們也不一定能找到一張高畫質又合適的圖片。

不久前,由抖音集團、北京位元組跳動公益基金會等組織舉辦的“AI助力視障群體”的“技術公益創新杯”大賽決賽舉辦。針對視障者找圖片難、選圖難的問題,大賽上一支名為BANG的團隊專門做了產品降低視障者在圖片方面的門檻。

“我們主要是讓視障者具備影象編輯能力。比如如何客觀的描述這個影象,有些詞只有非視障群體能理解,視障群體是不能理解的。因此我們做了一個描述的按鈕,視障者同意點開,看一下是否滿意,滿意才會繼續。”來自BANG團隊的成員介紹說。

事實上,視障群體能做的事情遠超出外界的想象,只是受限於現實條件,他們的需求並沒有被得到很好的滿足。技術的突破帶來了更多可能,拓寬了需求的邊界,同時也逐漸消弭視障人士和非視障人士之間的社交鴻溝。

一次偶然的機會,抖音集團產品經理、熊貓美妝專案的隊長在抖音上刷到了肖佳的美妝影片,並迅速聯絡到她。看到肖佳對化妝的熱愛與堅持,任鍇鍇開始思考,如果做一個公益美妝專案對市場、人群的價值究竟在哪裡。

於是,任鍇鍇開始了使用者調研。他發現,視障者化妝過程中,一個顯而易見的難題是,她們無法從鏡子中看到自己妝容,也無法辨別顏色,更別提進行區域性妝容的細微調整,只能透過朋友獲得反饋資訊。這樣一來一回,非常消耗時間。

如果能透過AR技術,識別出視障者化妝過程中哪步是對的,哪步是錯的,將極大地降低她們的化妝門檻。

為此,熊貓美妝在產品上增加了一個“內容糾偏”的功能。它能實時反饋給視障者,眼線有沒有花長,口紅有沒有出界,物料的顏色也能給出精準地提示。

在這個過程中,熊貓美妝需要克服的第一個難題是,由於採集視障者眼部資訊困難,網際網路行業沒有針對這個人群的臉部資料庫。因此,在演算法的精度上是有很大缺失的。產品前期的精度可能只有一半左右,但目前,視障使用者們在給出更多的資料反饋。

“化妝是視障者的基本權利。當我們開始想,她們為什麼需要化妝的時候,本身就是對他們的一種歧視。”任鍇鍇說。

熊貓美妝解決的還只是視障群體在垂直生活領域的需求。那麼,靈瞳團隊則解決更多視障者生活中存在的普遍問題。

比如,每天早上睜開眼睛,如何按照顏色搭配自己的衣服,去冰箱尋找自己喜歡的食物能不能找到,會不會已經過期了?靈瞳開發的APP可以透過回答問題的方式,直接獲取這些資訊。

“AI語音和視覺技術可以引導視障者更快更準確地找到相應內容。使用者可以透過對話方式定位物體的具體位置。比如,想找一個黃色的東西,你可以拿著攝像頭去尋找,一旦你找的目標出現,靈瞳就會提示你位置,在螢幕的左側還是右側。”靈瞳負責人表示。

在視覺識別的基礎上,靈瞳的產品還加入了智慧資訊檢測。也就是說,一旦有身份證、銀行卡等私密資訊進入拍攝範圍內,APP會自動發出提示,以免視障者無意間洩露自己的關鍵資訊。

抖音集團的公益進階

創作大賽中12組參賽隊伍分別提供了關於視障人群出行、辦公、購物、美妝、遊戲等需求的智慧解決方案。最終,靈瞳、熊貓美妝等團隊拿到了決賽的現金獎勵。

抖音集團將就決賽中這些有價值的專案進行孵化和落地,成為切實可用的產品。

除了現金獎勵以外,抖音集團也在技術和人才上支援視障公益技術和產品的研發。

本次AI創新大賽進入決賽的12支團隊大部分都來自位元組內部,他們有些是產品經理,有些是工程師,部分是來自清華大學等高校的學生。他們平時還是按時上班,週末和其他休息時間來研發這個視障公益產品。

任鍇鍇表示,公益不應該是有門檻的,它應該是可以複製的。“比如我們在深圳做了這個產品,那麼,在北京,上海的小夥伴們也都可以做;第二,我們不希望這個產品真的服務幾千萬人,我們做不到,如果能服務100或者1000個使用者,我們的專案就是成功的。因為相比一般的網際網路產品,公益專案最重要的就是落地,能夠幫到那些真正需要幫助的人。如果這個產品能夠幫助100個人實現化妝自自由,我們的產品價值就非常大了。”

這已經不是位元組第一次針對視障群體的公益行動。從2019年開始,抖音就啟動了資訊無障礙最佳化,透過開啟 Google TalkBack(或第三方螢幕閱讀)功能,將使用者在螢幕上觸控選中區域的內容朗讀出來,使得視障者可以根據朗讀的內容獲取自己當前操作區域的資訊,從而提升視障人士的使用和互動體驗,順暢地操作APP。

在內容上,平臺還開啟了殘障公益創作者招募扶持計劃,優質內容和優質創作者有機會獲得流量扶持和官方長期合作機會,該計劃旨在引導更多人關注、幫助障礙群體。

2021年,西瓜影片上線了“無障礙影院”頻道,平均每月上線10部以上無障礙影片的頻次。目前,無障礙影院已經上線了超過100部作品,包括涵蓋《我不是藥神》、《大魚海棠》等。使用者只需開啟西瓜影片,搜尋“無障礙影院”即可進入頻道,選擇影片開始“觀”影。

觀影過程中,從演員表到謝幕,除了演員的臺詞和背景音音,任何空白鏡頭都有西瓜影片的工作人員做旁白進行精準描述。比如,何潤東主演的《遍地狼煙》這部電影一開頭,是一個陽光明媚的夏日午後,旁白是這樣說的:陽光穿過茂密的樹林,這裡是楓林渡鎮,順著粗壯的樹幹延伸,枝杈出有個抱著槍睡午覺計程車兵……

過去幾年,作為一家科技公司,如何做好公益,是抖音集團高層一直在思考的問題。

為進一步發揮“網際網路+公益”模式的巨大影響力,抖音集團聯合多方力量發起了數個不同的公益專案。抖音公益相關負責人李濤曾表示,公益應該數年如一日,把一件事做穿、做透。

炒股開戶享福利,入金抽188元紅包,100%中獎!

開啟App看更多精彩內容

上一篇:蘋果分水嶺:業績大滑坡,走向平庸還是重振美股?
下一篇:詹姆斯排面太大了!NBA更改賽程+湖人賺翻,只為見證歷史時刻