使用說明與限制
這是研究原型:一次辨識一個詞,把 25 個常用詞的臺灣手語轉成文字並唸出來;尚未支援連續手語與完整句子翻譯。
三步開始
- 開鏡頭手機或平板立起來、鏡頭跟臉一樣高,按「開始辨識」並允許使用鏡頭;第一次要下載約 27 MB 的辨識元件。
- 比一個詞,比完手放下停一兩秒再比下一個,比較認得出來。認出的詞會排進句子並唸出來(右上角的喇叭可以關掉),認錯的點 × 刪掉。
- 全部唸出把記下來的詞一口氣唸完,唸到一半可以按「停止唸出」;點單獨一個詞可以再聽一次。
不會比?先看示範
首頁的「25 個詞・選一個看示範」挑一個詞就會播,可以放慢、看骨架;也可以看每個詞的示範影片。
限制
模型的訓練影片只來自三位示範者,換一個人、換光線就容易認錯。
模型怎麼測的
訓練與測試影片由四位示範者自行錄製。目前的模型用其中三位的影片訓練;第四位完全沒有參與訓練,只拿來測試換一個人還認不認得。
隱私
鏡頭畫面在你的瀏覽器裡轉成骨架座標判斷,不會上傳。
辨識出來的詞會送到本站伺服器,交給 Google 合成語音。
接下來想做的
讓它看懂連著比的手語、翻成整句話,降低臺灣手語使用者與不懂手語的人之間的溝通門檻。
作者與來源
- 作者
- 林欣頤(中原大學智慧運算與大數據學士班畢業)
- 詞彙
- 臺灣手語教材資源網第一冊第 1~3 單元(教育部國教署委託、國立中正大學語言學研究所承辦)
- 影片
- 示範影片為作者自錄;訓練與測試影片由示範者自行錄製,未使用教材網影片。