鏡頭與即時辨識
辨識內容
比一個詞,它會出現在這裡
比一個詞,它會出現在這裡
這是什麼:對著鏡頭比臺灣手語,它從 25 個詞裡辨識詞彙,依出現順序累積成文字並唸出。全部在你的瀏覽器裡算,影像不會離開你的裝置。
怎麼用:手與上半身入鏡,比一個詞、停一下,再比下一個(要再記同一個詞,先把手放下或停一下)。按「唸出整句」會一次唸完。
限制:目前只辨識支援的 25 個詞,不會翻譯完整手語句法。辨識會受使用者、光線、入鏡範圍與動作差異影響;畫面上的信心數字不代表正確率。請確認文字後再播放。
詞彙取自臺灣手語教材資源網(教育部國教署委託、國立中正大學承辦)第一冊前三個單元;示範影片是作者本人錄製的,沒有重製教材的影片,也沒有拿教材影片訓練模型。語音只有兩個:女聲(曉臻)與男聲(雲哲),都是預先產生的音檔(各 25 個詞)。單詞與整句用同一個聲音,整句把單詞接起來播,不依賴裝置的語音,也不會把任何資料送出去,所以每台電腦、手機聽到的都一樣。開源元件與授權
專題作者:林欣頤(中原大學智慧運算與大數據學士班畢業)。訓練與測試影片由四位示範者錄製;目前這顆模型用其中三位訓練,第四位完全未參與訓練、只當考卷。