AI“读唇术” 靠什么让失语者重“开口”

钉科技 2020-04-06 15:42+-

  不出声,仅仅通过喉咙和下颚的皮肤震动就能知道想说什么。说道这,首先想到的可能是“古老的读唇术”。现在,人工智能可能会让这门显得颇神秘的“技艺”被更多人掌握。

AI“读唇术” 靠什么让失语者重“开口”

  之前,有科研人员研发AI唇语识别:运用机器视觉技术从视频中识别出说话人的人脸,提取此人连续说话时口型变化的特征。通过机器视觉识别,不用听声音,仅靠识别说话人的唇部动作,解读说话者所说的内容。近日,不同于运用机器视觉技术识别说话人的唇部动作的技术,一种仅靠检测喉咙运动的“读唇术”据说也被研发出来了。

  据《itmedia》网站消息,近日,东京大学和索尼计算机科学研究所共同研发出的AI系统“Derma”,通过将传感器贴合在喉咙周围的皮肤上,就能成功实现从口形(无声说话)到语音的转化。

  研究灵感最初来源于视听障碍者的触诊唇读法,他们会用手指触摸说话者的嘴唇和下巴周围,以此读取说话内容。也就是说,他们通过触摸障碍者嘴唇周围的皮肤得知他们的说话内容。

  AI系统“Derma”应用时,在下颚皮肤的两个位置安装加速度计和角速度传感器,辅之机器学习,通过随着说话发生的下颚运动和舌肌运动引起的从下颚到喉咙的皮肤颤动,进行无声“语音识别”。