人工智能模型消化80小时的视频以学习手语
对于聋人和重听者来说,像Alexa和Siri这样的语音识别技术反而可能是有效沟通的障碍。研究人员利用人工智能开发了一种将手语转换为文本的工具,可能会增加聋人社区的包容性和可及性。
翻译手语需要精确理解手语者的姿势,以产生准确的文字转写。巴塞罗那超级计算中心(BSC)和加泰罗尼亚理工大学(UPC)的研究人员利用人工智能开发了一种改进手语翻译的工具,这是允许聋人和重听者与技术互动并获得为口语设计的数字服务的重要一步。
研究人员使用了一个转化器式的机器学习模型,与ChatGPT等其他人工智能工具背后的模型类似。变压器之所以有用,主要有两个原因。第一,这些模型特别善于学习如何应用上下文,这是因为架构中存在自我注意机制--自我注意是神经网络如何通过查看文本中的其他词汇来确定词汇的上下文。其次,当从训练实例中学习时,它们允许更快的吞吐量,使更多的训练数据在特定时间内被使用。
这里的训练数据集来自How2Sign,这是一个公开可用的大规模、多模态和多视图数据集,包括80小时的美国手语教学视频和相应的英语文字记录。
该研究的主要作者Laia Tarrés说:"所开发的新工具是以前同样由BSC和UPC发布的名为How2Sign的出版物的延伸,在那里,训练模型所需的数据(超过80小时的视频,其中美国手语翻译人员翻译了烹饪食谱或DIY技巧等视频教程)被公布。有了这些已经可用的数据,该团队开发了一个新的开源软件,能够学习视频和文本之间的映射。"
对于研究人员来说,使用连续签名的视频而不是孤立的签名是很重要的,因为它更真实地反映了说话者是如何自然地使用一连串的词(连接)来构建句子的,这对确定一个句子的含义是至关重要的。
研究人员面临的一个挑战是手语的多变性和复杂性,它可能受到诸如手语者的背景、背景和外表的影响。为了在这方面有所帮助,他们使用膨胀式三维网络(I3D)对数据进行了预处理,这是一种视频提取方法,对视频进行三维过滤,允许直接从视频中获取时空信息。
研究人员发现,文本预处理也大大改善了签名到文本的翻译。为了预处理原始文本,他们将其全部转换为小写字母,从而降低了词汇的复杂性。
总体而言,他们发现他们的模型能够产生有意义的翻译,但并不完美。"研究人员说:"虽然我们的工作显示出有希望的结果,但仍有改进的余地。
由于该模型仍处于实验阶段,研究人员将继续努力创建一个工具,使聋人和重听者能够获得与无听力损失者相同的技术。
Tarrés说:"这个自动手语翻译的开放工具是对关注无障碍环境的科学界的宝贵贡献,它的发表代表了向为所有人创造更具包容性和无障碍的技术迈出的重要一步。"
该研究报告在线发表在arXiv上。
- 人工智能模型消化80小时的视频以学习手语
- ps抠图详细步骤是什么?ps魔棒工具怎么抠图?
- 请等待当前程序完成卸载或更改怎么解决? 控制面板卸载不了软件怎么解决?
- 工行visa信用卡怎么用?工行visa信用卡怎么还款外币?
- 火山的女儿如何回肯尼斯的信?火山的女儿克劳德如何结婚?
- 虽然摩羯座不是热情的人 但是他们也绝非无情之人?
- 信用卡最长可以分多少期还款?逾期名下有房子会被拍卖吗?
- 刑事诉讼法第六十七条的规定是什么内容?有哪些情形的犯罪嫌疑人可以申请取保候审?
- 信用卡最长逾期多久?信用卡逾期半年怎么办?
- 一种可穿戴的超声波仪器可以彻底改变行动中的健康监测方式
- 一种可穿戴的超声波仪器可以彻底改变行动中的健康监测方式
- 为什么苹果亮度总是自动调暗?苹果亮度怎么取消自动调节?
- 被第十宫官禄宫掌管的摩羯座有很强的独立性 不喜欢依靠别人?
- 工商银行卡萌娃卡有没有年费?工行萌娃卡能用到几岁?
- 黄金对冲如何操作?股市对冲工具有哪些?
- 玻璃种翡翠要开光吗?玻璃种翡翠要泡水吗?
- 强令违章冒险作业罪构成要件有什么?强令违章冒险作业罪立案标准是什么?
- iphone14怎么设置数字锁屏密码或面部ID解锁?iphone屏幕发黄怎么设置?
- 信用卡还不上怎么处理?欠太多网贷现在还不起怎么办?
- st股票停牌了手里的股票怎么办?刚被ST的股票会连续跌停吗?
- 工程质量存在问题是否承担违约金?工程质量向建设行政主管部门举报吗?
- 婚假是否包括周末吗?休婚假期间遇到双休日会延长婚假吗?
- 茅盾文学奖最值得看的作品有哪几部?茅盾文学奖几年评选一次?
- 银行卡每日限额怎么解除?农业银行卡单日限额怎么解除?
- Win10专业版系统如何一键清除垃圾bat?Win10系统一键清除垃圾bat的方法
- 股票减持完了会涨吗?减持会拉高股价吗?
- 定活两便存款利息计算的规定有哪些?定活两便好还是定期好?
- 玻璃水喷不出来怎么办?刚加的玻璃水为什么喷不出来?
- 别看天蝎座一副霸气的样子 其实他们的内心是缺乏安全感的?
- 信用卡欠款10万怎么办?信用卡无力偿还有什么后果?
- 人工智能模型消化80小时的视频以学习手语
- ps抠图详细步骤是什么?ps魔棒工具怎么抠图
- 请等待当前程序完成卸载或更改怎么解决?
- 工行visa信用卡怎么用?工行visa信用卡怎么
- 火山的女儿如何回肯尼斯的信?火山的女儿克
- 虽然摩羯座不是热情的人 但是他们也绝非无
- 信用卡最长可以分多少期还款?逾期名下有房
- 刑事诉讼法第六十七条的规定是什么内容?有
- 信用卡最长逾期多久?信用卡逾期半年怎么办
- 一种可穿戴的超声波仪器可以彻底改变行动中
- 一种可穿戴的超声波仪器可以彻底改变行动中
- 为什么苹果亮度总是自动调暗?苹果亮度怎么
- 被第十宫官禄宫掌管的摩羯座有很强的独立性
- 工商银行卡萌娃卡有没有年费?工行萌娃卡能
- 黄金对冲如何操作?股市对冲工具有哪些?
- 玻璃种翡翠要开光吗?玻璃种翡翠要泡水吗?
- 强令违章冒险作业罪构成要件有什么?强令违
- iphone14怎么设置数字锁屏密码或面部ID解锁
- 信用卡还不上怎么处理?欠太多网贷现在还不
- st股票停牌了手里的股票怎么办?刚被ST的股
- 工程质量存在问题是否承担违约金?工程质量
- 婚假是否包括周末吗?休婚假期间遇到双休日
- 茅盾文学奖最值得看的作品有哪几部?茅盾文
- 银行卡每日限额怎么解除?农业银行卡单日限
- Win10专业版系统如何一键清除垃圾bat?Win1
- 股票减持完了会涨吗?减持会拉高股价吗?
- 定活两便存款利息计算的规定有哪些?定活两
- 玻璃水喷不出来怎么办?刚加的玻璃水为什么
- 别看天蝎座一副霸气的样子 其实他们的内心
- 信用卡欠款10万怎么办?信用卡无力偿还有什