Meta推出“无缝沟通”AI翻译模型,带来更自然的跨语言对话体验
日期:2023-12-04 18:45:41 / 人气:199
Meta推出“无缝沟通”AI翻译模型,带来更自然的跨语言对话体验。《It之家》12月4日报道。今年8月,Meta公司推出了其多模态人工智能翻译模型SeamlessM4T,支持近100种语言的文本和36种语言的声音。现在这个模型更新了“v2”架构,Meta称之为“无缝沟通”模型,可以让对话翻译更自然,更有表现力。
两个新功能中的第一个是“SeamlessExpressive”,顾名思义,它可以将你的语气转移到翻译的语音中,包括声调、音量、情绪色彩(激动、悲伤或耳语)、语速和停顿。考虑到目前翻译出来的语音听起来很机械,这个突破还是很值得期待的,对我们的日常生活和内容制作都有很大的帮助。目前,其支持的语言包括英语、西班牙语、德语、法语、意大利语和中文,但在撰写本文时,演示页面缺少意大利语和中文。
第二个功能是“SeamlessStreaming”,可以在说话人还在说话的时候开始翻译,让别人更快听到翻译。虽然还有不到两秒的短暂延迟,但至少不用等对方说完一句话。根据Meta的说法,最大的挑战是不同的语言有不同的句子结构,因此他们必须开发一种特殊的算法来研究一些音频输入,以决定是否有足够的上下文来开始生成翻译输出或是否继续收听。
IT之家注意到Meta还没有透露公众何时可以使用这些新功能,但可以预计Meta未来会将它们集成到其智能眼镜中,使其更加实用。"
两个新功能中的第一个是“SeamlessExpressive”,顾名思义,它可以将你的语气转移到翻译的语音中,包括声调、音量、情绪色彩(激动、悲伤或耳语)、语速和停顿。考虑到目前翻译出来的语音听起来很机械,这个突破还是很值得期待的,对我们的日常生活和内容制作都有很大的帮助。目前,其支持的语言包括英语、西班牙语、德语、法语、意大利语和中文,但在撰写本文时,演示页面缺少意大利语和中文。
第二个功能是“SeamlessStreaming”,可以在说话人还在说话的时候开始翻译,让别人更快听到翻译。虽然还有不到两秒的短暂延迟,但至少不用等对方说完一句话。根据Meta的说法,最大的挑战是不同的语言有不同的句子结构,因此他们必须开发一种特殊的算法来研究一些音频输入,以决定是否有足够的上下文来开始生成翻译输出或是否继续收听。
IT之家注意到Meta还没有透露公众何时可以使用这些新功能,但可以预计Meta未来会将它们集成到其智能眼镜中,使其更加实用。"
作者:新宝娱乐
新闻资讯 News
- 研究结果显示,向ChatGPT提问...12-04
- 美年健康:股东阿里网络拟向其新...12-04
- 中国银行申请了丝网印刷专利,以...12-04
- Meta推出“无缝沟通”AI翻译模...12-04