关闭
您当前的位置:首页 > 伙乘资讯 > 38AI音频创作

FunAudioLLM:一款基于LLMs的语音理解和生成框架,支持多语言语音识别、情感识别和音频事件检测,以及多语言、音色和情感控制的语音生成

来源:伙乘AI 时间:2024-07-27 作者:伙乘AI 浏览量:

1722013627843.png


FunAudioLLM:FunAudioLLM Homepage (fun-audio-llm.github.io)


FunAudioLLM是一款基于大语言模型(LLMs)的语音理解和生成框架,旨在增强人类与LLMs之间的自然语音交互。该框架包含两个创新模型:SenseVoice用于高精度多语言语音识别、情感识别和音频事件检测;CosyVoice用于具有多语言、音色和情感控制的自然语音生成。


FunAudioLLM有哪些功能?

1. SenseVoice支持50多种语言,具有极低延迟,可用于多语言语音识别、情感识别和音频事件检测。

2. CosyVoice实现多语言语音生成、零样本语音生成、跨语言语音克隆和指令跟随等功能。


产品特点:

1. SenseVoice具有高精度和低延迟,支持多语言语音识别和情感识别。

2. CosyVoice具有多语言、音色和情感控制,支持多种语音生成场景。

应用场景:

1. 语音到语音翻译

2. 情感语音聊天

3. 交互式播客

4. 生动有声的有声书朗读


FunAudioLLM如何使用?

用户可以通过集成SenseVoice和CosyVoice模型,实现语音到语音翻译、情感语音聊天、交互式播客等应用场景,提升语音交互体验。

常见问题:

1. 产品是否支持实时语音识别?

2. 是否可以自定义语音生成的音色和情感?

3. 产品的多语言支持范围是什么?


1.jpg

微信扫一扫分享资讯

相关推荐
暂无相关推荐
热门话题
推荐文章