吕声辉,飞桨开发者技术专家(PPDE),某网络科技公司研发工程师。主要研究方向为图像识别,自然语言处理等。
• AI Studio主页
https://aistudio.baidu.com/aistudio/personalcenter/thirdview/227158
随着互联网的发展,普通用户对于书籍展示形式的需求已由纯文字变成了图文、语音、视频等多种形式,因此将文本书籍转换为有声读物具有很大的市场需求。本文以飞桨语音模型库PaddleSpeech提供的语音合成技术为核心,通过音色克隆、语速设置、音量调整等附加功能,展示有声书籍的技术可行方案。
PaddleSpeech 是基于飞桨的语音方向开源模型库,用于语音和音频中的各种关键任务的开发,包含大量基于深度学习的前沿和有影响力的模型。首先进行PaddleSpeech安装环境的配置,配置如下:
每本书的内容均以json格式存放在txt文本中,路径为/work/books/inputs/bookname.txt。为方便演示,这里以三国演义为例。
PART 1 段落句子分割
以换行符"\n"分割为段落,以"。"分割为句子。
PART2 特殊字符处理
在国学书籍中,有可能出现很多生僻字或者特殊符号,这里需要做针对性的替换。
PART3 音频合成
根据分割的ID,保存到对应位置。
PART4 音色克隆
可以事先将不同音色音频放置在 /work/sounds 目录下。此处音色克隆部分的功能主要参考自PaddleSpeech语音克隆项目。
PART5 语速和音量调整
音色、语速和音量需要在 main.py 的头部中设置。
PART6 查看生成结果
最终切分好的数据在/work/outputs/sanguoyanyi目录下,原始语速和音量音频在outputs目录下,指定语速和音量音频在final目录下。其中的outputs.txt为切分内容,而音频会按照每个章节以及每个章节的句子索引排序好。
以下为outputs.txt 内容:
以下为第一回的每个句子wav格式音频。
输出第三部分生成好的内容和音频。这里用H5页面简单展示一下有声书阅读的效果,包括内容展示和逐句朗读高亮两种功能。
展示视频可以到飞桨微信公众号查看~
H5的具体代码已放在GitHub 上,大家可在下方链接中查看:https://github.com/lvsh2012/book2audio
手机或者PC也可直接体验:https://book.weixin12306.com/
通过PaddleSpeech可以简单快速地实现语音合成功能,轻松实现书籍有声化。使用者在这里需要关注下,当以H5展示播放效果时,需要注意内容和音频的对应关系。除了语音合成功能外,PaddleSpeech还提供了包括语音识别、声纹提取、标点恢复等其他功能。相信大家基于PaddleSpeech可以在该领域挖掘出更多的可能性!