💡 The structure of the proposed model
With the advancement of speech synthesis technol ogy, users have higher expectations for the naturalness and expressiveness of synthesized speech. But previous researches ignore the importance of prompt selection. This study proposes a text-to-speech (TTS) framework based on Retrieval-Augmented Generation (RAG) technology, which can dynamically adjust the speech style according to the text content to achieve more natural and vivid communication effects. We have constructed a speech style knowledge database containing high-quality speech samples in various contexts and developed a style matching scheme. This scheme uses embeddings, extracted by an LLama, PER-LLM-Embedder,and moka, to match with samples in the knowledge database, selecting the most appropriate speech style for synthesis. Furthermore, our empirical research validates the effectiveness of the proposed method.
Comparison with different methods for each text and conversation
| Text | CosyVoice | MaskGCT | Ours |
|---|---|---|---|
| 他们说李佳琦疯了 | |||
| 我真的很难过？大家千万不要去健身。 | |||
| 超白，你真的，在身上找，除了白，找不到别的 | |||
| Aw, okay, I called it. I totally called it. | |||
| I'm just saying, Capri is gorgeous. | |||
| Great. Now you got me in trouble. |
| Dialogue | CosyVoice | MaskGCT | Ours |
|---|---|---|---|
|
So, we're on the beach, and harrison gets down on one knee and says, marry me. Aw, okay, I called it. I totally called it. Well, congratulations, guys. And harrison, it's so nice to finally meet you. |
|||
|
I'm just saying you know, you should enjoy the engagement, take some time, see if it feels right because you're not locked? Well, we are locked in, we're engaged. Does engagement mean nothing to you, brad? |
|||
|
👨别有荣幸，可以让你在李佳琦直播间再次挑战一下你那个贯口吗？ 👩我跟你讲这个贯口有一段故事，在准备春晚的时候，压力非常大。有一天晚上我们在睡觉，然后梦到我在台上忘记贯口。 👩我整个惊醒，然后背两套紫米煎饼，一套煎饼不放葱，一套煎饼只放葱。 |
|||
|
👩然后呢，我健身了三个星期，我每天健身有氧加无氧，有一个半小时到两个小时，而且有时候是空腹的。 👩然后前几天我没有忍住，我去上那个体重秤，因为我前几天跟宋祖儿去吃饭，然后她说你是不是胖了。我就想把菜全部扔在她脸上，然后我就去称体重。我称体重的那一刻，我立刻给刘胜怡发微信，我的天都塌了，115。 |
👨 李佳琦： 所有人都没被她骗到，只有我被她骗到了。然后她就怎么样，你知道怎么样吗？
👨 李佳琦： 就是直播间上讲的时候说，那我们来看一下，下一个获奖的品牌是谁吧。
👨 李佳琦： 好，就是很没有那种就是生机活气。然后你知道我一下播，她干嘛吗？
👩 金靖： 他说下班啦，谢谢大家，谢谢李佳琪，谢谢大家！
👨 李佳琦： 真的，我好激动。我是没有看到你。我说原来女明星还可以这样子，原来工作收工了，还可以这个样子。
👨 李佳琦： 嗯对，就觉得她真的特别特别好玩。
👨 李佳琦： 他们说李佳琦疯了
👩 金靖： 李佳琦真的疯了，在后边大喷口水
👨 李佳琦： 别有荣幸，可以让你在李佳琦直播间再次挑战一下你那个贯口吗？
👩 金靖： 我跟你讲这个贯口有一段故事，在准备春晚的时候，压力非常大。
👩 金靖： 有一天晚上我们在睡觉，然后梦到我在台上忘记贯口。
👩 金靖： 我整个惊醒，然后背两套紫米煎饼，一套煎饼不放葱，一套煎饼只放葱，五套绿豆煎饼，两套加啥也不加辣，一套加辣啥也不加，剩下啥啥也不加，五个茶叶蛋，两个笨鸡蛋，三个鹌鹑蛋，五个荷包蛋，荷包蛋两个单面煎，三个双面煎，单面煎的放酱油，双面煎的放辣椒酱，原味豆浆，三杯热乎的，两杯凉嗖的，一杯温暾的一杯温暾的还有一杯温暾的，三杯黑豆豆浆。
👨 李佳琦： oh my god ，oh my god，我的天
👩 金靖： 所有的成功都是努力来的，你也可以呦，前辈们
👨 李佳琦： 其实我也会，你刚才那个，我连词都不用看，对，就是一个煎饼溜溜，四个溜溜五个溜溜溜溜，反正大家也听不清楚啊
👩 金靖： 整个被刷掉，一审就被刷掉。
👩 金靖： 咦？我看你头发也没有扎，就随便挽了一下，然后就有点卷曲
👨 李佳琦： 我跟你说，我要卸妆了，所以头发就是一起来就是卷卷的。然后今天是两个麻花卷，要是另外一天，又是一个一个麻花卷。
👨 李佳琦： 嗯，我也好想这样的，就是造型啊，这样就算我秃头，头都不会秃了。
👨 李佳琦： 好啦好啦
👩 金靖： 必须声明一下，直播间在发的红包，是我名义上的发红包，并不会从我今天的那个资金里扣。对对对，你要说清楚，免得被烙下话柄。
👨 李佳琦： 看上去就是应该不会用护肤品吧，毕竟你是人间4月天，一出来就这么美。
👩 金靖： 其实就是都对外的啦，就我们私下自己人说一说，当然要护肤啊，怎么可能不护肤呢，哪有这样的皮肤。
👨 李佳琦： 所以那你的皮肤非常能打，你很白很白
👨 李佳琦： 我在你身边没有出任何的问题。
👨 李佳琦： 超白，你真的，在身上找，除了白，找不到别的
👩 金靖： 还有更白的地方。想让大家看看我的优点。
👨 李佳琦： 可以看一下，就是我们两个人在一起，金靖真的好白好白，所以你是天生白吗？
👩 金靖： 真的天生白，像牛乳一样，不是，牛奶牛奶牛奶牛奶。。
👨 李佳琦： 不是，牛乳也可以，牛奶也可以，一样的，就是牛奶，不用紧张，不用紧张，这个是很正常的啦！
👨 李佳琦： 你为什么要笑，3、2、1，正经，不准笑。所以护肤是很重要的。
👨 李佳琦： 早上起床应该是先刷牙还是先洗脸。
👩 金靖： 其实我是先称体重。
👨 李佳琦： 所以你现在有多重？
👩 金靖： 李佳琪，我的天都塌了。
👩 金靖： 疫情期间，我跟大家坦白说，本人104斤，然后我就想猛猛的减肥啊，减到95斤绝对不是问题，才10斤左右，是不是？
👩 金靖： 然后我就觉得我再也不要用节食减肥了，反弹非常的快。
👩 金靖： 然后就请了一个教练，他就说你千万不要在我们锻炼初期去称体重，因为那个健身会让你变重，我说变瘦，时间会告诉我们。
👩 金靖： 然后呢，我健身了三个星期，我每天健身有氧加无氧，有一个半小时到两个小时，而且有时候是空腹的。
👩 金靖： 然后前几天我没有忍住，我去上那个体重秤，因为我前几天跟宋祖儿去吃饭，然后她说你是不是胖了。
👩 金靖： 我就想把菜全部扔在她脸上，然后我就去称体重。我称体重的那一刻，我立刻给刘胜怡发微信，我的天都塌了，115。
👩 金靖： 我一下子，三个礼拜从104涨到115。我都我不知道我怎么了。
👨 李佳琦： 没有关系，你有1.7米
👩 金靖： 我只有1.63米，那是假的。
👨 李佳琦： 那你的官方身高是谎报的？
👩 金靖： 对，我还想让公司帮我改成1.78米
👨 李佳琦： 那我不就是1.88米了？你知道我的身高是多少吗？
👨 李佳琦： 跟五桶方便面的身高一样
👩 金靖： 哦，真的，我们应该差不多吧。
👨 李佳琦： 我好像比你再高一桶吧。
👨 李佳琦： 好吧，那我们回到正题，你为什么突然提到你的体重？
👩 金靖： 我真的很难过？大家千万不要去健身。
👨 李佳琦： 哎，你说有一个人健身减肥竟然瘦了30斤哦~
👩 金靖： 是谁？
👨 李佳琦： 来就是对面的那个男孩子
👨 李佳琦： 但是男孩跟女孩根本不一样，女孩有没有哎，有没有那个健身减肥的，在评论里面打起来，我三周胖了10斤，我经纪人都不知道，他已经在给我使眼色了，你快点说
👨 李佳琦： 说不定你下个星期要胖了30斤。对不对？
👨 李佳琦： 哎哎，你干嘛你干嘛？
👩 金靖： 我整个离开啊
👨 李佳琦： 好了，瘦了瘦了瘦了，说错了啦，好你是先刷牙再洗脸吗？
👩 金靖： 不知道我现在还在生气
👨 李佳琦： 你为自己的体重，你生你自己的气
👩 金靖： 嗯对先刷牙，因为有时候口臭真的很严重，洗脸也不想洗了
👨 李佳琦： 好，第二个问题，美丽的皮囊跟有趣的灵魂，你会选哪个
👩 金靖： 当然是美丽的皮囊，谁要有趣的灵魂。你看我就是有有趣的灵魂。
👨 李佳琦： 很好啊，大家都很爱你啊
👩 金靖： 我不要你们爱我
👨 李佳琦： 那你要干嘛？
👩 金靖： 我想要我爱的人爱我
👨 李佳琦： 但是有趣的灵魂会占很多的优势。
👩 金靖： 因为有趣的灵魂会很耐看，到后面也会发现他很多的优点
👨 李佳琦： 谁要耐看啊？你去问一个女生，她要好看还是要耐看？谁会想要耐看的呢？
👨 李佳琦： OK好，第三个问题，你认为男生可以化妆吗？
👩 金靖： 当然可以化妆？为什么不可以？为什么要给我们那么多限制？这个人生那么多人在给我们贴标签，说女生必须体重不过百？男生不能化妆，为什么？我们站起来！我就过百了。
👨 李佳琦： 我就化妆了，对呀，我觉得男生是可以化妆的，只要是那种比较干净的妆，我觉得没有任何问题。
👩 金靖： 当然浓妆我也OK，说实话真的
👨 李佳琦： 嗯，好的，来，我们下一个问题。
👨 李佳琦： 哭比笑好还是笑比哭好
👨 李佳琦： 我觉得笑比哭好，因为哪怕我的天塌了，我的眼泪就在眼眶里打转，我还是告诉自己要坚强，相信教练三个月后，三个月后我们再见，我减肥成功了，再来直播间
👨 李佳琦： 你有经过我的同意吗？
👩 金靖： 完全没有，哈哈哈
👨 李佳琦： 三个月之后，如果你瘦了，你要来佳琦直播间，他们都好爱你
👨 李佳琦： 最后一个问题，我们来看睡不着跟起不来的人更痛苦？我选起不来，
👨 李佳琦： 我选睡不着
👩 金靖： 我觉得笑比哭好，因为哪怕我的天塌了，我的眼泪就在眼眶里打转，我还是告诉自己要坚强，相信教练三个月后，三个月后我们再见，我减肥成功了，再来直播间
👨 李佳琦： 哦，因为我没有睡不着过的经历，我基本动不动就倒
👩 金靖： 我没有起不来的经历
👨 李佳琦： 真的吗？
👨 李佳琦： 所以你是睡两个小时，喊你起来，就立马起来
👩 金靖： 对，我是摩羯座。