跳到正文
原文
dongxi_nlp· @dongxi_nlp · X·· 8 天前AI 评分59

用 Opus 5.5 写谱并从声波合成整首歌的实践流程

AI 导读

作者用 Opus 5.5 用 Python 写谱并从声波开始合成整首歌,未使用 Suno 等 AI 音乐模型,歌词也由 Opus 5.5 创作。流程是用 Swift 程序调用 macOS 语音合成,让 Aaron 和 Nicky 两个声音逐音节朗读,再通过信号处理把朗读唱成旋律;检测不靠耳朵,而是看频谱图、测响度和峰值,音高中位数误差为 8.7 音分。

正文

整首歌是 Opus 5.5 用 Python 代码写谱、再从声波开始合成出来的,没有用任何类似于 Suno 等 AI 音乐模型。

歌词也是 Opus 5.5 写的,需要前期跟它聊一会确定对概念理解的准确。

人声用的是 macOS 自带的 Siri 语音朗读,再通过信号处理把它"唱"成旋律。

流程是如下:

用一个小 Swift 程序调用 macOS 的语音合成,让 Aaron(主唱)和 Nicky(和声)两个声音一个音节一个音节地朗读。

不靠耳朵做检测,看频谱图,测响度和峰值;测音高误差,中位数是 8.7 音分。

上述 technique,没有详细告诉 Opus 5.5,基本就是让他一把梭。

太惊吓了。

来源:dongxi_nlp · x.com