dongxi_nlp· @dongxi_nlp · X·· 8 天前AI 评分
用 Opus 5.5 写谱并从声波合成整首歌的实践流程
作者用 Opus 5.5 用 Python 写谱并从声波开始合成整首歌,未使用 Suno 等 AI 音乐模型,歌词也由 Opus 5.5 创作。流程是用 Swift 程序调用 macOS 语音合成,让 Aaron 和 Nicky 两个声音逐音节朗读,再通过信号处理把朗读唱成旋律;检测不靠耳朵,而是看频谱图、测响度和峰值,音高中位数误差为 8.7 音分。
整首歌是 Opus 5.5 用 Python 代码写谱、再从声波开始合成出来的,没有用任何类似于 Suno 等 AI 音乐模型。
歌词也是 Opus 5.5 写的,需要前期跟它聊一会确定对概念理解的准确。
人声用的是 macOS 自带的 Siri 语音朗读,再通过信号处理把它"唱"成旋律。
流程是如下:
用一个小 Swift 程序调用 macOS 的语音合成,让 Aaron(主唱)和 Nicky(和声)两个声音一个音节一个音节地朗读。
不靠耳朵做检测,看频谱图,测响度和峰值;测音高误差,中位数是 8.7 音分。
上述 technique,没有详细告诉 Opus 5.5,基本就是让他一把梭。
太惊吓了。
来源:dongxi_nlp · x.com