加入VIP

格兰姆斯语音克隆工具背后的公司 CreateSafe 推出新的AI工具

格兰姆斯语音克隆工具背后的公司 CreateSafe 推出新的AI工具插图

在一首使用人工智能深度伪造德雷克(Drake)和周恩(Weeknd)声音的歌曲在病毒式传播后被下架后,格兰姆斯震惊了公众,她在推特上表示,如果有人想在人工智能生成的歌曲中使用她的声音,她将与他们分享 50%的收入。一周后,格兰姆斯首次推出了开源人工智能语音软件 Elf.Tech,允许艺术家在歌曲中复制她的声音,并将一半版税收入收入囊中。

尽管许多音乐人感到人工智能的威胁,但这位加拿大电子艺术家(同时也是埃隆-马斯克(Elon Musk)孩子的共同父母,后者刚刚成立了自己的人工智能公司)在人工智能音乐工具的使用问题上立场加倍坚定。

由格莱姆斯的经纪人达乌达-伦纳德(Daouda Leonard)联合创办的音乐技术工作室 CreateSafe 今天正式推出了由人工智能驱动的生成平台 Triniti,该平台以免费开放测试版的形式在网络上提供。Triniti 使艺术家能够创建人工智能语音克隆、生成文本到音频样本、向聊天机器人提出音乐产业相关问题、实现创作货币化并管理音乐 IP。

Elf.Tech是CreateSafe公司Triniti平台的原型。Elf.Tech已经复制了1000多首格莱姆斯的声音。格莱姆斯最近加入了CreateSafe的顾问委员会。

此外,CreateSafe 还透露,该公司向 TechCrunch 独家融资 460 万美元。种子轮融资由 Polychain Capital 领投,肯德里克-拉马尔(Kendrick Lamar)的经纪人安东尼-萨利赫(Anthony Saleh)、帕丽斯-希尔顿(Paris Hilton)创办的 11:11 Media、统一音乐集团(Unified Music Group)、Crush Ventures、MoonPay、Chaac Ventures 和伯恩斯坦私人财富管理公司(Bernstein Private Wealth Management)副总裁丹-韦斯曼(Dan Weisman)参投。CreateSafe 将利用新资金进一步开发 Triniti 平台。

CreateSafe 将 Triniti 称作 “艺术智能” 平台,因为它的主要目的是增强创作者的音乐创作能力。

伦纳德在接受 TechCrunch 演示时说:”它不会是完全的人工智能,因为你有这个界面,可以自己玩弄和制作音乐。他曾与许多顶级艺术家合作,包括 DJ Snake 和 Skrillex。” 这就是我们称之为艺术智能的原因,因为我们希望每个人都能拥有自己的人工智能,并能以一种全新的方式进行协作和自我扩展。

Triniti 利用定制版的 RVC(现实语音克隆)模型,以及 OpenAI 的 ChatGPT 生成虚拟伴侣,并利用稳定扩散(Stable Diffusion)生成专辑封面的图像。CreateSafe 还在 MusicGen 的基础上建立了一个音乐模型,该模型侧重于传统 DSP(数字声音处理)等音频技术。

“我们的目标不是用计算机取代人类。我们的目标不是用计算机取代人类,而是让计算机与人类合作,在人工智能的辅助下,创造出一种全新的音乐创作体验……我们不想助长现在大量的音乐欺诈行为,人们上传音乐只是为了玩弄系统。

据专门从事审计和欺诈检测的公司 Beatdapp 估算,2022 年至少有 10% 的流媒体活动是欺诈性的。

triniti-clone

声音转换和克隆功能是 Triniti 提供的最引人注目的人工智能工具。它允许歌手录制自己的声音,并用不同的声音模式和风格训练人工智能。然后,艺术家将获得数字声音克隆和 “声音相似性 “证书,允许他们设定声音许可条款。使用声音创作的歌曲可以直接在平台上发布、管理和盈利。

由于音乐行业围绕语音人工智能的许多争论都集中在版权保护问题上,因此授权部分在这里至关重要。

莱昂纳德说:”为歌曲提供许可框架和分发途径,是在建立对这个数字克隆的所有权时保护你的声音的一种方式……如果其他平台有可能使用你的声音肖像和你的名字,你就可以下架。”

尽管格兰姆斯是第一个使用 Triniti 声音克隆技术的艺人,但她不会是最后一个。该平台有 30 位艺术家计划在 2024 年发布数字声音克隆,供 Triniti 会员在自己的作品中使用。莱昂纳德拒绝透露具体人选,但他表示,这些人都是 “知名的传统艺术家”。

伦纳德解释说:”我们希望从真正相信这项技术的艺术家和唱片公司开始……我们展示的东西包括如何训练模型的道德使用,以及获得 IPO 持有人许可的合意使用。”

triniti-sound1

另一个值得一提的工具是 Triniti 的人工智能样本生成器,创作者可以输入他们希望音频听起来像什么类型或氛围。例如,”动听而缠绵的情歌”。生成器会生成四首曲目供创作者选择,每首曲目都配有专辑图片。同时,如果艺术家需要建议,Triniti 有一个虚拟伙伴,可以回答 “唱片公司如何赚钱?”或 “我如何成名?”等问题。

最后,Triniti 的管理工具使用 LLM 自动执行工作流程,帮助管理者为交易编目、创建发票、添加新客户和组织项目。

从今天起,任何人都可以免费使用 Grimes 的人工智能语音技术、音频样本和聊天。语音克隆、许可、分发和管理应用程序需经申请/批准后方可使用。公司最终计划推出订阅模式,年费从 99 美元到 150 美元不等。

在不久的将来,Triniti 将推出编辑工具、MIDI(乐器数字接口处理可视化)等。公司还将推出 iOS 和 Android 应用程序。

格兰姆斯在给 TechCrunch 的一份声明中说:”我真的为团队感到骄傲,他们能以如此快的速度和远见卓识完成这项工作。要谈的有很多,但归根结底,艺术作为一个产业产生了如此多的钱,而艺术家却很少看到。 很多人都在谈论科技、加速、人工智能等的主要终极目标之一–富足。对我们来说,第一步实际上是要弄清楚如何消除将资源送到艺术家手中这一过程中的摩擦。”

微海报