流程
四步:你两步,我们两步。
- 01你
申请
告诉我们设备、录音环境,以及你想参加的原因。大约十分钟。
- 02noshigeSound
我们联系你
田野会亲自阅读每一份申请,如果你的设备和采集环境适合本计划,我们会直接回信。我们没办法回复所有人。
- 03你
采集,先发样本
用我们提供的源音频,按下面的指南录制输入/输出对:先发一小段样本给我们检查,再按这台设备的计划录制完整数据。
- 04noshigeSound
训练,然后下载
训练在我们这边完成。进度可以在你的账户里看到,做好的 .napx 和授权码也会出现在那里。
两种参与方式
公开出售,或者留作自用。
训练数据膨胀得很快:每多一个旋钮,录音数量就成倍增加。四个旋钮各 11 档,就已经有 14,641 种组合。所以第一步是决定 twin 的去向,采集内容再据此确定。
每个旋钮最多 11 档
作为插件出售
你允许我们在 twin 完成后作为插件出售它。要出售的 twin 需要覆盖设备所需的旋钮和开关,每个旋钮最多 11 档。
训练免费。目前没有收益分成。你自己也可以使用这个 twin,并获得免费授权码。
旋钮和开关的数量没有固定上限。不需要采集所有组合:我们会针对每台设备判断哪些控件真正相互影响,再和你一起制定采集计划。
留作自用
twin 只供你自己使用,采集量也可以小一些:比如一个旋钮最多 11 档 (档位之间由模型插值补全),或者平时真正在用的几组设置 (设置之间不做插值)。
训练按数据量收费。开始采集之前,我们会先报价,twin 完成后才收费。如果训练效果达不到品质标准,不收费。
这里同样没有固定上限。请在表单里说明你想采集的内容,我们会据此报价。
大概要录多少条?
一条录音,就是在一组设置下,让源音频完整过一遍设备。需要多少条,取决于你希望 twin 做到什么。下面几个例子可以帮你估算规模。
平时真正在用的几组设置
6 组设置 = 6 条录音
调好设备,录音,再换下一组设置。twin 会复现这些设置下的声音,并能在它们之间切换。
一个旋钮
11 档 = 11 条录音
其他全部固定,旋钮从 0 到 10 每档录一条。档位之间由模型插值补全。
各自独立的旋钮
3 个旋钮 × 11 档 = 33 条录音
其他固定,一次只动一个旋钮。适合彼此几乎没有影响的旋钮。
相互影响的旋钮
2 个旋钮组合:11 档 × 11 档 = 121 条录音
两个旋钮的每种位置组合都要录,数量增长很快。哪些旋钮要组合、每个分多少档,由我们和你一起规划。
开关
1 个旋钮 (11 档) × Low / High 开关 = 22 条录音
两档开关会让相关的录音数量翻倍。开关怎么处理,要看具体设备。
用完整的单声道源音频,一条录音大约一小时,所以 11 条大约要录 11 小时。源音频的长度也会在采集计划里一起确定。
完整采集是一项很大的投入。可能要花很多天,数据量也很大,一个小失误就可能让这些时间全部白费。开始之前,我们会告诉你这台设备需要什么。如果你享受这个过程,也期待最后的结果,欢迎申请。
我们在找的人
少量合作伙伴。
这项计划本来就很小众。AI 训练中最难的数据采集要由你来完成,所以需要同时深入了解模拟音频和数字数据,还需要高水准的设备环境。哪怕很微小的差异,也可能导致训练失败。人人都可以申请,但我们的资源有限,可能会从申请人中筛选。我们看重:
- 你认同这个想法:在波形级复现硬件原机,用 GPU 在 DAW 里实时推理,并在将来于数字世界中构建大规模的 twin。
- 如果选择出售,twin 做好之后,你愿意帮忙传播:拍一条视频、发一篇帖子,或者告诉身边一起工作的人。
- 你拥有这台设备,并且有高品质的声卡和线材。声卡需要能在录制原机输出的同时录制回环 (loopback)。
我们不做的事
承诺交付日期、保证回复。训练要多久才能达到理想效果,取决于设备。如果没有收到回信,欢迎之后换一台设备再次申请。
你会得到什么
twin、展示廊、工具。
twin 本身
你设备的加密 .napx,绑定到你的账户,附带免费授权码。永远属于你。
你的设备进入展示廊
如果你愿意,我们会在展示廊里把你设备的照片和你的名字,与做好的 twin 放在一起。
工具免费
Twin-Capture (录制) 和 Twin-Loader (专门加载训练好的 twin 的插件) 正在开发中。发布后,合作伙伴免费获得这两个工具。
采集指南
怎样录出能训练成 twin 的素材。
申请前请先读完,采集时就是这么做的。这里每一条都来自训练真机的经验,漏掉任何一条,都会影响训练结果 (做出来的 twin 的精度)。

- 1从 DAW 播放源音频 (我们提供的文件,约一小时)。
- 2线路输出 1 和 2 送出同一个信号。
- 3回环:输出 1 直接接回输入 1。这条录音就是 input.wav。
- 4线路输入 1 和 2 同时录制。
- 5你的设备接在输出 2 和输入 2 之间。这条录音就是 target.wav。
- 6每个设置,两个文件来自同一条 take。
DAW 工程
播放轨把源音频送出去,录音轨把回来的声音录下来。把录音轨一起 arm 上,每个设置录一条 take。立体声设备时,每条轨道都变成 L / R 一对,源音频用立体声组。
也可以用 4 条立体声轨道:每一对 (OUTPUT TO LOOP / OUTPUT TO HARD / INPUT FROM LOOP / INPUT FROM HARD) 各一条,把 L 和 R 当作立体声数据处理,完全没问题。无论哪种方式,源音频都用立体声组,不要用单声道组。
按这样给轨道命名,之后文件更容易区分。播放轨放同一个源文件;录音轨分别就是 input_NN.wav 和 target_NN.wav,NN 是设置的编号。
- 1
录音里应该有什么
twin 在实际使用中会遇到的一切:人声、原声乐器和电子声源、混音总线素材、噪声,以及从轻到响的宽广电平范围。只在一个电平上训练的模型,在其他电平上都会偏离原机。
- 2
使用我们的源音频
源音频通过共享文件夹提供,全部是我们自己的素材,可用于训练。里面是两套完全分开的素材:单声道采集用的单声道组 (约一小时,48 kHz),以及立体声采集用的立体声组 (左右声道装的是不同的内容,让 twin 学习两个声道之间的联动)。用与采集类型相符的那一组,不要混用。如果你自己的素材同样丰富,也可以使用。
- 3
输入和输出成对录制,在同一条音轨里
把源音频从两路线路输出送出。一路直接接回同一台声卡的线路输入,这条回环就是
input.wav;另一路经过你的设备,接到另一个线路输入,这是target.wav。像上图那样,两路在同一条 take 里同时录制。回环和设备这两路请用同一型号的线材 (最好是两根一样的线),免得线材本身的个性进入数据。 - 4
定好电平,之后不要再碰
先决定你会用到的最大输入,调到刚好不削波,然后整个过程中所有电平都不要动。电平一变,模型就无法知道输出为什么变了。把电平调到这样一个位置:你以后在插件里真正会用到的电平范围,都能均衡地采集到。
- 5
按计划采集
要出售的 twin:按我们一起制定的计划,采集它需要的旋钮和开关,每个旋钮最多 11 档。自用的 twin:最少可以只录一个旋钮 (最多 11 档,0 到 10,档位之间由模型插值),其余全部固定;也可以把几个设置原样录下来。只录一个设置也可以,这样 twin 只复现那一个设置。
- 6
先发一小段样本
正式采集之前,先把一个设置录几分钟发给我们。我们检查录音本身 (电平、回环对齐、格式) 后回复你。确认没问题,再录完整数据。样本不用来训练,它只是为了在你浪费一整场录音之前发现设置上的问题。
- 7
单声道还是立体声
单声道和立体声是两次独立的采集,数据绝不混用。如果左右声道相互影响 (联动的压缩器、立体声宽度电路等),请用左右内容不同的立体声组录立体声,twin 就是这样学会两个声道之间联动的。如果两边独立,用单声道组录状态较好的一个声道就够了,twin 会在两边输出完全相同的声音。
- 8
格式和文件
用 44.1、48、88.2 或 96 kHz 中的一种录制,并以同样的采样率交付 WAV 文件:24 bit,不做重采样。twin 按这个采样率训练,也只在这个采样率下工作。文件名按设置编号,好让我们分清哪条是哪条:第一个设置 (旋钮在 0,或快照 1) 是
input_00.wav和target_00.wav,下一个是input_01.wav和target_01.wav,依此类推直到_10。再附一份简短说明,写明每个编号对应的设置。如果要录的设置更多,文件命名方式会在采集计划里一起确定。目前文件直接发给我们,具体方式联系时再商量。
常见问题
申请之前。
申请
说说你的设备。
申请不需要账户。如果进入下一步,你会用 noshigeSound 账户查看进度和下载 twin。
