# Body Resonance V3 — 使用说明

Yuxuan Feng · 2026-10-19

## 开始

打开网页，选择 Mac 内置 / FaceTime 摄像头，点击 `s.boot` 并允许摄像头。首次使用 V3 需要另外下载嘴部识别模型。摄像头、手势识别和声音均在本机处理，画面不上传。

先在“手动试奏”中测试 L/R、张嘴、鞠躬按钮，然后使用摄像头。保持肩部、双手和髋部入镜；鞠躬检测需要髋部位置。`s.freeAll` 或 Escape 停止演奏。

## 统一命名与动作

L/R 是你本人的左/右手，不是镜像画面的左右。0–5 指伸出的手指数；L0/R0 是握拳，不指定是哪一根手指。

| 动作 | 结果 |
|---|---|
| 左臂上举 | 基频升高，默认 55–880 Hz |
| 右臂上举 | 响度升高，放低后趋近静音 |
| L0 | 基础声部 |
| L1–L4 | 每增加一指增加一层，共 2–5 层 |
| 闭嘴 | L0–L4 相邻层倍率为 2.828 |
| 张嘴并保持 | L0–L4 相邻层倍率变为 1.414；闭嘴恢复，音高平滑移动 |
| L5 | 默认 16 个随机比例持续音，可选 6、8、12、16、20、24 声部 |
| R0 | 当前基础波形，恢复原始音色参数 |
| R1–R4 | 四个预设槽，默认玻璃、合金、绒弦、呼吸 |
| R5 | 移动音色场：各声部以不同相位在合成引擎之间连续变化，并有轻微声像运动 |
| 鞠躬 | 正弦 → 三角 → 锯齿 → 方波 → 正弦 |

L5 的随机比例在 0.5–4 倍基频内生成，保持手势时比例固定。离开再进入 L5，或点击“重新生成比例”，才重抽。张嘴与 R5 都不会重抽比例；L5 与 R5 可以同时开启。

2.828 是相邻层倍率：L4 的频率比约为 1、2.828、7.998、22.617、63.961。超过 16 kHz（或当前采样率安全范围）的声部会淡出，不会折回低音或挤在同一个频率。因此高基频下可听见的层数可能少于设置层数。降低左臂或改用低音音域可以听到更多层。滤波器也会削弱最高层。

## 右手预设与 R5

打开“音色参数”，展开 `V3 / gestures`：

- R1–R4 各有预设选择菜单；先调好 A/B 引擎和音色滑块，再点某槽“存入当前”，可使用自定义音色。
- 预设槽仅保存在当前页面会话，刷新后回到默认；不包含基频、响度、L5 比例、基础波形和 R5 运动设置。
- 音色过渡：0.08–3 秒，默认 0.45 秒，用于音色交叉淡化。
- R5 速度：0.01–2 Hz；深度：0–1；范围起点/终点选择六类合成引擎中的区间。
- R5 深度 0 保留进入前的静态音色；深度 1 使用完整移动音色。退出 R5 平滑回到对应 R0–R4。
- 鞠躬改变“基础波形”，主要在 R0 或包含基础波形引擎的音色中听得出来；在纯噪声或纯元音等音色中不会强制替换其他引擎。

## 识别与防误触

- 普通手势约需 0.18 秒和至少三帧确认；L5/R5 约需 0.45 秒。
- 张嘴采用开/闭不同阈值与短暂确认，减少抖动；脸丢失超过约 0.5 秒后恢复闭嘴倍率。
- 鞠躬前先直立至少约 0.65 秒。躯干向前明显倾斜并保持约 0.3 秒触发一次；必须直起身体再鞠躬才能再次触发。仅点头不会按设计触发。身体丢失后需要重新直立。
- 可分别关闭嘴部和鞠躬控制。嘴部模型加载失败时，其余身体/手部识别继续；可用手动模式测试倍率。
- 右手暂时丢失时保留最后音色；身体或左手丢失时静音，防止失控持续发声。
- 切换摄像头、停止或重启会重置嘴部与鞠躬检测。

## 桌面 SuperCollider

解压 `BodyResonance_v3.zip`，打开 `Desktop_Control_v3.scd`，全选后按 Cmd-Return。点击 START。此面板用鼠标模拟手势，不直接识别摄像头；右手四槽在桌面测试面板中使用固定默认预设，网页可自定义。

`BodyResonance_v3.scd` 定义并导出两个声音定义：

1. `bodyResonanceV3`：8 声部组，通过 voiceOffset=0/8/16 组成 24 声部。
2. `bodyResonanceV3Output`：立体声混音、滤波、混响、静音、限幅。

需按桌面控制文件中的方式创建三个声音组和一个输出处理器，不能仅创建一个 bank 并期待它直接从扬声器发声。共享一个 Group，设置参数时发送给 Group。网页内部已完成组装。

## 验证范围

- SC 原生编译与桌面面板加载通过；只用标准核心 UGens。
- 实际 scsynth 3.14.1 WebAssembly 测试通过：三组共 24 比例、六类音色发声、R5 与嘴部不重抽 L5、显式重抽、丢失追踪静音。
- 手势状态机与摄像头选择回归测试通过。
- 尚未在真实摄像头上验证新增嘴部、右手与鞠躬动作。距离、光照、衣着与遮挡会影响识别；24 声部和三种视觉模型的实时性能需在你的 Mac 上试奏确认。