📖 SignBridge 帮助文档

实时字幕与语音输入驱动的手语动画浏览器扩展。完整文档见 GitHub。

🚀 快速使用

  1. 打开B站/YouTube任意视频
  2. 确保视频已开启CC字幕
  3. 等待右下角虚拟人加载
  4. 字幕出现时自动翻译

🖱 鼠标交互

操作 效果
拖拽左右 旋转虚拟人
拖拽上下 上下平移虚拟人
鼠标滚轮 缩放虚拟人
拖拽标题栏 移动浮窗位置
点击× 关闭浮窗

🎛 弹窗控制

按钮 功能
▶/⏹ 开关翻译
🔊 捕获当前视频标签页声音并启动 ASR
⚙ 一键部署浏览器内 Whisper,或配置云端 ASR 服务
🎬 姿势编辑器(骨骼调参+导出)
🎥 录制工具(关键帧动画)
📖 本帮助页面

🦴 骨骼系统

手形原子(7种): 握拳/平掌/食指指/拇指竖/胜利V/OK/放松

🛠 工具

翻译架构

  1. 字幕轨、网页字幕节点或视频声音 ASR 产生文本。
  2. 文本规范化并过滤无独立手势的虚词。
  3. 按原文顺序做最长词组匹配,未知内容跳过。
  4. 把多个已知词的版本化 motion clip 按顺序合并。
  5. 标准 Humanoid rig 把动作重定向到当前 avatar profile。
  6. 通过 REST 增量和四元数平滑插值播放。

当前词典包含 52 个结构化词条和 16 个单字回退。这是可审计的词典驱动方案,不等同于完整自然语言手语翻译;未收录词和 CSL 语法重排仍需继续建设。

标准骨骼与换模型

动作统一使用 humanoid-local-v1 标准名称。运行时、姿势编辑器和录制器共用 GODETTE_PROFILE,双手五指均覆盖根、中、尖三段指骨。换模型时只应新增 avatar profile 并通过完整骨骼测试,不应逐个修改词条轴向。

当前默认模型仍是 Godette glTF。正式接入 VRM 时,先提供一份可验收的 VRM 1.0 模型,再增加 VRM profile/loader;字幕、语音、词典和浮窗层不需要重写。

📝 控制台日志

前缀 含义
[SB-CS] 注入器加载/初始化
[SB] 模型加载、手势匹配
[SB] Translation coverage:
[SB] Motion library:

❓ 常见问题

问题 解决
虚拟人不加载 重新加载扩展→刷新页面→看控制台[SB]✅Ready
字幕无手势 确认CC字幕已开→看控制台[SB]Sign match
手势不准 用姿势编辑器或录制工具校准并验收动作后更新词典
手掌方向反 先在姿势编辑器确认动作;若所有词都同向错误,修 avatar profile,不逐词猜轴
手臂穿身体
页面卡顿 确认扩展只出现一个浮窗;重新构建并加载最新 dist 目录
视频声音识别不工作 打开“声音识别设置”,选择本地 Whisper 或云端 ASR。本地模式先选择模型并点击“一键部署本地 Whisper”;云端模式保存配置并完成服务地址授权; 然后回到视频页点击“视频声音:关闭”开始捕获当前标签页音频。该功能不使用电脑麦克风。

SignBridge — MIT License | 让每一个视频都能被听见 👐