实时字幕与语音输入驱动的手语动画浏览器扩展。完整文档见 GitHub。
| 操作 | 效果 |
|---|---|
| 拖拽左右 | 旋转虚拟人 |
| 拖拽上下 | 上下平移虚拟人 |
| 鼠标滚轮 | 缩放虚拟人 |
| 拖拽标题栏 | 移动浮窗位置 |
| 点击× | 关闭浮窗 |
| 按钮 | 功能 |
|---|---|
| ▶/⏹ | 开关翻译 |
| 🔊 | 捕获当前视频标签页声音并启动 ASR |
| ⚙ | 一键部署浏览器内 Whisper,或配置云端 ASR 服务 |
| 🎬 | 姿势编辑器(骨骼调参+导出) |
| 🎥 | 录制工具(关键帧动画) |
| 📖 | 本帮助页面 |
手形原子(7种): 握拳/平掌/食指指/拇指竖/胜利V/OK/放松
chrome-extension://ID/avatar/pose-editor.html —
可视化调骨骼滑块,导出代码
chrome-extension://ID/avatar/record-mode.html —
录制关键帧序列,导出词条;左键拖拽旋转,滚轮缩放,右键拖拽平移
当前词典包含 52 个结构化词条和 16 个单字回退。这是可审计的词典驱动方案,不等同于完整自然语言手语翻译;未收录词和 CSL 语法重排仍需继续建设。
动作统一使用
humanoid-local-v1 标准名称。运行时、姿势编辑器和录制器共用
GODETTE_PROFILE,双手五指均覆盖根、中、尖三段指骨。换模型时只应新增 avatar profile
并通过完整骨骼测试,不应逐个修改词条轴向。
当前默认模型仍是 Godette glTF。正式接入 VRM 时,先提供一份可验收的 VRM 1.0 模型,再增加 VRM profile/loader;字幕、语音、词典和浮窗层不需要重写。
| 前缀 | 含义 |
|---|---|
[SB-CS] |
注入器加载/初始化 |
[SB] |
模型加载、手势匹配 |
[SB] Translation coverage: |
|
[SB] Motion library: |
| 问题 | 解决 |
|---|---|
| 虚拟人不加载 | 重新加载扩展→刷新页面→看控制台[SB]✅Ready |
| 字幕无手势 | 确认CC字幕已开→看控制台[SB]Sign match |
| 手势不准 | 用姿势编辑器或录制工具校准并验收动作后更新词典 |
| 手掌方向反 | 先在姿势编辑器确认动作;若所有词都同向错误,修 avatar profile,不逐词猜轴 |
| 手臂穿身体 | |
| 页面卡顿 | 确认扩展只出现一个浮窗;重新构建并加载最新 dist 目录 |
| 视频声音识别不工作 | 打开“声音识别设置”,选择本地 Whisper 或云端 ASR。本地模式先选择模型并点击“一键部署本地 Whisper”;云端模式保存配置并完成服务地址授权; 然后回到视频页点击“视频声音:关闭”开始捕获当前标签页音频。该功能不使用电脑麦克风。 |
SignBridge — MIT License | 让每一个视频都能被听见 👐