怎么在豆包后台配置图文音视频混合检索策略？

功能定位：为什么需要“混合检索”

在豆包企业知识库里，纯文本关键词已无法满足“10 万 SKU 图+口播视频+参数 PDF”同时查询的场景。混合检索（Multimodal Retrieval）把图文音视频先向量化，再统一打分排序，实现“搜图能说、搜视频能定位到秒级台词”。

合规主线：所有向量索引默认落盘在“国密 SM4 加密盘”，审计日志独立写入飞书合规云，支持 7 年可回溯。下文每一步都会提示“是否产生新日志”，方便审计同事留痕。

功能定位：为什么需要“混合检索”

先判断：该不该开混合检索？

适用场景

• 频道日更 200 条以上短视频，需按“口播台词”反查商品图。
• 客服团队已用飞书多维表维护 5 万条 FAQ，表里含截图、语音示范。
• 政务客户要求“同一关键词必须同时命中扫描件红头+录音通知”。

示例：某服饰品牌每天上新 150 套穿搭短视频，运营用“蓝色牛仔”即可把对应海报、口播片段、尺码表一次性拉回，无需再人工打标签。

不适用场景

• 纯文本 FAQ＜1 万条，且图片总量＜500 MB——此时单模态即可，开混合会空耗 3 倍向量存储配额。
• 文件含个人身份证照片——需先脱敏，否则即使加密盘也会触发合规告警。

决策树：3 分钟走完“开 or 不开”

1. 数据规模灯：文件对象＞5 万 or 存储＞50 GB？
2. 查询延迟灯：现网平均返回>1200 ms？
3. 合规灯：是否含人脸、身份证、车牌？
4. 成本灯：企业版剩余向量额度>30%？

四灯全绿，建议开；只要出现红灯，先治理数据再开，避免“开了又关”产生脏索引。

操作路径：分平台最短入口

以豆包控制台 6.5.0 网页版为基准，移动端暂不支持“策略配置”页，仅可查看报告。

桌面端（Chrome/Edge）

1. 登录 https://console.doubao.com → 左侧“知识库”→“索引策略”。
2. 点击“新建策略”→ 类型选“混合检索（多模态）”。
3. 在“文件类型”勾选 jpg、png、mp4、mp3、pdf。
4. 向量维度保持默认 768 维（语音+文本融合模型），若之前已用 512 维需先“重建索引”，否则系统灰掉保存按钮。
5. 打开“国密加密”开关 → 选择“SM4”→ 保存。

Android 端（仅供查看）

App → 工作台 → 知识库 → 右上角“⋯”→ 索引报告 → 可看到“混合检索”状态灯，但无法编辑；如需修改，会弹出“请前往电脑端”提示。

文件解析与索引流程拆解

1. 图文：自动 OCR+视觉向量化

上传商品海报→系统先走“OCR 文字层”→ 再走 CLIP 视觉模型→ 生成 768 维向量。经验性观察：带 20% 艺术字的图片，OCR 召回率仍>92%，但手写体降到 78%，建议重要手写内容先转电子稿。

2. 音频：先转文本再分片

口播音频默认按“每 15 秒一句”切片，切片同时写回审计日志（文件名、时长、切片 hash）。若音频含背景音乐，系统会提示“信噪比低”，此时可勾选“增强人声”预处理器，处理时长约增加 30%，但向量质量提升可见。

3. 视频：关键帧+字幕轨道双路并行

系统每秒抽 1 帧→ 去重→ 保留差异度 top 5% 帧；字幕轨道若已内嵌，直接读取；若外挂 srt 需同目录同名。经验性观察：60 fps 短视频会抽到约 120 帧，最终入库 6~8 帧，存储放大 0.8 倍，可接受。

3. 视频：关键帧+字幕轨道双路并行

权限最小化：机器人如何调用？

若飞书群机器人需“@豆包 搜图+搜视频”，只给以下权限：

• knowledge:Retrieve（只读）
• audit:LogView（仅查看自身调用）

禁止勾选 knowledge:IndexWrite，避免机器人误重建索引导致线上查询抖动。

回退与灰度方案

灰度：按知识库目录分流

控制台 → 索引策略 → 灰度规则 → 填写“路径前缀=/试运营/”→ 仅该目录走混合索引，其余仍走旧策略。可观测指标：查询延迟、CPU 占用、审计日志条数。

回退：一键切换为“纯文本”

若线上出现“搜图结果漂移”，可立即在策略列表点“更多-回退”，系统会把查询路由切回旧索引，旧向量文件保留 7 天，方便故障复盘。

故障排查：现象→验证→处置

现象	可能原因	验证步骤	处置
上传 mp4 后状态卡 45%	字幕轨道编码异常	下载原片→用 ffprobe 看 subtitle codec	转码为 srt 外挂后重新上传
搜图返回空，但文本能搜到	向量维度不一致	控制台-索引详情-维度列显示 512	重建索引，选 768 维
审计日志提示“SM4 key 轮换失败”	企业版密钥管理权限不足	查看 IAM→密钥管理→是否给豆包角色授权	联系管理员加 kms:RotateKey

性能与成本边界

若企业对 QPS>500 的接口有硬要求，建议：

• 开启“缓存最近 1 小时热门向量”开关，命中率约 60%，可压回 700 ms 内。
• 购买“向量加速包”(控制台-配额-加速)，单价约 0.8 元/万次查询，可再降 15%。

FAQ：必须用 Schema.org 结构

最佳实践 10 条速查表

1. 先跑健康度扫描，四灯全绿再开。
2. 灰度目录命名统一用“/gray/日期/”，方便回退。
3. 身份证、车牌图片先脱敏，后上传。
4. 音频背景音乐>60 dB 先开“增强人声”。
5. 手写海报先转电子稿，OCR 召回更高。
6. 机器人权限只给 Retrieve，不写索引。
7. 查询延迟>1 s 优先开“热门缓存”，再考虑买加速包。
8. 重建索引选闲时（凌晨 2-5 点），系统限流更低。
9. 审计日志每月导出一次，存到飞书合规云，满足等保。
10. 重大节假日前封版，不新建策略，避免突发故障。

收尾：下一步行动清单

混合检索不是“开了就更好”，而是“数据够大、合规先过、延迟可接受”才值得开。建议你：

• 立即用控制台健康度扫描给现有知识库打分；
• 选一个非核心目录做 7 天灰度，观测查询延迟与费用；
• 灰度通过后，批量迁移，并在飞书群里周知审计同事“新日志字段已上线”。

完成这三步，你就能在豆包后台把图文音视频混合检索策略真正落地，同时保留完整的国密加密与审计链路——既搜得到，也说得清。