先统一输入规范
为图像、音频和文本定义 MIME 白名单、大小上限、编码转换和元数据字段。不要让模型直接接收来自公网的任意文件。解析阶段保存来源、时间和校验哈希,便于审计和去重。
一个可维护的管线可以分成:
上传 -> 安全扫描 -> 预处理 -> 模态编码 -> 融合/检索 -> 生成 -> 质量检查
每种模态使用专门的预处理器:图像做尺寸和方向归一化,音频记录采样率并区分说话人,PDF 保留页码和版面坐标。跨模态引用必须带回原始片段,而不是只返回模型改写后的文字。
控制成本和延迟
先做轻量分类,再为难例调用更大的模型。缓存不可变的转码和 embedding;对长视频或音频使用分段和异步任务。用户界面显示处理中、部分完成和失败重试,避免把长任务伪装成同步请求。
质量与隐私
为 OCR、转写、图像描述分别维护抽样评测。人脸、声音和文档中的个人信息按业务需要脱敏或限制访问。删除原文件时同时清理派生缩略图、转写和向量。
