结论先行:多模态模型的本质是"把图片/音频/视频转成 token 序列,和文字一起交给同一个模型处理"。落地最成熟的是图像理解——OCR、票据单据解析、图表问答、UI 截图走查;音频与视频能力在快速跟进。它不是"更聪明的 OCR",复杂版面和密集小字仍是翻车重灾区,关键流程必须配代码校验或人工抽检。

图片怎么进模型

一张图先被切成小块(patch),经视觉编码器转成向量序列,然后当作"一串图像 token"拼在文本 token 后面一起进 Transformer。理解了这一点就理解两件事:

  • 贵:一张图消耗几百到几千个 token,图像 token 往往比文字 token 贵,多图长对话的账单很容易失控;
  • 分辨率即成本:输入分辨率越高、切块越多,细节识别越好但 token 越多。工程上要做的是"够用的最小分辨率",把图片先压缩到任务需要的程度再上传。

还有一个从 token 视角直接推出的推论:多模态对话的上下文膨胀极快。十轮对话各带两张图,图像 token 可能比全部文字加起来还多一个量级。工程对策与文本一致——历史轮次的图片能丢就丢,只保留与当前问题相关的最近图像;需要长期记忆的信息让模型及时转写成文字落库。

与文本 token 还有一点不同:图像 token 在 prompt 里的"位置语义"很弱,模型主要靠文字指令决定看什么。所以多图任务里给每张图配明确的文字标签(“图 1 是发票联"“图 2 是抵扣联”),能显著减少模型搞混对象的情况,这是零成本的收益。

现在能做什么

图像(成熟度最高)

  • OCR 与票据解析:发票、运单、身份证、营业执照的结构化提取,是后端工程师最常接到的需求。相比传统 OCR 引擎,VLM 的优势在"理解”:不规整版面、手写混排、表格嵌套也能产出结构化结果。
  • 图表理解:给一张柱状图/折线图,问趋势、对比、极值。适合报表解读、监控大盘问答。
  • UI 走查与截图比对:识别截图里的控件、文案,辅助测试或页面合规检查。

音频与视频

音频方面,语音识别(ASR)与语音理解已经大量落地,音频直接进端到端模型是趋势。视频的主流工程方案仍是抽帧后按图处理——按固定间隔或场景切换点抽帧,逐帧或几帧一组理解,代价是 token 消耗随视频长度线性膨胀,长视频成本高,通常只在关键片段上做:

# 用 ffmpeg 每秒抽 1 帧,再逐帧走图像理解
mkdir -p frames
ffmpeg -i input.mp4 -vf fps=1 frames/frame_%04d.jpg

各模态的成熟度和成本特征放在一起看,立项时先对照。选型前先问自己一个问题:任务需要"理解"还是只需要"识别"?识别(有没有字、字是什么)传统 OCR 又快又便宜;理解(这行字在表格哪一栏、合计怎么算)才轮到 VLM。把全部流量都推给 VLM,通常一半是浪费:

模态成熟度典型任务成本特征主要坑
图像高OCR、票据、图表、UI 走查一张图几百到几千 token密集小字、复杂版面
音频中高ASR、语音问答随时长线性增长长音频分段与说话人分离
视频中(多走抽帧)片段理解、内容审核抽帧后按图计,易膨胀长视频成本、时序细节
文档(PDF 等)高解析、抽取页数 × 图像 token扫描件质量参差

代码:用 VLM 解析一张发票

import base64
from openai import OpenAI

client = OpenAI()

with open("invoice.png", "rb") as f:
    b64 = base64.b64encode(f.read()).decode()

resp = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{
        "role": "user",
        "content": [
            {"type": "text",
             "text": "提取发票号和价税合计金额,只输出 JSON,字段:invoice_no, total_amount"},
            {"type": "image_url",
             "image_url": {"url": f"data:image/png;base64,{b64}"}},
        ],
    }],
)
print(resp.choices[0].message.content)

和文本结构化输出一样,图像抽取的结果也要过 schema 校验:金额做数值解析,发票号做格式正则,不合格自动重试或转人工。把提示写得更"防呆"也有帮助——明确"图中没有的字段输出 null,不要猜测",比事后校验拦截更省一轮重试。

代码:图像输入的错误与正确姿势

原图直传是最常见的隐性浪费——手机照片动辄数 MB,token 和网络开销双输:

# pip install pillow
import base64
import io
from PIL import Image

# 错误写法:原图直接 base64 上传,分辨率远超任务需要,token 与带宽双输
with open("photo.jpg", "rb") as f:
    b64_raw = base64.b64encode(f.read()).decode()

# 正确写法:按长边缩放、转 JPEG 再编码,"够用的最小分辨率"
img = Image.open("photo.jpg").convert("RGB")
img.thumbnail((1536, 1536))            # 长边压到 1536 内,按任务与模型建议调整
buf = io.BytesIO()
img.save(buf, format="JPEG", quality=85)
b64 = base64.b64encode(buf.getvalue()).decode()

分辨率压到多少合适取决于任务:判断版面和表格结构可以压得比较狠,读密集小字就要保留原始分辨率——用评估集里的难例实测,别拍脑袋定参数。

工程建议

  1. 混合方案往往更稳:规则清晰的票据(增值税发票有固定版式)用传统 OCR 引擎提取字段,VLM 兜底处理规整引擎失败的脏数据,比全量走 VLM 又便宜又稳。
  2. 控制图片输入成本:压缩分辨率、裁掉无关边框区域、多图任务考虑只给关键帧。图像 token 的计费占比经常是"以为在调模型,实际在传图"。
  3. 评估集要包含难例:模糊照片、倾斜拍摄、密集表格,这些才是线上真实分布。用清晰截图测出来的准确率没有参考价值。
  4. 敏感信息注意合规:身份证、合同等图片出域调第三方 API 前过合规评审,必要时走私有化部署或本地脱敏;
  5. 多模态可观测性单独做:除了通用 token 与延迟监控,把"每请求图像数量、分辨率、图像 token 占比"记进日志——多模态链路的成本漂移几乎都来自图像侧变化(上游开始传高清图了),没有这组指标发现不了。

一句话总结:把多模态模型当"一个会看图的 LLM"来设计系统——token 经济学、结构化输出、校验兜底这一套方法论全部照旧适用。

实战场景

一个物流平台的运单图片识别可以当多模态工程的标准样本。运单是手写与打印混排的不规整单据,传统 OCR 引擎字段识别率达不到验收线。方案分四步:图片预处理统一走"缩放 + 裁边",把无关背景先切掉;结构化提取走 VLM,schema 固定十来个字段,收件人电话、运单号这类强格式字段用正则校验,金额与日期做数值和日历解析;校验不过的自动带错误信息重试一次,再失败转人工录入队列,人工修正结果回流成评估难例;账单上按运单维度记录图像 token 消耗,发现一类手机竖拍长图消耗异常后,预处理加了按内容裁剪。上线后的关键经验只有一条:VLM 负责的是"从不像表格的图片里得到接近表格的结构",而"结构对不对"必须由传统校验说了算——两边的分工边界划清楚,项目就稳了。