多模态大模型正在打通图像与文本之间的语义鸿沟。从CLIP的4亿图文对对比学习，到BLIP-2的Q-Former高效连接视觉编码器与LLM，再到Flamingo的少样本学习能力——中国人工智能学会白皮书系统梳理了多模态技术的演进脉络，并展示了其在病虫害诊断、产量预测和遥感数据解读中的具体农业应用。
多模态大模型的技术演进脉络
从CNN-RNN到Transformer统一架构
多模态模型的发展经历了三个关键阶段。2015年前后，图像描述（Image Captioning）和视觉问答（VQA）任务采用CNN-RNN编码-解码结构，将图像特征编码为向量后输入LSTM生成文本。2018年Transformer架构催生了ViLBERT、VisualBERT等“双流”架构——图像通过预训练CNN获取区域特征，文本通过BERT编码，在高层通过交叉注意力融合。
2021年ViT（Vision Transformer）将图像划分为固定大小的块（patches），通过可学习线性投影映射到潜在维度，打破了CNN在视觉领域的统治地位：
\[
z_0 = [x_{\mathrm{class}}; x_p^1E; x_p^2E; \dots; x_p^NE] + E_{\mathrm{pos}}
\]
CLIP与对比学习的范式突破
2021年OpenAI提出的CLIP模型通过对比学习将图像和文本映射到同一向量空间。对于一批包含N个图文对(i_n, t_n)，CLIP的对比损失函数为：
\[
\mathcal{L}_{\mathrm{CLIP}} = -\frac{1}{2N}\sum_{n=1}^{N}\left[\log \frac{\exp(\mathrm{sim}(f_I(i_n),f_T(t_n))/\tau)}{\sum_{m=1}^{N}\exp(\mathrm{sim}(f_I(i_n),f_T(t_m))/\tau)} + \log \frac{\exp(\mathrm{sim}(f_I(i_n),f_T(t_n))/\tau)}{\sum_{m=1}^{N}\exp(\mathrm{sim}(f_I(i_m),f_T(t_n))/\tau)}\right]
\]
CLIP在4亿对图文数据上训练，仅需给出类别名称文本即可完成零样本分类。受CLIP启发，Google ALIGN将数据规模提升到十亿级，验证了对比学习在嘈杂网页语料中的有效性。
多模态融合的三种架构
早期融合、晚期融合与混合融合
报告区分了三种多模态融合架构。早期融合（Early Fusion）将不同模态原始数据拼接后输入单一编码器，数学表达式为h = fθ([x_v; x_t])，适合数据量有限且算力要求较小的场景。晚期融合（Late Fusion）各模态独立编码后在末端融合，h_v = f_v(x_v)，h_t = f_t(x_t)，h = g([h_v; h_t])，典型代表为CLIP。
混合融合（Hybrid Fusion）在多个层次上进行跨模态交互。ALBEF模型首先使用模态特定编码器获取初步特征，然后通过多层的交叉注意力实现深度融合：
\[
h_v^{(l)}, h_t^{(l)} = \mathrm{CrossAttention}(h_v^{(l-1)}, h_t^{(l-1)}), \quad l=1,2,\ldots,L
\]
BLIP-2与Q-Former的高效连接
BLIP-2引入少量Querying Transformer（Q-Former）模块作为视觉编码器与LLM之间的中介，训练时仅微调中介模块而冻结其他结构。投影层将视觉特征映射到语言模型的嵌入空间：
\[
\nu' = W_2\cdot \mathrm{ReLU}(W_1\nu + b_1) + b_2
\]
视觉特征作为前缀tokens添加到文本输入之前：h = LLM([ν'; t])。这一结构使BLIP-2在VQA、OK-VQA、图文生成等多个基准上达到当时最优性能。
农业多模态应用案例
Agri-LLaVA与病虫害诊断
Agri-LLaVA通过构建覆盖大量病虫害种类的专业图文数据集实现领域知识有效注入。模型利用视觉特征映射和指令微调技术，自动实现病害诊断与防治方案推荐。IPM-AgriGPT在综合防治方面通过链式推理和生成评价对抗训练优化病虫害防治决策，明显减少农药使用量。
CMAViT与产量预测
CMAViT多模态Vision Transformer将高光谱遥感影像、作物管理记录与短期气象数据整合，将测试集上的决定系数R²从0.73提升至0.84，平均绝对百分比误差（MAPE）降至8.22%。模型同步生成注意力热图和解释文本供专家审核，为精准农业中的产量预测提供透明且可解释的依据。
