本课程面向零基础普通人，系统讲解多模态AI的核心概念、技术原理、工具生态、提示词技巧和实际应用。学完本课程，你将理解多模态AI如何同时处理文本、图像、音频、视频等多种数据类型，掌握主流多模态工具的使用方法，并能够根据实际需求选择合适的工具。
1.1 模态的定义
模态（Modality）指的是信息传递的某种特定形式或渠道，简单来说就是一种数据类型。常见的模态包括：
- 文本（Text）：单词、句子、文章、代码、聊天消息
- 图像（Image）：照片、图表、示意图、扫描文档
- 音频（Audio）：语音、音乐、铃声、机器声音
- 视频（Video）：带有声音的动态图像，如电影和短视频
- 其他类型：传感器数据、深度图、三维形状、生物特征信号
人类本身就是一个天然的多模态系统。我们能够看、听、读、触摸和闻，并将所有这些信号结合起来，形成对世界的统一理解。
1.2 单模态AI与多模态AI的区别
单模态AI 只能处理一种类型的数据。例如：
- 一个只读取文本的垃圾邮件分类器
- 一个只查看图像的人脸检测器
- 一个只处理音频的语音识别系统
多模态AI 能够同时处理两种或两种以上的数据类型。例如：
- 一个接收照片和问题并回答的模型
- 一个观看视频并生成文本摘要的模型
- 一个收听歌曲并生成专辑封面图像的模型
| 对比维度 | 单模态AI | 多模态AI |
|---|---|---|
| 输入 | 一种类型 | 同时输入两种以上 |
| 理解能力 | 仅限于一种"感官" | 跨多种"感官"综合理解 |
| 应用场景 | 范围较窄的任务 | 更贴近现实世界的任务 |
| 成本 | 较低 | 较高 |
1.3 为什么需要多模态AI
因为现实世界本身就是多模态的。
假设走进一家诊所，医生会：阅读病历（文本）、查看X光片（图像）、听心跳（音频）、观察走路方式（视频）。医生会将所有这些信号结合起来给出诊断结果。如果一位医生只能阅读文本，就会错过大量重要信息。AI也是如此。
一个只能阅读文本的模型，在你粘贴错误截图时无法帮助你；一个只能查看图像的模型，无法回答关于图像的问题。通过组合不同模态，模型可以获得更加完整的世界视图。
GPT-4V出现前，你发一张图问ChatGPT："这张图有什么问题？"GPT-3只能说："对不起，我看不到图。"GPT-4V则可以告诉你："饼图里数据总和超过100%，可能有误。"这就像AI终于"睁开了眼睛"，踏入了"感官认知时代"。
1.4 三种常见多模态范式
范式一：多模态理解
模型接收多种模态的输入，使用一种模态（通常是文本）进行回答。
例如：发送一张照片并询问"这张图片中有什么？"，模型以文本形式回答。GPT-4V、Gemini、Claude Vision都属于这种模式。
范式二：跨模态生成
模型接收一种模态的输入，生成另一种模态的输出。
例如：
- 文本→图像：DALL-E、Midjourney、Stable Diffusion
- 文本→视频：Sora、Veo
- 音频→文本：Whisper（语音转文字）
范式三：跨模态对齐
模型将两种或两种以上模态放入同一个共享嵌入空间，使我们能够直接比较它们。例如CLIP将文本和图像映射到共享空间中，可以用文本查询搜索图像。