大家好我是Java1234_小锋老师最近更新《2027版本 Spring AI 2.0 开发Java Agent智能体 视频教程》专辑感谢大家支持。本课程主要介绍和讲解Spring AI 2.0简介Spring AI 2.0 HelloWorld搭建Advisors — 拦截器模式增强AI能力对话与提示词工程Prompt工具调用 (Function Calling / Tools) RAG (检索增强生成)MCP(模型 上下文协议)和多模态支持。等这个Spring AI2.0基础课程录制完成接下来要发布2个 企业级Java AI实战课程RAG 企业知识库系统和AI智能客服系统。大家可以点点关注后面更精彩。视频教程课件源码打包下载链接https://pan.baidu.com/s/1o-zRfndo1HHrS_uFroOiCw?pwd1234提取码0000Spring AI 2.0 开发Java Agent智能体 - 多模态支持Spring AI 2.0 通过统一的消息 API提供强大的多模态支持让 Java 开发者能够轻松构建处理文本、图像、音频等多种信息类型的 AI 应用。1. 什么是多模态 AI多模态 AI 指模型能够同时理解和处理来自不同信息源文本、图像、音频、视频等的内容实现跨模态的交互与生成。Spring AI 2.0 的多模态设计理念是统一抽象、灵活扩展适配主流 AI 模型提供商的多模态能力。2. 支持的模态类型与场景模态组合典型应用场景支持模型示例文本 图像图像描述、OCR、视觉问答 (VQA)GPT-4V、Gemini、Qwen-VL、Pixtral文本 音频语音转录、语音合成、语音翻译GPT-4o-audio、Whisper、Gemini文本 视频视频内容分析、视频摘要生成Gemini、GPT-4o文生图 / 图生文创意生成、图像编辑DALL-E、Stable Diffusion3. Spring AI 2.0 多模态 API 核心设计Spring AI 通过Message 接口及其实现类提供多模态交互的基础抽象核心组件包括UserMessage用户输入消息包含两个关键字段content主要文本内容media可选媒体附件列表支持多种模态Media 类封装媒体数据包含两个核心属性mimeType指定媒体类型如image/png、audio/wavresource媒体资源支持 ClassPathResource、FileSystemResource 等ChatClient流畅式 API简化多模态请求构建与调用我们来看一个具体示例我们先准备一个图片apple.png为了测试方便我们把图片放target目录下新建MyMultimodalityControllerpackage com.java1234.controller; import org.springframework.ai.chat.client.ChatClient; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.core.io.ClassPathResource; import org.springframework.http.MediaType; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RestController; RestController public class MyMultimodalityController { Autowired private ChatClient chatClient; GetMapping(/analyze-image) public String analyzeImage() { // 流畅式API构建多模态请求 String result chatClient.prompt() .user(u - u .text(请详细描述这张图片的内容包括物体、颜色、场景和可能的用途) .media(MediaType.IMAGE_PNG, new ClassPathResource(apple.png)) ) .call() .content(); // 直接获取响应内容 System.out.println(result); return OK; } }浏览器请求http://localhost:8080/analyze-image大模型返回这是一张高质量的静物摄影作品以下是关于这张图片的详细描述 **1. 物体 (Objects)** * **主体** 图片中有三个红苹果。最前方正中央是一个最大、最完整的苹果占据了画面的主要部分。在它的左后方和右后方各有一个苹果它们稍微被遮挡形成了前后层次感。 * **水珠** 所有苹果的表面都覆盖着细密、晶莹剔透的水珠。这些水珠大小不一均匀地分布在果皮上极大地增强了苹果的新鲜感和湿润感。 * **叶子** 在苹果群的上方有一片鲜嫩的绿叶。它看起来像是从后面那个苹果的果梗处长出来的叶片舒展叶脉清晰可见为画面增添了一抹生机。 * **果梗** 可以看到两根深褐色的木质果梗stem一根在左边的苹果上一根在中间/右边的苹果上它们向上竖立显得挺拔。 **2. 颜色 (Colors)** * **红色** 苹果呈现出非常鲜艳、饱满的深红色类似绯红或深红色泽诱人。 * **绿色** 叶子的绿色非常翠绿与红色的苹果形成了经典的“红绿对比”在视觉上非常醒目。 * **黑色** 背景是纯黑色的。这种深色背景极好地衬托了苹果的鲜艳色彩。 * **白色/银色** 水珠反射光线呈现出亮白色或银色的高光点。 **3. 场景与光影 (Scene Lighting)** * **背景** 这是一个典型的摄影棚静物拍摄场景。背景纯黑没有任何杂物干扰旨在让观众的视线完全集中在苹果上。 * **倒影** 在图片的最下方隐约可以看到苹果在黑色平面上的倒影这表明苹果是放置在一个光滑、反光的黑色表面如玻璃或抛光黑亚克力板上。 * **光线** 使用了专业的布光。光线柔和但方向性强打在苹果光滑的表皮上形成了漂亮的高光区突出了苹果的圆润立体感和水珠的质感。 **4. 可能的用途 (Possible Uses)** * **食品广告** 这种图片非常适合用于超市、水果店或生鲜电商的宣传海报强调水果的“新鲜”、“多汁”和“高品质”。 * **健康与饮食素材** 常用于关于健康饮食、减肥、维生素补充的文章配图或博客插图。 * **平面设计素材** 由于背景干净且主体突出这张图很容易被设计师抠图使用作为包装设计如果汁、苹果派的元素。 * **壁纸或装饰画** 其鲜艳的色彩和极简的构图也适合作为手机壁纸或现代风格的厨房装饰画。
