生成式 AI 应用全生命周期实战指南从 MLOps 到 LLMOps 的范式跃迁generative-ai-for-beginners 第 14 课【免费下载链接】generative-ai-for-beginners21 Lessons, Get Started Building with Generative AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-ai-for-beginnersAI 是快速演进的领域任何 AI 应用都面临同一个核心问题如何让 AI 特性持续保持相关、可靠与健壮。答案是生成式 AI 应用生命周期Generative AI Application Lifecycle——一套指导你开发、部署与维护生成式 AI 应用的框架。本文基于 14-the-generative-ai-application-lifecycle 课程文档展开结合本仓库generative-ai-for-beginners21 课生成式 AI 入门课程的源码、配置与测试佐证带你完整掌握 MLOps 到 LLMOps 的范式转移、LLM 生命周期的三大阶段与贯穿性管理循环、五大量化评估指标以及 Azure AI Platform 与 PromptFlow 构成的实战工具链最终能够将生命周期方法论落地到自己的 AI 应用上。理解 MLOps 到 LLMOps 的范式转移为什么需要新的范式LLM大语言模型是人工智能武器库中的新工具在应用的分析与生成任务上极其强大。但这种强大带来了一系列后果它改变了我们如何简化 AI 与传统机器学习任务的方式。课程文档明确指出我们需要一个新的范式来动态适配这一工具并配以正确的激励incentives。按主流技术与应用时期我们可以把旧式 AI 应用归类为 ML 应用ML Apps把新式 AI 应用归类为 GenAI 应用 或直接称为 AI 应用AI Apps。这一分类在多个维度上改变了我们的叙事方式下图清晰展示了 LLMOps 与 MLOps 的对比。图中值得注意的要点是在 LLMOps 中关注重心转移到应用开发者身上**集成Integration**成为关键点采用模型即服务Model-as-a-Service的方式并将度量Metrics聚焦在以下五个维度上。LLMOps 的五大评估指标指标原文关注点质量QualityResponse quality响应本身的质量危害HarmResponsible AI负责任 AI是否产生有害内容诚实HonestyResponse groundedness响应的准确性/接地性是否讲得通是否正确成本CostSolution Budget解决方案的预算延迟LatencyAvg. time for token response每个 token 响应的平均时间可以看到传统 MLOps 主要围绕模型训练的准确率、召回率等指标而 LLMOps 的度量维度发生了根本性迁移质量评价从模型得分变成响应质量新增了负责任 AI危害维度诚实度强调响应要接地于真实数据而非凭空编造同时成本与延迟被显式纳入指标体系——因为每次推理都在消耗 token 与预算。仓库中的 模型即服务 落地佐证模型即服务在课程中并非抽象概念。本仓库的共享工具模块 shared/python/api_utils.py 就封装了两种典型的模型接入方式create_openai_clientshared/python/api_utils.py#L56-L88读取OPENAI_API_KEY环境变量并创建 OpenAI 客户端未配置密钥时抛出带说明的ValueErrorcreate_azure_openai_clientshared/python/api_utils.py#L91-L144面向 Azure OpenAI 的 v1 端点endpoint/openai/v1/构造客户端因此使用 Responses API 时无需传api_version仅需AZURE_OPENAI_ENDPOINT与AZURE_OPENAI_API_KEY。这两个工厂函数印证了 LLMOps 的集成范式应用开发者不必关心模型内部实现只需通过 API Key 端点完成接入这正是 模型即服务 的代码级体现。此外 shared/python/env_utils.py 提供的get_required_envL11-L35与validate_env_varsL38-L71用于安全地校验环境变量对应 LLMOps 中配置管理与安全治理的实践要求。LLM 生命周期不是线性流程而是集成式迭代循环生命周期的整体形态理解生命周期及其改造首先要看下面这张 LLMOps 信息图。它不同于 MLOps 中常见的生命周期LLM 带来许多新需求例如提示工程Prompting、多种提升质量的技巧微调 Fine-Tuning、RAG、元提示 Meta-Prompts、与负责任 AI 相关的不同评估与责任以及最后那套新的评估指标质量、危害、诚实、成本、延迟。课程文档特别强调生命周期不是线性的而是集成式integrated的循环、迭代式的并且存在一个贯穿全局overarching的大循环。例如在构思阶段我们会用提示工程去尝试各种 LLM探索可能性并验证假设Hypothesis是否正确——这一过程天然就是反复迭代的。三大核心阶段下面的工作流图看起来有些复杂课程建议我们先聚焦三大阶段。构思/探索Ideating/Exploring探索阶段。根据业务需求展开探索创建原型Prototype构建一个 PromptFlow 流程并测试它对于我们的假设是否足够高效。构建/增强Building/Augmenting实现阶段。开始在更大的数据集上评估实施如**微调Fine-Tuning**与RAG检索增强生成等技巧检验解决方案的健壮性。如果效果不佳可以重新实现、在流程中增加新步骤或重构数据。完成流程与规模测试后若指标通过检查即可进入下一阶段。运营化Operationalizing集成阶段。为系统添加监控与告警系统Monitoring and Alerts完成部署并将应用集成到你的产品中。在这三大阶段之上还存在一个贯穿始终的管理Management大循环聚焦于安全Security、合规Compliance与治理Governance——这正是生命周期非止于上线的体现应用上线只是运营化阶段的起点持续的管理循环保证了应用长期可靠。仓库中的构建/增强阶段实例构建/增强阶段在本仓库中有非常具体的落地案例。第 08 课 08-building-search-applications 就构建了一条完整的嵌入索引数据管道其 scripts 目录 中的脚本执行了如下操作下载 AI Show YouTube 播放列表中每个视频的字幕transcript_download.py提取说话人信息transcript_enrich_speaker.py并将文本按3 分钟段落分块相邻块保留约 20 个词的重叠避免嵌入被截断并提供更好的检索上下文对每个文本段做摘要transcript_enrich_summaries.py与增强transcript_enrich_lite.py、transcript_enrich_bucket.py调用嵌入 API 生成向量连同文本段一起存入embedding_index_3m.json索引文件。这条管道正是生命周期构建/增强阶段中数据准备 → 分块 → 嵌入 → 建索引的完整演绎与第 15 课 RAG 与向量数据库 中把文档切成块、转成嵌入、存入数据库的知识库构建方法一脉相承可以直接作为本课生命周期的实操参照。生命周期度量与评估Metrification and Evaluation度量的五维视角课程文档在范式转移部分已经给出 LLMOps 的五大评估维度质量、危害、诚实、成本、延迟。在运营化阶段这些维度应当被固化为可观测的指标接入监控与告警系统质量Quality响应是否自然、流畅、类人危害Harm是否违反负责任 AI 原则、产生偏见或有害输出诚实Honesty响应是否接地grounded于提供的数据是否存在幻觉/编造成本Costtoken 消耗、模型调用费用是否符合预算延迟Latency单 token 响应平均时间是否满足用户体验要求。与 RAG 评估指标的呼应有意思的是第 15 课 RAG 与向量数据库 的 Evaluating our application 一节给出了另一组评估指标响应质量Quality、数据接地性Groundedness评估响应是否来自提供的文档、相关性Relevance响应是否与问题匹配与流畅性Fluency语法上是否通顺。对比可见RAG 评估中的 Groundedness 正是本课 LLMOps 指标中 Honesty诚实 的具体化——两者共同构成了一套从模型输出到业务价值的完整度量体系。代码质量与工程化保障在课程仓库中生命周期度量与评估还延伸到工程层面。仓库根目录的 pyproject.toml 配置了完整的 Python 工程化工具链依赖声明pyproject.toml#L23-L29openai1.0.0、python-dotenv1.0.0、requests2.31.0、azure-ai-inference1.0.0b1、tiktoken0.5.0质量工具pyproject.toml#L45-L105Black 格式化、isort 排序、mypy 类型检查、Ruff 静态检查含 flake8-bandit 安全规则测试配置pyproject.toml#L110-L113testpaths [tests]而 tests/conftest.py 确保从任意工作目录都能正确导入shared.python包。文档 docs/ENHANCED_FEATURES_ROADMAP.md 进一步说明了仓库的 CI/CD 建设Python 的 Ruff Black 检查在shared/维护模块上强制执行全课程范围作咨询性检查同时配置了基于 CodeQL 的安全扫描与依赖审查。这从侧面演示了运营化阶段应当具备的工程护栏静态检查、单元测试、依赖审计与安全扫描都是生命周期管理循环中质量保障的组成部分。生命周期工具链Azure AI Platform 与 PromptFlowAzure AI Platform 与 AI Studio在工具层面课程文档推荐微软提供的Azure AI Platform与PromptFlow它们让生命周期的实现更简单、更易上手。Azure AI Platform 允许你使用AI StudioMicrosoft Foundry这一 Web 门户用于探索模型、示例与工具管理资源并使用 UI 开发流程以及 SDK/CLI 选项进行代码优先Code-First开发。Azure AI 允许你使用多种资源管理你的操作operations、服务services、项目projects、向量搜索vector search与数据库需求——这覆盖了生命周期中构建/增强阶段的数据存储向量库与运营化阶段的资源编排。用 PromptFlow 从 POC 走向大规模应用课程文档概括了使用 PromptFlow 构建应用的能力从概念验证Proof-of-Concept, POC直至大规模应用使用可视化与功能性工具从 VS Code 设计与构建应用轻松测试与调优你的应用以获得高质量的 AI使用 Microsoft Foundry 与云集成迭代通过 Push 与 Deploy 实现快速集成。这与课程本身的组织方式一致仓库 README.md 列出了四种可运行的模型接入途径——Azure OpenAI Service、Microsoft Foundry Models原 GitHub Models将于 2026 年 7 月底退役官方建议迁移至 Foundry Models、OpenAI API以及Foundry Local完全离线在本地设备运行无需云订阅。你可以在 00-course-setup 中查看完整的环境搭建指引在后续各课的python/、typescript/目录中找到对应的真实示例代码。环境变量管理的实战细节在工具链落地时密钥与配置管理是绕不开的环节。仓库中的 shared/python/env_utils.py 提供了清晰的实践模式get_required_env(var_name, description)在缺失必填环境变量时抛出带描述信息的ValueErrorvalidate_env_vars(*var_names)可一次校验多个变量并返回字典。建议在开发阶段使用.env文件配合python-dotenv管理密钥在生产环境则通过平台密钥服务注入——这与课程管理循环中强调的安全与治理要求一致。从本课走向完整课程体系完成三大阶段与工具链的学习后你的 AI 应用即可进入运营状态。课程提供了 Contoso Chat Demo 作为将生命周期概念落到应用结构的端到端范例展示了云倡导团队如何在真实演示中应用这些概念。接下来第 15 课 RAG 与向量数据库 是理解构建/增强阶段关键技术RAG的自然延伸它详细讲解了知识库构建、文本分块、向量数据库、检索与向量相似度余弦相似度、欧氏距离、点积、重排序re-ranking等机制并用完整的chatbot()代码示例演示了如何把检索到的文档与用户问题组装成消息、通过 Responses API 生成接地的回答。这与本课的 LLM 生命周期框架形成理论与实践闭环——生命周期告诉你何时做 RAG第 15 课告诉你怎么做 RAG。小结生成式 AI 应用生命周期是一套指导开发、部署与维护的框架其核心要点可以归纳为范式转移从以模型训练为中心的 MLOps转向以应用开发者、集成、模型即服务为核心的 LLMOps五大指标质量、危害、诚实、成本、延迟取代传统 ML 度量体系三大阶段 一个贯穿循环构思/探索、构建/增强、运营化外加覆盖安全、合规、治理的管理大循环流程是迭代而非线性的工具链支撑Azure AI PlatformAI Studio/Microsoft Foundry负责资源与模型管理PromptFlow 负责从 POC 到大规模应用的流程化构建工程化落地结合本仓库可参照的实践——环境变量安全校验shared/python/env_utils.py、模型即服务接入shared/python/api_utils.py、嵌入索引管道08-building-search-applications/scripts、工程化测试与 CI/CDpyproject.toml、tests。掌握这套生命周期方法论你就拥有了让 AI 应用持续交付价值、始终令用户满意的路线图。【免费下载链接】generative-ai-for-beginners21 Lessons, Get Started Building with Generative AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-ai-for-beginners创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
生成式 AI 应用全生命周期实战指南：从 MLOps 到 LLMOps 的范式跃迁（generative-ai-for-beginners 第 14 课）
生成式 AI 应用全生命周期实战指南从 MLOps 到 LLMOps 的范式跃迁generative-ai-for-beginners 第 14 课【免费下载链接】generative-ai-for-beginners21 Lessons, Get Started Building with Generative AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-ai-for-beginnersAI 是快速演进的领域任何 AI 应用都面临同一个核心问题如何让 AI 特性持续保持相关、可靠与健壮。答案是生成式 AI 应用生命周期Generative AI Application Lifecycle——一套指导你开发、部署与维护生成式 AI 应用的框架。本文基于 14-the-generative-ai-application-lifecycle 课程文档展开结合本仓库generative-ai-for-beginners21 课生成式 AI 入门课程的源码、配置与测试佐证带你完整掌握 MLOps 到 LLMOps 的范式转移、LLM 生命周期的三大阶段与贯穿性管理循环、五大量化评估指标以及 Azure AI Platform 与 PromptFlow 构成的实战工具链最终能够将生命周期方法论落地到自己的 AI 应用上。理解 MLOps 到 LLMOps 的范式转移为什么需要新的范式LLM大语言模型是人工智能武器库中的新工具在应用的分析与生成任务上极其强大。但这种强大带来了一系列后果它改变了我们如何简化 AI 与传统机器学习任务的方式。课程文档明确指出我们需要一个新的范式来动态适配这一工具并配以正确的激励incentives。按主流技术与应用时期我们可以把旧式 AI 应用归类为 ML 应用ML Apps把新式 AI 应用归类为 GenAI 应用 或直接称为 AI 应用AI Apps。这一分类在多个维度上改变了我们的叙事方式下图清晰展示了 LLMOps 与 MLOps 的对比。图中值得注意的要点是在 LLMOps 中关注重心转移到应用开发者身上**集成Integration**成为关键点采用模型即服务Model-as-a-Service的方式并将度量Metrics聚焦在以下五个维度上。LLMOps 的五大评估指标指标原文关注点质量QualityResponse quality响应本身的质量危害HarmResponsible AI负责任 AI是否产生有害内容诚实HonestyResponse groundedness响应的准确性/接地性是否讲得通是否正确成本CostSolution Budget解决方案的预算延迟LatencyAvg. time for token response每个 token 响应的平均时间可以看到传统 MLOps 主要围绕模型训练的准确率、召回率等指标而 LLMOps 的度量维度发生了根本性迁移质量评价从模型得分变成响应质量新增了负责任 AI危害维度诚实度强调响应要接地于真实数据而非凭空编造同时成本与延迟被显式纳入指标体系——因为每次推理都在消耗 token 与预算。仓库中的 模型即服务 落地佐证模型即服务在课程中并非抽象概念。本仓库的共享工具模块 shared/python/api_utils.py 就封装了两种典型的模型接入方式create_openai_clientshared/python/api_utils.py#L56-L88读取OPENAI_API_KEY环境变量并创建 OpenAI 客户端未配置密钥时抛出带说明的ValueErrorcreate_azure_openai_clientshared/python/api_utils.py#L91-L144面向 Azure OpenAI 的 v1 端点endpoint/openai/v1/构造客户端因此使用 Responses API 时无需传api_version仅需AZURE_OPENAI_ENDPOINT与AZURE_OPENAI_API_KEY。这两个工厂函数印证了 LLMOps 的集成范式应用开发者不必关心模型内部实现只需通过 API Key 端点完成接入这正是 模型即服务 的代码级体现。此外 shared/python/env_utils.py 提供的get_required_envL11-L35与validate_env_varsL38-L71用于安全地校验环境变量对应 LLMOps 中配置管理与安全治理的实践要求。LLM 生命周期不是线性流程而是集成式迭代循环生命周期的整体形态理解生命周期及其改造首先要看下面这张 LLMOps 信息图。它不同于 MLOps 中常见的生命周期LLM 带来许多新需求例如提示工程Prompting、多种提升质量的技巧微调 Fine-Tuning、RAG、元提示 Meta-Prompts、与负责任 AI 相关的不同评估与责任以及最后那套新的评估指标质量、危害、诚实、成本、延迟。课程文档特别强调生命周期不是线性的而是集成式integrated的循环、迭代式的并且存在一个贯穿全局overarching的大循环。例如在构思阶段我们会用提示工程去尝试各种 LLM探索可能性并验证假设Hypothesis是否正确——这一过程天然就是反复迭代的。三大核心阶段下面的工作流图看起来有些复杂课程建议我们先聚焦三大阶段。构思/探索Ideating/Exploring探索阶段。根据业务需求展开探索创建原型Prototype构建一个 PromptFlow 流程并测试它对于我们的假设是否足够高效。构建/增强Building/Augmenting实现阶段。开始在更大的数据集上评估实施如**微调Fine-Tuning**与RAG检索增强生成等技巧检验解决方案的健壮性。如果效果不佳可以重新实现、在流程中增加新步骤或重构数据。完成流程与规模测试后若指标通过检查即可进入下一阶段。运营化Operationalizing集成阶段。为系统添加监控与告警系统Monitoring and Alerts完成部署并将应用集成到你的产品中。在这三大阶段之上还存在一个贯穿始终的管理Management大循环聚焦于安全Security、合规Compliance与治理Governance——这正是生命周期非止于上线的体现应用上线只是运营化阶段的起点持续的管理循环保证了应用长期可靠。仓库中的构建/增强阶段实例构建/增强阶段在本仓库中有非常具体的落地案例。第 08 课 08-building-search-applications 就构建了一条完整的嵌入索引数据管道其 scripts 目录 中的脚本执行了如下操作下载 AI Show YouTube 播放列表中每个视频的字幕transcript_download.py提取说话人信息transcript_enrich_speaker.py并将文本按3 分钟段落分块相邻块保留约 20 个词的重叠避免嵌入被截断并提供更好的检索上下文对每个文本段做摘要transcript_enrich_summaries.py与增强transcript_enrich_lite.py、transcript_enrich_bucket.py调用嵌入 API 生成向量连同文本段一起存入embedding_index_3m.json索引文件。这条管道正是生命周期构建/增强阶段中数据准备 → 分块 → 嵌入 → 建索引的完整演绎与第 15 课 RAG 与向量数据库 中把文档切成块、转成嵌入、存入数据库的知识库构建方法一脉相承可以直接作为本课生命周期的实操参照。生命周期度量与评估Metrification and Evaluation度量的五维视角课程文档在范式转移部分已经给出 LLMOps 的五大评估维度质量、危害、诚实、成本、延迟。在运营化阶段这些维度应当被固化为可观测的指标接入监控与告警系统质量Quality响应是否自然、流畅、类人危害Harm是否违反负责任 AI 原则、产生偏见或有害输出诚实Honesty响应是否接地grounded于提供的数据是否存在幻觉/编造成本Costtoken 消耗、模型调用费用是否符合预算延迟Latency单 token 响应平均时间是否满足用户体验要求。与 RAG 评估指标的呼应有意思的是第 15 课 RAG 与向量数据库 的 Evaluating our application 一节给出了另一组评估指标响应质量Quality、数据接地性Groundedness评估响应是否来自提供的文档、相关性Relevance响应是否与问题匹配与流畅性Fluency语法上是否通顺。对比可见RAG 评估中的 Groundedness 正是本课 LLMOps 指标中 Honesty诚实 的具体化——两者共同构成了一套从模型输出到业务价值的完整度量体系。代码质量与工程化保障在课程仓库中生命周期度量与评估还延伸到工程层面。仓库根目录的 pyproject.toml 配置了完整的 Python 工程化工具链依赖声明pyproject.toml#L23-L29openai1.0.0、python-dotenv1.0.0、requests2.31.0、azure-ai-inference1.0.0b1、tiktoken0.5.0质量工具pyproject.toml#L45-L105Black 格式化、isort 排序、mypy 类型检查、Ruff 静态检查含 flake8-bandit 安全规则测试配置pyproject.toml#L110-L113testpaths [tests]而 tests/conftest.py 确保从任意工作目录都能正确导入shared.python包。文档 docs/ENHANCED_FEATURES_ROADMAP.md 进一步说明了仓库的 CI/CD 建设Python 的 Ruff Black 检查在shared/维护模块上强制执行全课程范围作咨询性检查同时配置了基于 CodeQL 的安全扫描与依赖审查。这从侧面演示了运营化阶段应当具备的工程护栏静态检查、单元测试、依赖审计与安全扫描都是生命周期管理循环中质量保障的组成部分。生命周期工具链Azure AI Platform 与 PromptFlowAzure AI Platform 与 AI Studio在工具层面课程文档推荐微软提供的Azure AI Platform与PromptFlow它们让生命周期的实现更简单、更易上手。Azure AI Platform 允许你使用AI StudioMicrosoft Foundry这一 Web 门户用于探索模型、示例与工具管理资源并使用 UI 开发流程以及 SDK/CLI 选项进行代码优先Code-First开发。Azure AI 允许你使用多种资源管理你的操作operations、服务services、项目projects、向量搜索vector search与数据库需求——这覆盖了生命周期中构建/增强阶段的数据存储向量库与运营化阶段的资源编排。用 PromptFlow 从 POC 走向大规模应用课程文档概括了使用 PromptFlow 构建应用的能力从概念验证Proof-of-Concept, POC直至大规模应用使用可视化与功能性工具从 VS Code 设计与构建应用轻松测试与调优你的应用以获得高质量的 AI使用 Microsoft Foundry 与云集成迭代通过 Push 与 Deploy 实现快速集成。这与课程本身的组织方式一致仓库 README.md 列出了四种可运行的模型接入途径——Azure OpenAI Service、Microsoft Foundry Models原 GitHub Models将于 2026 年 7 月底退役官方建议迁移至 Foundry Models、OpenAI API以及Foundry Local完全离线在本地设备运行无需云订阅。你可以在 00-course-setup 中查看完整的环境搭建指引在后续各课的python/、typescript/目录中找到对应的真实示例代码。环境变量管理的实战细节在工具链落地时密钥与配置管理是绕不开的环节。仓库中的 shared/python/env_utils.py 提供了清晰的实践模式get_required_env(var_name, description)在缺失必填环境变量时抛出带描述信息的ValueErrorvalidate_env_vars(*var_names)可一次校验多个变量并返回字典。建议在开发阶段使用.env文件配合python-dotenv管理密钥在生产环境则通过平台密钥服务注入——这与课程管理循环中强调的安全与治理要求一致。从本课走向完整课程体系完成三大阶段与工具链的学习后你的 AI 应用即可进入运营状态。课程提供了 Contoso Chat Demo 作为将生命周期概念落到应用结构的端到端范例展示了云倡导团队如何在真实演示中应用这些概念。接下来第 15 课 RAG 与向量数据库 是理解构建/增强阶段关键技术RAG的自然延伸它详细讲解了知识库构建、文本分块、向量数据库、检索与向量相似度余弦相似度、欧氏距离、点积、重排序re-ranking等机制并用完整的chatbot()代码示例演示了如何把检索到的文档与用户问题组装成消息、通过 Responses API 生成接地的回答。这与本课的 LLM 生命周期框架形成理论与实践闭环——生命周期告诉你何时做 RAG第 15 课告诉你怎么做 RAG。小结生成式 AI 应用生命周期是一套指导开发、部署与维护的框架其核心要点可以归纳为范式转移从以模型训练为中心的 MLOps转向以应用开发者、集成、模型即服务为核心的 LLMOps五大指标质量、危害、诚实、成本、延迟取代传统 ML 度量体系三大阶段 一个贯穿循环构思/探索、构建/增强、运营化外加覆盖安全、合规、治理的管理大循环流程是迭代而非线性的工具链支撑Azure AI PlatformAI Studio/Microsoft Foundry负责资源与模型管理PromptFlow 负责从 POC 到大规模应用的流程化构建工程化落地结合本仓库可参照的实践——环境变量安全校验shared/python/env_utils.py、模型即服务接入shared/python/api_utils.py、嵌入索引管道08-building-search-applications/scripts、工程化测试与 CI/CDpyproject.toml、tests。掌握这套生命周期方法论你就拥有了让 AI 应用持续交付价值、始终令用户满意的路线图。【免费下载链接】generative-ai-for-beginners21 Lessons, Get Started Building with Generative AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-ai-for-beginners创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
