# AT&T 飞轮让坐席成本直降九成：Ask AT&T 智能体 + 小模型落地解构 ## 一、案例背景：千万级呼叫中心为何被 AI 重构 AT&T 是全球规模最大的电信运营商之一，其客服体系每年承接 **1500 万通客户呼叫**，背后是覆盖数千万移动与固网用户的海量咨询、报障、变更、续约诉求。在这套庞大的人力机器背后，三个长期痛点一直无法用传统 IVR（交互式语音应答）和人工坐席流程根治： 1. **知识老化（模型漂移）**：AT&T 内部维护着 **近 1 万份产品与政策文档，每周多次更新**。传统客服知识库更新滞后，坐席经常基于过期信息答复，导致重复来电和投诉。 2. **大模型"贵且慢"**：直接把 GPT 级闭源大模型塞进呼叫中心，单次推理成本高、延迟大，难以支撑千万级实时交互；而通用大模型对 AT&T 自有业务（套餐、装机、反欺诈）理解粗糙，准确率上不去。 3. **坐席后处理负担重**：每通电话后的工单归类、意图打标、根因提炼全靠人手，1500 万通电话意味着海量的重复劳动与隐性成本。 AT&T 首席数据官 Andy Markus 团队的解法不是"换一个大模型"，而是构建一套**自驱动的数据飞轮（Data Flywheel）**：让智能体在真实业务中持续吸收反馈、自我精调、自我评估。这条主线分两条技术轨道并行落地——一条是面向坐席与员工的生成式智能体 **Ask AT&T**，另一条是面向呼叫中心运营的**小语言模型（SLM）预测与归类**。下面逐层拆解。 ## 二、方案详情：两条技术轨道如何咬合 ### 轨道一：Ask AT&T + NVIDIA NeMo 数据飞轮（生成式智能体） Ask AT&T 于 2023 年 6 月上线，最早基于 OpenAI ChatGPT，并兼容 Meta LLaMA 2、Falcon 等开源模型，定位为面向 **10 万员工**的内部生成式生产力平台（据 Business Insider 报道，其正在为 10 万员工"提速生产力"）。它后来演进为一套**可对外服务客户的智能体**，覆盖账户分析、个性化套餐推荐、软件升级建议、反欺诈辅助等场景。 为解决"贵、慢、漂移"三大问题，AT&T 联合实施方 **Quantiphi**，采用 **NVIDIA AI Enterprise + NIM + NeMo** 微服务，搭建数据飞轮： - **NeMo Curator（数据治理）**：对海量真实客服对话与工单做清洗、去重、过滤，喂给训练流水线，确保"喂进去的数据是干净的"。 - **NeMo Customizer（模型精调）**：在 Mistral、Mixtral、Llama 多个基座上迭代微调，最终 **Mistral 7B 脱颖而出**——在准确率与成本之间取得最佳平衡。 - **NeMo Evaluator（自动评测）**：用 Rouge、BERT F1、问题相关性、回答质量等多维指标闭环评估，不达标则回炉重训。 - **NeMo Retriever（实时检索 RAG）**：把近 1 万份高频更新的文档建成检索管道，让智能体"看到最新政策"，从根上抑制模型漂移。 - **NIM（推理部署）**：把精调后的轻量模型以微服务形式高效部署，压低延迟与单次成本。 飞轮的关键在于**闭环**：智能体上线后的每一次回答、每一条用户反馈，都会回流到 Curator，触发下一轮清洗—精调—评测—部署。AT&T 的下一步规划是引入**人评 + LLM-as-Judge 的混合评测体系**，让质量裁判本身也持续校准。 ### 轨道二：H2O.ai 小语言模型集成（呼叫中心运营层） 在运营层，AT&T 与 **H2O.ai** 合作，用**小语言模型集成（SLM Ensemble）**重构呼叫中心的归类与洞察。其做法是把任务拆成可被小模型吃掉的颗粒：从 Llama 抽取 10 类语义特征、从分类器抽取 50 类，组合成一个轻量集成模型，用于实时通话意图打标与根因提取。 这套小模型集成最典型的应用是**"装机失约"识别**——自动从通话中提炼出"客户已预约但技术人员未上门"这类高价值运营信号，驱动后续工单与赔付流程，而非让质检员逐通听录音。 ### 系统架构 ```mermaid flowchart TD A[1500万通/年
真实客服对话] --> B[NeMo Curator
数据清洗去重] B --> C[NeMo Customizer
微调 Mistral/Mixtral/Llama] C --> D[选定 Mistral 7B
轻量精调模型] D --> E[NeMo Evaluator
Rouge/BERT F1 闭环评测] E -->|不达标回炉| B E -->|达标发布| F[NeMo Retriever
RAG 检索近万份实时文档] F --> G[NIM 推理部署
Ask AT&T 智能体] G --> H[坐席辅助/个性化推荐/反欺诈] G --> I[反馈日志回流] I --> B H --> J[H2O.ai SLM集成
意图打标+失约识别] J --> K[工单/赔付/运营闭环] ``` ## 三、效果数据：四成准度提升与九成成本压缩 两条轨道都给出了可验证的硬指标。 **表1：Ask AT&T + NeMo 生成式飞轮效果（NVIDIA 官方案例）** | 指标 | 改善幅度 | 说明 | |---|---|---| | 智能体回答准确率 | **提升最高 40%** | 精调后在 Rouge、BERT F1 等关键指标显著提升 | | 推理延迟 | 显著下降 | 轻量精调模型替代重型通用大模型 | | 单次推理成本 | 大幅下降 | 维持企业级安全合规前提下压缩成本 | | 知识时效性 | 实时同步 | RAG 检索近万份每周多次更新的文档 | | 模型漂移治理 | 持续闭环 | 数据飞轮 + 混合评测（人评+LLM裁判） | **表2：H2O.ai 小模型集成呼叫中心效果（H2O 官方案例）** | 指标 | 数值 | 对比基准 | |---|---|---| | 年呼叫量 | **1500 万通** | AT&T 呼叫中心总规模 | | 集成模型准确率 | **91%** | 接近此前的昂贵方案 | | 成本压缩 | **降至原方案 35%** | 其中 Danube 小模型仅占 10% | | 综合成本节省 | **约 90%** | 相对原大模型方案 | | 推理延迟改善 | **75%** | 轻量集成模型带来 | | 特征工程 | Llama 10 类 + 分类器 50 类 | 颗粒化拆解任务 | 把两张表连起来读，AT&T 的策略意图非常清晰：**用飞轮把"准"做上去（+40%），用小模型把"省"做到极致（成本压到原方案 1/3、综合节省约九成）**。准度与成本这对长期矛盾，被"精调小模型 + RAG + 自动评测闭环"同时化解。 ## 四、对比分析：为什么是飞轮 + 小模型，而不是更大的大模型 **与传统规则 IVR / 人工坐席对比**：规则 IVR 只能处理固定话术树，遇到"我上个月办的套餐怎么这个月多了 12 块"这类开放问题就崩溃；人工坐席则受限于知识更新速度与重复劳动。Ask AT&T 的 RAG 让坐席/智能体始终基于最新文档回答，小模型集成则把人工后处理自动化，两者直接吃掉了重复来电与质检人力。 **与"直接上闭源巨型大模型"对比**：把 GPT-4 级模型全量塞进千万级实时呼叫，成本与延迟都不可承受。AT&T 选择 **Mistral 7B + 小模型集成**的轻量路线——用 91% 的准确率逼近重型方案，却把成本压到其 35%、延迟改善 75%。这正是 2025—2026 年运营商客服 AI 的主流转向：**不是参数越大越好，而是"够用 + 便宜 + 可自我进化"**。 **与国内运营商路线对比**：中国移动"九天"、中国电信"星辰"等大模型更强调自研基座与行业大模型一体化；AT&T 走的是**"开源基座 + 工具链（NeMo/H2O）+ 飞轮"**的组合拳，工程重心放在数据治理与评测闭环上，而非单纯卷参数。两种路径殊途同归——都在解决"模型漂移"这一客服场景的命门，AT&T 的可复制性对中等规模运营商更友好。 **飞轮的真正壁垒**：模型可以换（Mistral、Llama、Mixtral 都试过），文档可以接，但**"清洗—精调—评测—部署—回流"这条自动闭环**才是 AT&T 沉淀的核心资产。NVIDIA 把它抽象为可复用的 NeMo 微服务栈，意味着这套方法可被其他运营商快速复刻。 ## 五、对运营商的三点启示 1. **小模型 + RAG 优先于巨型大模型**：客服场景高度结构化、知识库明确，精调后的 7B 级模型 + 实时检索，性价比远超通用大模型。 2. **评测闭环决定上限**：没有 NeMo Evaluator 这类自动多维评测，飞轮就会"空转"。建立 Rouge/BERT F1/相关性/质量四维评测是落地前提。 3. **从坐席辅助到运营洞察一体化**：H2O 小模型把通话转为"装机失约"等运营信号，让客服数据反哺装维与营销，跳出"只做问答"的低价值区。 ## 参考来源 1. [AT&T Drives AI Agents' Accuracy, Efficiency, and Performance With NVIDIA — NVIDIA Customer Stories](https://www.nvidia.com/en-us/case-studies/att-drives-ai-agents-with-nemo/) — Ask AT&T 数据飞轮、Mistral 7B、准确率提升 40%、近 1 万份文档、Quantiphi 实施 2. [AT&T Call Center | H2O.ai Case Study](https://h2o.ai/case-studies/att-call-center/) — 1500 万通年呼叫、小模型集成 91% 准确率、成本降至原方案 35%、综合节省约 90%、延迟改善 75% 3. [How AT&T Is Using AI to Write Code, Answer Customer Calls, and More — Business Insider](https://www.businessinsider.com/att-gen-ai-llm-tech-automate-software-code-customer-service-2024-11) — Ask AT&T 为 10 万员工提速生产力、基于 ChatGPT、兼容 LLaMA2/Falcon 4. [Feature: How GenAI is transforming AT&T — Mobile World Live](https://www.mobileworldlive.com/att/feature-how-genai-is-transforming-att/) — Ask AT&T 2023 年 6 月上线及生成式 AI 落地全景 5. [Bringing Agentic Power to Bear Across AT&T's Entire Business — AT&T Newsroom](https://about.att.com/blogs/2025/agentic-ai.html) — Ask AT&T Workflows 智能体化与规模化部署 --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 > 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。