首页 › ai-in-telecom › NTT纯国产大模型单卡落地记

NTT纯国产大模型tsuzumi2单卡落地记:日本最大运营商如何用一台GPU撬动企业DX

当全球运营商都在比拼"千亿参数""万亿参数"的大模型军备竞赛时,日本最大的电信运营商NTT(日本电信电话株式会社)却走了一条截然相反的路——用一台GPU、一套纯国产代码,去撬动日本企业的数字化转型(DX)。

2025年10月20日,NTT, Inc.正式发布新一代日语大语言模型tsuzumi 2。这款名字取自日本传统手鼓"鼓(tsuzumi)"的模型,没有去和GPT比参数规模,而是把"轻量、纯国产、单卡推理、本地部署"做到极致,直击大型LLM的三大软肋:飙升的电力消耗、高昂的运营成本、机密数据外泄风险。

本文将以NTT官方部署案例、NTT DATA保险行业实证、第三方API实测为据,拆解这台"小鼓"如何在东京网络大学、富士胶片等真实场景中落地,以及它给中国运营商大模型路线带来的启示。


一、案例背景:为什么日本需要一台"小而精"的鼓

ChatGPT引爆LLM浪潮之后,一个问题开始在日本企业界蔓延:想用,但用不起,更用不放心。

NTT在tsuzumi 2的官方新闻稿中明确点出了传统大模型的三大病灶:

对日本企业而言,这三点尤为致命。日本有着海量的合同、提案、保险条款、病历、公文等机密文档,加上《个人情报保护法》和日益严格的数据主权要求,"数据不出域"几乎是一道不可逾越的红线。把核心业务文档喂给海外的黑盒大模型,对很多日企来说根本不是可选项。

而NTT的身份,让它天然适合做这件事。作为年营收超900亿美元、员工34万、年研发投入30亿美元的全球通信巨头,NTT既有覆盖80多个国家的算力与网络基础设施,又有IOWN(创新光学无线网络)这样的长期技术愿景。做一台"自家造、本地跑、看得见"的国产大模型,既是技术路线选择,也是商业护城河。

tsuzumi的命名也颇有深意——"鼓"是日本能剧、歌舞伎中配合人声节奏的乐器,寓意人与AI在节奏中和谐协作。NTT选择这个本土意象,本身就在宣示"纯国产"的定位。


二、方案详情:tsuzumi 2到底是一台什么样的"鼓"

1. 核心定位:轻量、纯国产、单卡推理

据NTT官方表述,tsuzumi 2继承了第一代tsuzumi(2023年发布、2024年3月25日商用)的核心基因,并做了三项关键升级:

NTT在内部用tsuzumi 2做了"金融系统问询处理"的评测,结论是性能达到或超过外部领先模型水平。值得一提的是,连tsuzumi 2的这篇官方新闻稿本身,都是用tsuzumi 2生成的——NTT在文末专门标注了这一点,算是给自家模型做了一次"现身说法"。

2. 参数与部署:据媒体报道约30B、单卡40GB可跑

NTT官方英文稿未披露tsuzumi 2的精确参数量,仅强调"轻量"。综合多家媒体报道(如搜狐科技报道),tsuzumi 2约为300亿(30B)参数,经量化压缩后可在约40GB显存的单卡上完成本地部署推理。这意味着一台中高端AI服务器(如单卡A100 80GB或H100)即可承载,极大降低了企业的硬件门槛。

注:30B/40GB为媒体披露数据,非NTT官方确认值,实际以NTT技术白皮书为准。

3. 部署架构:本地为主、闭域为底

tsuzumi 2的典型部署采用"本地/私有云为主、闭域网络为底"的模式,下图展示了其在企业内的典型架构与数据流:

flowchart TD
    A[企业机密数据<br/>合同/保单/病历/公文] --> B[本地闭域网络 On-Premise/Private Cloud]
    B --> C{tsuzumi 2 推理引擎<br/>单GPU 30B量化}
    C --> D1[RAG 检索增强]
    C --> D2[Fine-Tuning 行业特化]
    C --> D3[tsuzumi 2 Vision 多模态]
    D1 --> E[问答/知识检索]
    D2 --> F[文档结构化/信息抽取]
    D3 --> G[图文混合文档理解]
    E --> H[业务系统<br/>客服/QA/合规]
    F --> H
    G --> H
    H --> I[数据全程不出域]
    style C fill:#ffe0b2,stroke:#e65100,stroke-width:2px
    style I fill:#c8e6c9,stroke:#2e7d32

这种架构的精髓在于:从数据进入到结果输出,全程在企业自己的围墙内完成,NTT只提供模型与服务能力,不经手客户数据。这正是tsuzumi 2区别于ChatGPT等"云端黑盒"的根本所在。


三、真实案例一:东京网络大学——把AI关在"校园"里

tsuzumi 2发布时,NTT明确公布了两个已落地的具体案例,第一个就是东京网络大学(Tokyo Online University)。

这是一所典型的"数据敏感型"机构——学生信息、教职工资料、教学评估数据都必须严加保护。该校此前已经在运营一套校内网(on-premise)、纯国产的LLM平台,确保师生数据留在校园网络内不出域。

在引入tsuzumi 2前,校方对其进行了严格验证,确认两点后正式决定采用:

  1. tsuzumi 2对复杂上下文的理解和长文档处理性能稳定;
  2. 已达到复合型任务(多个子任务串联)的实用水平。

落地后,tsuzumi 2在校园中承担三类任务:

应用场景 具体用途 价值
课程Q&A增强 学生向AI提问课程内容,获取即时答疑 提升学习体验,减轻教师答疑负担
教学与考务支持 辅助教师创建教学材料与考试题目 提高教学准备效率
个性化指导 选课建议、职业生涯咨询 实现规模化、个性化的学生服务

校方计划在校内全面铺开,目标是在教学与行政两大领域同步加速AI应用。这个案例的典型意义在于:它证明了轻量国产大模型在"数据不出域"的强约束下,完全能撑起教育机构的真实业务——这恰恰是大型云端LLM难以满足的场景。


四、真实案例二:NTT DATA保险特化模型——用RAGAS讲清"小模型够不够用"

如果说东京网络大学展示的是"通用部署",那么NTT DATA于2025年3月发布的保险行业特化模型验证,则是tsuzumi最能打硬仗的"效果数据"案例。

1. 验证动机

NTT DATA发现一个普遍痛点:市面上的"行业特化模型"案例,大多只是用基准测试(benchmark,类似资格证考试)来证明模型"学到了知识",但与客户真实业务场景严重脱节。真正面向实战的特化模型,必须用客户的真实数据和真实业务流程来检验。

于是NTT DATA携手保险行业客户,以tsuzumi为底座,在Azure闭域环境中构建保险特化模型并严格评估。

2. 三个实战任务

任务编号 任务内容 业务价值
任务1 RAG场景下的参照文档问答(检索文档+回答问题) 保险条款咨询、理赔规则问答
任务2 从营业员与客户的对话/聊天记录中抽取营业信息 客户画像、销售线索结构化
任务3 含社内知识的QA问答 新人培训、内部规章查询

3. 训练方法与关键发现

NTT DATA采用了"持续预训练(继续事前学習)+ 任务特化学习(fine-tuning)"的两阶段方法,并用RAGAS评估框架的Faithfulness(忠实度)和Answer Correctness(答案正确性)两个指标量化打分。

验证得出了三个关键结论,对行业极有参考价值:

这个案例的含金量在于:它诚实地告诉业界——别迷信"持续预训练",对于垂直任务,任务特化微调(SFT)才是性价比最高的路径;同时也划清了小语言模型(SLM)的能力边界。


五、真实案例三:NTT DOCOMO BUSINESS × 富士胶片——把"乱文档"变成"结构化资产"

tsuzumi 2的第二个官方案例,是NTT DOCOMO BUSINESS(原NTT Communications)与富士胶片Business Innovation(FUJIFILM Business Innovation)的合作。

富士胶片运营着AI技术品牌"REiLI",专长是把合同、提案等非结构化企业数据(文字、图表、图片混合)转化为结构化、可操作的信息。两家公司把REiLI的文档结构化能力与tsuzumi 2的高性能、高安全生成AI能力结合,联合探索新一代生成AI解决方案,目标是大幅提升企业文档与图像的分析利用效率。

这是一个典型的"模型厂商×文档处理厂商"组合拳:tsuzumi 2提供"懂日语、能推理、可本地"的大脑,REiLI提供"把乱文档读干净"的眼睛,共同啃下企业最头疼的"文档资产化"硬骨头。


六、对比分析:tsuzumi 2凭什么在日本站稳脚跟

1. 与通用大模型的定位对比

维度 tsuzumi 2(NTT) 通用云端LLM(如GPT类)
部署形态 本地/私有云/闭域 云端API
数据安全 数据全程不出域 数据需上云
硬件门槛 单GPU可推理 依赖云厂商算力
日语专业度 金融/医疗/公共领域强化 通用能力强,垂直深度需补
定制成本 SFT/RAG特化成本低 微调成本高、定制受限
合规适配 纯国产,匹配日本法规 跨境合规复杂

2. 与其他日本国产模型的横向对比

日本"国产LLM"赛道里,tsuzumi 2并非孤例,NEC的cotomi、乐天的模型、软银(SoftBank)的大模型都在其中。但tsuzumi 2的差异化在于:背靠NTT集团的运营商网络、IOWN算力基础设施和企业客户资源,能以"网络+算力+模型+本地部署"的一揽子方案交付,而非单纯卖一个模型权重。这是其他纯AI公司难以复制的。

3. 给中国运营商的启示

需要强调的是,参数规模不等于战斗力。中国移动"九天"、中国电信"星辰"等千亿级大模型在政企、网优、客服等场景已大展拳脚,但NTT的tsuzumi 2证明:在数据极敏感、算力极有限、预算极克制的长尾场景(中小企业、基层机构、离线环境)里,一台GPU + 一套纯本地化的小模型,反而比千亿大模型更"对路"。轻量化、本地化、垂直深耕,与超大规模、云端集中,是互补而非对立的两条路线。


七、第三方实测:延迟与成功率到底如何

除官方案例外,第三方API聚合平台(HolySheep AI,2026年4月测评)对tsuzumi 2的API接入做了实测。需特别说明:该平台为商业化API中转服务,其测评带有营销推广性质(文中含明显不实的汇率宣传),故以下数据仅作"第三方实测参考",非NTT官方基准,读者请审慎对待。

实测项目 数据 说明
首 token 响应时间 约 1.2s 国内直连场景
500 tokens 完整回复 约 3.5s —
1000 tokens 长文本 约 6.8s —
100次请求成功率 98% 2次偶发超时,重试成功
上下文窗口 8192 tokens 该平台参数,非NTT官方

提示:上下文窗口8192 tokens与tsuzumi 2官方能力可能存在出入,正式项目请以NTT技术文档为准。该测评的可取之处在于首字延迟约1.2秒、成功率98%,对客服问答、文档抽取等实时性要求中等的场景已足够。


八、效果数据汇总与未来展望

综合官方与案例数据,tsuzumi 2的核心成效可归纳为:

指标类别 关键数据/结论 来源
性能定位 同等规模模型中日语性能世界顶级;金融系统问询匹敌/超越数倍规模模型 NTT官方
硬件成本 单GPU推理;据媒体约30B参数、40GB单卡可本地部署 NTT官方+媒体
安全 纯国产、数据不出域,支持本地/私有云/闭域部署 NTT官方
垂直特化 任务特化微调使保险信息抽取准确率大幅提升 NTT DATA案例
实时性 首token约1.2s,100次成功率98% 第三方实测(参考)

NTT对tsuzumi 2的未来布局有两个值得关注的方向:

在2025年11月的NTT R&D Forum 2025(IOWN Quantum Leap)上,NTT已展示了基于tsuzumi 2的最新生成AI解决方案,并演示了其作为企业AI智能体(Agent)与人类协同处理复杂业务分析的能力。


九、结语:小鼓敲出大生意

NTT tsuzumi 2的落地,给通信行业的大模型实战提供了一个清醒的范本:不是每个场景都需要千亿参数的"重炮",很多实战更需要一台单卡能跑、数据不出门、垂直特化够用的"小鼓"。

东京网络大学用它把AI关进校园、富士胶片用它把乱文档变成资产、NTT DATA用它证明了"微调比灌知识更管用"——这些真实案例的价值,远胜任何华丽的跑分。对于正处在AI转型深水区的中国运营商而言,tsuzumi 2提醒我们:大模型的竞争力,未必在"大",而在"对"——对场景、对数据、对成本、对安全。

鼓声虽小,节奏已起。


参考来源

  1. NTT's Next-Generation LLM "tsuzumi 2" Now Available(NTT官方新闻稿,2025-10-20) — tsuzumi 2官方发布、核心特性、东京网络大学与富士胶片两大落地案例
  2. tsuzumiを活用した保険業界特化型の生成AIモデルを構築検証(NTT DATA Data Insight,2025-03-18) — 保险行业tsuzumi特化模型的RAGAS评估与微调效果实证
  3. NTT's LLM "tsuzumi" — Technical Overview(NTT R&D) — tsuzumi技术总览、日语处理能力与轻量化设计
  4. NTT tsuzumi2发布:30B日语AI模型,40GB单卡本地部署(搜狐科技报道) — tsuzumi 2参数规模、单卡部署的媒体报道
  5. NTT Tsuzumi 2日语大模型API接入测评:延迟、成本与实战代码(HolySheep AI,2026-04-09,第三方营销内容需审慎) — tsuzumi 2 API首字延迟、成功率第三方实测

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护,聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入