近数据计算,说白了就是:数据不动窝,把算力派上门。 与其把海量数据吭哧吭哧搬运到CPU(中央处理器,电脑的“总指挥”)那里去算,不如把计算单元直接装在数据存放的地方——硬盘里、内存旁、网络设备上,就地算完,只把结果送出来。
为什么现在值得了解?因为AI大模型时代,全行业突然发现了一个尴尬的事实:算力很贵,但“搬数据”比“算数据”更贵。GPU(显卡上的计算芯片)经常不是在算,而是在等数据喂进嘴里。于是,“把计算搬到数据旁边”这件事,从学术冷板凳一跃成为存储厂商、芯片厂商、云厂商集体押注的新赛道——三星、SK海力士、西数、Solidigm都在出牌。
假设你要在图书馆的100万本书里,找出所有提到“近数据计算”的书,一共就10本。
传统做法:把100万本书全部装车运到你的办公室,一本一本翻,翻完再把999990本运回去。——这就是今天绝大多数计算的工作方式:数据住在硬盘里,每次要用,整块整块地搬到内存,再搬到CPU,算完再搬回去。
近数据计算的做法:给书库派驻一位图书管理员,让他在书库里就地翻完100万本,最后只把10本送到你桌上。——数据不用挪窝,搬家的是“会算的人”。
这就是近数据计算(Near-Data Processing,业内常缩写为NDP)的核心思想:算力跟着数据走,而不是数据跟着算力走。
要理解它的价值,得先看看传统计算机架构(专业上叫冯·诺依曼架构——CPU和存储分开、靠数据总线连接的设计)欠下的两笔账:
第一笔:时间的账。 硬盘的读写速度和CPU的计算速度,差着几万倍甚至更多。CPU算一步只要十亿分之一秒,但从硬盘取一次数据可能要等上万倍的时间。于是CPU大部分时间在“等人送货”,专业上叫“算力空转”。AI训练中一个常见的尴尬是:几张几十万元的GPU,利用率只有百分之二三十——不是它不会算,是数据还没送到。
第二笔:能耗的账。 在芯片世界里,搬数据比做计算费电得多。业界常见的估算是:把一个数据从内存搬运到计算单元所消耗的能量,可能是运算本身的几十倍甚至上百倍,距离越远越夸张。而对数据中心来说,电费就是命。当你动辄需要搬运PB级(1PB约等于100万GB)的数据做AI训练时,搬运的功耗能占到整个系统功耗的大头。
近数据计算就是冲着这两笔账去的:数据搬运的距离缩短了,时间成本和电费成本就一起省下来了。
“数据在哪,算力就去哪”,按数据“住”的位置不同,业界主要有三种落地方式:
近数据计算是这一整条路线的统称——你可以把它理解成“数据地理学”的总纲:核心哲学只有一句话,让数据少跑腿。
这个概念其实不新——学术界早在上世纪九十年代就提出过类似想法(当时叫“智能磁盘”),但受限于成本,一直躺在论文里。最近几年翻红,背后有四股力量的合力:
第一,AI把“搬运困局”放大到了极点。 大模型训练要喂数据:爬取的网页、清洗过的语料、标注过的图片,动辄几十TB起步。这些数据要先“洗”一遍(去重、过滤、格式转换)再喂给GPU。业界逐渐形成一个共识:AI基础设施的瓶颈正在从“算得不够快”转向“喂得不够快”。GPU直连存储(绕过CPU直接从硬盘读数据,如英伟达的GPUDirect Storage技术)就是“减少搬运”的第一步,而把数据预处理直接做进硬盘,则是更彻底的一步。
第二,存储巨头集体下场,产品真的来了。 三星在2021年就宣布量产SmartSSD——这是全球第一款大规模量产的“内置FPGA计算能力”的SSD,与AMD合作打造。三星官方演示中,在这类盘上做数据库的全表扫描(从海量记录里筛出目标行),数据搬运量和处理时延大幅下降。SK海力士则在2021年起先后发布GDDR6-AiM和HBM-PIM(给显存和内存装上计算单元),官方数据显示最高可实现约2倍性能、显著降低功耗。法国公司UPMEM更是直接卖“会计算的内存条”,用于加速数据库和数据分析。
第三,标准落地,从“演示品”变成“货架品”。 SNIA(全球存储工业协会,存储行业定标准的组织)发布了计算型存储架构标准;NVM Express(NVMe,固态硬盘的主流接口协议)也在2.0规范中正式纳入了“计算型存储”的功能定义——盘里能跑哪些计算、主机怎么“下单”,都有了统一说法。标准化意味着:以前是厂商各玩各的概念,现在是整个行业可以规模化铺货。对采购方来说,这是从“看看就好”到“可以写进标书”的分水岭。
第四,智算中心的电费账本压不住了。 各地大规模建设智算中心(专门服务AI训练推理的数据中心),电力容量成了最稀缺的资源。当“省一度电”能直接换算成真金白银,“降低数据搬运功耗”就从技术理想变成了经营刚需。2024年以来,Solidigm、三星等厂商频繁在公开场合把“计算型存储+AI数据管道”打包推介,把它定位为AI工厂的“前置预处理车间”——数据在进GPU之前,先用最省的方式洗好、筛好。
一句话总结这波热度:概念没变,变的是需求——AI把数据搬运的代价推高到了行业无法忍受的程度,而工艺和标准终于跟上了。
图一:传统做法 vs 近数据计算
flowchart TD
subgraph OLD[传统做法:数据来回跑]
A[SSD 存着TB级数据] -->|整块搬运| B[内存中转站]
B -->|继续搬运| C[CPU 逐条筛选]
C -->|只留下结果| D[应用程序]
end
subgraph NEW[近数据计算:算力上门]
E[SSD 存着TB级数据] --> F[盘内计算单元<br/>就地筛选聚合]
F -->|只送结果| D
end
图二:近数据计算的“家族地图”——数据在哪,算就去哪
flowchart TD
Q[数据住在哪里?]
Q -->|还躺在盘里| P1[计算型存储<br/>代表:SmartSSD]
Q -->|挤在内存旁| P2[近存计算<br/>代表:HBM-PIM]
Q -->|正在路上跑| P3[在网计算<br/>代表:DPU]
P1 --> R[近数据计算家族<br/>共同信条:让数据少跑腿]
P2 --> R
P3 --> R
看懂这两张图,你就掌握了这个概念的精髓:图一是省钱省时的原理,图二是它按“数据住址”分出的三个分支。 值得提醒的是,这三个分支各自都有独立的文章可写——而“近数据计算”是那个把它们串起来的总纲。
如果你是普通人: 它是你未来“搜得快、用得便宜”的幕后功臣。手机相册里搜“海边的照片”秒出结果、网盘里翻几年的文件不卡顿、AI助手回答问题不再慢吞吞还收费贵——背后很重要的一环,就是数据不用来回搬运,检索在离数据最近的地方完成。数据搬运省下的成本,最终会体现在你订阅AI服务的价格里。
如果你是从业者: 这是存储、数据库、AI基础设施三条赛道交汇出的新工种。数据库工程师熟悉的“下推查询”(把筛选条件下发给存储层执行)、存储工程师熟悉的固件开发、AI工程师头疼的数据管道优化,在近数据计算的世界里会合了。未来两三年,“计算型存储开发”“存内数据分析”会出现在越来越多招聘JD里。现在就可以做的三件事: 1. 转发收藏这篇,下次有人在会上说“近数据处理”你不再一脸茫然; 2. 去SNIA和NVMe官网下载计算型存储的白皮书(免费),了解标准术语; 3. 关注三星SmartSSD、SK海力士PIM、UPMEM的动态,这是观察这条赛道风向最直接的三个窗口。
如果你是投资者: 看三条线索——一是存储原厂(三星、SK海力士、美光、闪迪系)在PIM和计算型存储上的量产节奏;二是CXL(一种让内存和计算“跨国混搭”的高速互连标准)生态的成熟度,它是近数据计算的“高速公路”;三是数据库和云厂商的采用意愿——技术再好,没人买就落不了地。这条赛道属于“慢变量”:概念火爆不等于短期爆发,需要盯标准渗透率和实际订单。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护,聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。
