首页 › glossary › 什么是近数据计算?数据不动,算力上门

什么是近数据计算?

近数据计算,说白了就是:数据不动窝,把算力派上门。 与其把海量数据吭哧吭哧搬运到CPU(中央处理器,电脑的“总指挥”)那里去算,不如把计算单元直接装在数据存放的地方——硬盘里、内存旁、网络设备上,就地算完,只把结果送出来。

为什么现在值得了解?因为AI大模型时代,全行业突然发现了一个尴尬的事实:算力很贵,但“搬数据”比“算数据”更贵。GPU(显卡上的计算芯片)经常不是在算,而是在等数据喂进嘴里。于是,“把计算搬到数据旁边”这件事,从学术冷板凳一跃成为存储厂商、芯片厂商、云厂商集体押注的新赛道——三星、SK海力士、西数、Solidigm都在出牌。

目录

  1. 近数据计算是什么?
  2. 为什么最近这么火?
  3. 一张图看懂
  4. 和我有什么关系?
  5. 一分钟总结
  6. 延伸阅读与参考来源

第一节:近数据计算是什么?

一个图书馆的类比

假设你要在图书馆的100万本书里,找出所有提到“近数据计算”的书,一共就10本。

传统做法:把100万本书全部装车运到你的办公室,一本一本翻,翻完再把999990本运回去。——这就是今天绝大多数计算的工作方式:数据住在硬盘里,每次要用,整块整块地搬到内存,再搬到CPU,算完再搬回去。

近数据计算的做法:给书库派驻一位图书管理员,让他在书库里就地翻完100万本,最后只把10本送到你桌上。——数据不用挪窝,搬家的是“会算的人”。

这就是近数据计算(Near-Data Processing,业内常缩写为NDP)的核心思想:算力跟着数据走,而不是数据跟着算力走。

它到底解决什么问题?——两头堵的“搬运困局”

要理解它的价值,得先看看传统计算机架构(专业上叫冯·诺依曼架构——CPU和存储分开、靠数据总线连接的设计)欠下的两笔账:

第一笔:时间的账。 硬盘的读写速度和CPU的计算速度,差着几万倍甚至更多。CPU算一步只要十亿分之一秒,但从硬盘取一次数据可能要等上万倍的时间。于是CPU大部分时间在“等人送货”,专业上叫“算力空转”。AI训练中一个常见的尴尬是:几张几十万元的GPU,利用率只有百分之二三十——不是它不会算,是数据还没送到。

第二笔:能耗的账。 在芯片世界里,搬数据比做计算费电得多。业界常见的估算是:把一个数据从内存搬运到计算单元所消耗的能量,可能是运算本身的几十倍甚至上百倍,距离越远越夸张。而对数据中心来说,电费就是命。当你动辄需要搬运PB级(1PB约等于100万GB)的数据做AI训练时,搬运的功耗能占到整个系统功耗的大头。

近数据计算就是冲着这两笔账去的:数据搬运的距离缩短了,时间成本和电费成本就一起省下来了。

落地的三种典型姿势

“数据在哪,算力就去哪”,按数据“住”的位置不同,业界主要有三种落地方式:

近数据计算是这一整条路线的统称——你可以把它理解成“数据地理学”的总纲:核心哲学只有一句话,让数据少跑腿。


第二节:为什么最近这么火?

这个概念其实不新——学术界早在上世纪九十年代就提出过类似想法(当时叫“智能磁盘”),但受限于成本,一直躺在论文里。最近几年翻红,背后有四股力量的合力:

第一,AI把“搬运困局”放大到了极点。 大模型训练要喂数据:爬取的网页、清洗过的语料、标注过的图片,动辄几十TB起步。这些数据要先“洗”一遍(去重、过滤、格式转换)再喂给GPU。业界逐渐形成一个共识:AI基础设施的瓶颈正在从“算得不够快”转向“喂得不够快”。GPU直连存储(绕过CPU直接从硬盘读数据,如英伟达的GPUDirect Storage技术)就是“减少搬运”的第一步,而把数据预处理直接做进硬盘,则是更彻底的一步。

第二,存储巨头集体下场,产品真的来了。 三星在2021年就宣布量产SmartSSD——这是全球第一款大规模量产的“内置FPGA计算能力”的SSD,与AMD合作打造。三星官方演示中,在这类盘上做数据库的全表扫描(从海量记录里筛出目标行),数据搬运量和处理时延大幅下降。SK海力士则在2021年起先后发布GDDR6-AiM和HBM-PIM(给显存和内存装上计算单元),官方数据显示最高可实现约2倍性能、显著降低功耗。法国公司UPMEM更是直接卖“会计算的内存条”,用于加速数据库和数据分析。

第三,标准落地,从“演示品”变成“货架品”。 SNIA(全球存储工业协会,存储行业定标准的组织)发布了计算型存储架构标准;NVM Express(NVMe,固态硬盘的主流接口协议)也在2.0规范中正式纳入了“计算型存储”的功能定义——盘里能跑哪些计算、主机怎么“下单”,都有了统一说法。标准化意味着:以前是厂商各玩各的概念,现在是整个行业可以规模化铺货。对采购方来说,这是从“看看就好”到“可以写进标书”的分水岭。

第四,智算中心的电费账本压不住了。 各地大规模建设智算中心(专门服务AI训练推理的数据中心),电力容量成了最稀缺的资源。当“省一度电”能直接换算成真金白银,“降低数据搬运功耗”就从技术理想变成了经营刚需。2024年以来,Solidigm、三星等厂商频繁在公开场合把“计算型存储+AI数据管道”打包推介,把它定位为AI工厂的“前置预处理车间”——数据在进GPU之前,先用最省的方式洗好、筛好。

一句话总结这波热度:概念没变,变的是需求——AI把数据搬运的代价推高到了行业无法忍受的程度,而工艺和标准终于跟上了。


第三节:一张图看懂

图一:传统做法 vs 近数据计算

flowchart TD
    subgraph OLD[传统做法:数据来回跑]
        A[SSD 存着TB级数据] -->|整块搬运| B[内存中转站]
        B -->|继续搬运| C[CPU 逐条筛选]
        C -->|只留下结果| D[应用程序]
    end
    subgraph NEW[近数据计算:算力上门]
        E[SSD 存着TB级数据] --> F[盘内计算单元<br/>就地筛选聚合]
        F -->|只送结果| D
    end

图二:近数据计算的“家族地图”——数据在哪,算就去哪

flowchart TD
    Q[数据住在哪里?]
    Q -->|还躺在盘里| P1[计算型存储<br/>代表:SmartSSD]
    Q -->|挤在内存旁| P2[近存计算<br/>代表:HBM-PIM]
    Q -->|正在路上跑| P3[在网计算<br/>代表:DPU]
    P1 --> R[近数据计算家族<br/>共同信条:让数据少跑腿]
    P2 --> R
    P3 --> R

看懂这两张图,你就掌握了这个概念的精髓:图一是省钱省时的原理,图二是它按“数据住址”分出的三个分支。 值得提醒的是,这三个分支各自都有独立的文章可写——而“近数据计算”是那个把它们串起来的总纲。


第四节:和我有什么关系?

如果你是普通人: 它是你未来“搜得快、用得便宜”的幕后功臣。手机相册里搜“海边的照片”秒出结果、网盘里翻几年的文件不卡顿、AI助手回答问题不再慢吞吞还收费贵——背后很重要的一环,就是数据不用来回搬运,检索在离数据最近的地方完成。数据搬运省下的成本,最终会体现在你订阅AI服务的价格里。

如果你是从业者: 这是存储、数据库、AI基础设施三条赛道交汇出的新工种。数据库工程师熟悉的“下推查询”(把筛选条件下发给存储层执行)、存储工程师熟悉的固件开发、AI工程师头疼的数据管道优化,在近数据计算的世界里会合了。未来两三年,“计算型存储开发”“存内数据分析”会出现在越来越多招聘JD里。现在就可以做的三件事: 1. 转发收藏这篇,下次有人在会上说“近数据处理”你不再一脸茫然; 2. 去SNIA和NVMe官网下载计算型存储的白皮书(免费),了解标准术语; 3. 关注三星SmartSSD、SK海力士PIM、UPMEM的动态,这是观察这条赛道风向最直接的三个窗口。

如果你是投资者: 看三条线索——一是存储原厂(三星、SK海力士、美光、闪迪系)在PIM和计算型存储上的量产节奏;二是CXL(一种让内存和计算“跨国混搭”的高速互连标准)生态的成熟度,它是近数据计算的“高速公路”;三是数据库和云厂商的采用意愿——技术再好,没人买就落不了地。这条赛道属于“慢变量”:概念火爆不等于短期爆发,需要盯标准渗透率和实际订单。


第五节:一分钟总结

  1. 近数据计算 = 数据不动窝,把算力派上门,就地算完只传结果。
  2. 它解决的是传统架构的两笔老账:搬运太慢,搬运太费电——AI时代这两笔账被放大到了行业难以忍受。
  3. 三种落地姿势:算力进硬盘(计算型存储)、算力贴内存(PIM)、算力上网络(DPU),合起来是一个“让数据少跑腿”的家族。
  4. 三星SmartSSD量产、SK海力士PIM发布、NVMe与SNIA标准落地,标志着它从论文走向货架。
  5. 记住一个判断标准就够用:谁让数据搬运的距离更短,谁就更接近未来。

延伸阅读

参考来源

  1. Near-data processing - Wikipedia — 近数据处理的定义、历史沿革与技术分类
  2. Samsung SmartSSD 官方产品页 — 全球首款量产内置FPGA计算能力SSD的技术说明与演示数据
  3. SNIA Computational Storage — 计算型存储架构与接口的行业标准化工作
  4. NVM Express 官网 — NVMe 2.0规范中计算型存储功能的正式定义
  5. SK hynix Newsroom — GDDR6-AiM与HBM-PIM技术发布及官方性能数据

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护,聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入