# 什么是近数据计算？ **近数据计算，说白了就是：数据不动窝，把算力派上门。** 与其把海量数据吭哧吭哧搬运到CPU（中央处理器，电脑的“总指挥”）那里去算，不如把计算单元直接装在数据存放的地方——硬盘里、内存旁、网络设备上，就地算完，只把结果送出来。 为什么现在值得了解？因为AI大模型时代，全行业突然发现了一个尴尬的事实：**算力很贵，但“搬数据”比“算数据”更贵**。GPU（显卡上的计算芯片）经常不是在算，而是在等数据喂进嘴里。于是，“把计算搬到数据旁边”这件事，从学术冷板凳一跃成为存储厂商、芯片厂商、云厂商集体押注的新赛道——三星、SK海力士、西数、Solidigm都在出牌。 ## 目录 1. 近数据计算是什么？ 2. 为什么最近这么火？ 3. 一张图看懂 4. 和我有什么关系？ 5. 一分钟总结 6. 延伸阅读与参考来源 --- ## 第一节：近数据计算是什么？ ### 一个图书馆的类比 假设你要在图书馆的100万本书里，找出所有提到“近数据计算”的书，一共就10本。 **传统做法**：把100万本书全部装车运到你的办公室，一本一本翻，翻完再把999990本运回去。——这就是今天绝大多数计算的工作方式：数据住在硬盘里，每次要用，整块整块地搬到内存，再搬到CPU，算完再搬回去。 **近数据计算的做法**：给书库派驻一位图书管理员，让他在书库里就地翻完100万本，最后只把10本送到你桌上。——数据不用挪窝，搬家的是“会算的人”。 这就是近数据计算（Near-Data Processing，业内常缩写为NDP）的核心思想：**算力跟着数据走，而不是数据跟着算力走。** ### 它到底解决什么问题？——两头堵的“搬运困局” 要理解它的价值，得先看看传统计算机架构（专业上叫冯·诺依曼架构——CPU和存储分开、靠数据总线连接的设计）欠下的两笔账： **第一笔：时间的账。** 硬盘的读写速度和CPU的计算速度，差着几万倍甚至更多。CPU算一步只要十亿分之一秒，但从硬盘取一次数据可能要等上万倍的时间。于是CPU大部分时间在“等人送货”，专业上叫“算力空转”。AI训练中一个常见的尴尬是：几张几十万元的GPU，利用率只有百分之二三十——不是它不会算，是数据还没送到。 **第二笔：能耗的账。** 在芯片世界里，**搬数据比做计算费电得多**。业界常见的估算是：把一个数据从内存搬运到计算单元所消耗的能量，可能是运算本身的几十倍甚至上百倍，距离越远越夸张。而对数据中心来说，电费就是命。当你动辄需要搬运PB级（1PB约等于100万GB）的数据做AI训练时，搬运的功耗能占到整个系统功耗的大头。 近数据计算就是冲着这两笔账去的：**数据搬运的距离缩短了，时间成本和电费成本就一起省下来了。** ### 落地的三种典型姿势 “数据在哪，算力就去哪”，按数据“住”的位置不同，业界主要有三种落地方式： - **算力进硬盘（计算型存储）**：在SSD（固态硬盘）里塞进一颗小处理器或FPGA（可编程芯片，相当于“可以反复改电路的万能积木”）。数据过滤、筛选、聚合这类“体力活”直接在盘里干完，只把结果交给主机。代表产品是三星的SmartSSD（智能固态硬盘）。 - **算力贴内存（近存计算）**：在内存颗粒旁边集成计算单元。代表是SK海力士和三星先后推出的PIM（把计算功能做进内存芯片）技术。 - **算力上网络（在网计算）**：在交换机、DPU（数据处理器，网卡上的“包工头”芯片）上顺手处理正在传输的数据，比如聚合、压缩。 近数据计算是这一整条路线的**统称**——你可以把它理解成“数据地理学”的总纲：核心哲学只有一句话，**让数据少跑腿**。 --- ## 第二节：为什么最近这么火？ 这个概念其实不新——学术界早在上世纪九十年代就提出过类似想法（当时叫“智能磁盘”），但受限于成本，一直躺在论文里。最近几年翻红，背后有四股力量的合力： **第一，AI把“搬运困局”放大到了极点。** 大模型训练要喂数据：爬取的网页、清洗过的语料、标注过的图片，动辄几十TB起步。这些数据要先“洗”一遍（去重、过滤、格式转换）再喂给GPU。业界逐渐形成一个共识：**AI基础设施的瓶颈正在从“算得不够快”转向“喂得不够快”**。GPU直连存储（绕过CPU直接从硬盘读数据，如英伟达的GPUDirect Storage技术）就是“减少搬运”的第一步，而把数据预处理直接做进硬盘，则是更彻底的一步。 **第二，存储巨头集体下场，产品真的来了。** 三星在2021年就宣布量产SmartSSD——这是全球第一款大规模量产的“内置FPGA计算能力”的SSD，与AMD合作打造。三星官方演示中，在这类盘上做数据库的全表扫描（从海量记录里筛出目标行），数据搬运量和处理时延大幅下降。SK海力士则在2021年起先后发布GDDR6-AiM和HBM-PIM（给显存和内存装上计算单元），官方数据显示最高可实现约2倍性能、显著降低功耗。法国公司UPMEM更是直接卖“会计算的内存条”，用于加速数据库和数据分析。 **第三，标准落地，从“演示品”变成“货架品”。** SNIA（全球存储工业协会，存储行业定标准的组织）发布了计算型存储架构标准；NVM Express（NVMe，固态硬盘的主流接口协议）也在2.0规范中正式纳入了“计算型存储”的功能定义——盘里能跑哪些计算、主机怎么“下单”，都有了统一说法。标准化意味着：以前是厂商各玩各的概念，现在是整个行业可以规模化铺货。对采购方来说，这是从“看看就好”到“可以写进标书”的分水岭。 **第四，智算中心的电费账本压不住了。** 各地大规模建设智算中心（专门服务AI训练推理的数据中心），电力容量成了最稀缺的资源。当“省一度电”能直接换算成真金白银，“降低数据搬运功耗”就从技术理想变成了经营刚需。2024年以来，Solidigm、三星等厂商频繁在公开场合把“计算型存储+AI数据管道”打包推介，把它定位为AI工厂的“前置预处理车间”——数据在进GPU之前，先用最省的方式洗好、筛好。 一句话总结这波热度：**概念没变，变的是需求——AI把数据搬运的代价推高到了行业无法忍受的程度，而工艺和标准终于跟上了。** --- ## 第三节：一张图看懂 **图一：传统做法 vs 近数据计算** ```mermaid flowchart TD subgraph OLD[传统做法：数据来回跑] A[SSD 存着TB级数据] -->|整块搬运| B[内存中转站] B -->|继续搬运| C[CPU 逐条筛选] C -->|只留下结果| D[应用程序] end subgraph NEW[近数据计算：算力上门] E[SSD 存着TB级数据] --> F[盘内计算单元
就地筛选聚合] F -->|只送结果| D end ``` **图二：近数据计算的“家族地图”——数据在哪，算就去哪** ```mermaid flowchart TD Q[数据住在哪里？] Q -->|还躺在盘里| P1[计算型存储
代表：SmartSSD] Q -->|挤在内存旁| P2[近存计算
代表：HBM-PIM] Q -->|正在路上跑| P3[在网计算
代表：DPU] P1 --> R[近数据计算家族
共同信条：让数据少跑腿] P2 --> R P3 --> R ``` 看懂这两张图，你就掌握了这个概念的精髓：**图一是省钱省时的原理，图二是它按“数据住址”分出的三个分支。** 值得提醒的是，这三个分支各自都有独立的文章可写——而“近数据计算”是那个把它们串起来的总纲。 --- ## 第四节：和我有什么关系？ **如果你是普通人：** 它是你未来“搜得快、用得便宜”的幕后功臣。手机相册里搜“海边的照片”秒出结果、网盘里翻几年的文件不卡顿、AI助手回答问题不再慢吞吞还收费贵——背后很重要的一环，就是数据不用来回搬运，检索在离数据最近的地方完成。数据搬运省下的成本，最终会体现在你订阅AI服务的价格里。 **如果你是从业者：** 这是存储、数据库、AI基础设施三条赛道交汇出的新工种。数据库工程师熟悉的“下推查询”（把筛选条件下发给存储层执行）、存储工程师熟悉的固件开发、AI工程师头疼的数据管道优化，在近数据计算的世界里会合了。未来两三年，“计算型存储开发”“存内数据分析”会出现在越来越多招聘JD里。现在就可以做的三件事： 1. **转发收藏这篇**，下次有人在会上说“近数据处理”你不再一脸茫然； 2. **去SNIA和NVMe官网下载计算型存储的白皮书**（免费），了解标准术语； 3. **关注三星SmartSSD、SK海力士PIM、UPMEM的动态**，这是观察这条赛道风向最直接的三个窗口。 **如果你是投资者：** 看三条线索——一是存储原厂（三星、SK海力士、美光、闪迪系）在PIM和计算型存储上的量产节奏；二是CXL（一种让内存和计算“跨国混搭”的高速互连标准）生态的成熟度，它是近数据计算的“高速公路”；三是数据库和云厂商的采用意愿——技术再好，没人买就落不了地。这条赛道属于“慢变量”：概念火爆不等于短期爆发，需要盯标准渗透率和实际订单。 --- ## 第五节：一分钟总结 1. 近数据计算 = 数据不动窝，把算力派上门，就地算完只传结果。 2. 它解决的是传统架构的两笔老账：搬运太慢，搬运太费电——AI时代这两笔账被放大到了行业难以忍受。 3. 三种落地姿势：算力进硬盘（计算型存储）、算力贴内存（PIM）、算力上网络（DPU），合起来是一个“让数据少跑腿”的家族。 4. 三星SmartSSD量产、SK海力士PIM发布、NVMe与SNIA标准落地，标志着它从论文走向货架。 5. 记住一个判断标准就够用：**谁让数据搬运的距离更短，谁就更接近未来。** ## 延伸阅读 - **CXL互连**：让内存、加速器、存储可以“跨机柜混搭”的高速总线标准，近数据计算的基础设施。 - **HBM高带宽内存**：把内存堆叠在AI芯片旁边的技术，“贴着算”的先行者。 - **向量数据库**：AI时代存“语义”的仓库，检索下推的另一块试验田。 ## 参考来源 1. [Near-data processing - Wikipedia](https://en.wikipedia.org/wiki/Near-data_processing) — 近数据处理的定义、历史沿革与技术分类 2. [Samsung SmartSSD 官方产品页](https://semiconductor.samsung.com/) — 全球首款量产内置FPGA计算能力SSD的技术说明与演示数据 3. [SNIA Computational Storage](https://www.snia.org/) — 计算型存储架构与接口的行业标准化工作 4. [NVM Express 官网](https://nvmexpress.org/) — NVMe 2.0规范中计算型存储功能的正式定义 5. [SK hynix Newsroom](https://news.skhynix.com/) — GDDR6-AiM与HBM-PIM技术发布及官方性能数据 --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 > 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。