模型层已经卷成红海，价格战打到一百万token一毛四。但真正卡住国内开发者的，其实是底下那层「水管工」的活：柜子里的PDF怎么变成能喂模型的数据？AI码农生成的命令在哪间「安全屋」里跑？一个卡住的推理会话怎么拆成三路并行？队列、定时、HTTP这些后端杂活能不能只接一次线？
这四个问题，海外社区各有对应的开源答案，全部可以免费自托管，GitHub上直接clone就能用。但中文圈到现在连一篇像样的介绍都搜不到。本文信息来自海外HN/GitHub社区的实测讨论，四件工具都在2026年上半年陆续冒头，经过一个夏天迭代，Star数和功能以仓库最新release为准——但方向和数据管道的拼法，现在就能抄。
仓库：github.com/run-llama/liteparse ｜ 协议：Apache 2.0 ｜ 价格：完全免费，本地运行
这是LlamaIndex团队出品的轻量文档解析器，定位很狠：不做云端生意，专做本地快刀。
国内做文档解析的主流方案是百度OCR、腾讯OCR、合合信息，全是云端按页付费。一份几千页的合同库跑下来，账单够买一张显卡。更麻烦的是数据要出门——合同、标书、病历这类材料，很多行业根本不允许上传第三方。
LiteParse的正确用法：
pip install liteparse
liteparse parse 合同.pdf --format json
输出的结构化JSON里，文本和坐标都有，直接就能切成chunk喂RAG。
官方自己说得很清楚：复杂表格、手写体、高质量扫描件，建议还是用他们家的云端产品LlamaParse。LiteParse的甜区是结构良好的电子文档批量处理——而这恰恰是企业里量最大的那部分。
适用人群：要给企业知识库喂私有文档的后端和算法工程师、做RAG项目被OCR账单劝退过的独立开发者。
仓库：github.com/footprintai/Containarium ｜ 语言：Go ｜ 价格：免费自托管（5月底约208星，活跃维护）
现在国内用AI编程工具的主流姿势是：Agent直接在你的真机上执行命令。通义灵码、CodeGeeX基本都这样——AI生成的rm -rf和你的毕业设计住在同一个硬盘里。
Containarium的思路叫「Bring Your Own Agent」：Cursor、Claude Code、OpenCode随你用，它在外面罩一层隔离容器，Agent的一切操作都发生在沙箱里。三个卖点：
git clone https://github.com/footprintai/Containarium.git
cd Containarium && docker-compose up -d
# 然后在Claude Code / Cursor的MCP配置里指向沙箱入口即可
为什么值得关注：海外HN上5月底这波Agent工具潮里，安全类是最扎堆的方向——大家已经默认「Agent会闯祸」是常态而不是意外。国内讨论还停留在「prompt里写清楚点」。另外一件同场加映的Cordium（github.com/octelium/cordium）解决了另一半问题：Agent不用揣着API Key和数据库密码，靠身份认证拿临时凭证，用完即回收。
适用人群：让Agent碰生产数据库、云服务、文件系统的团队；给客户做AI应用的乙方——沙箱是你能讲的第一个安全故事。
仓库：github.com/thaw-ai/thaw ｜ 安装：pip install thaw-vllm ｜ 价格：免费开源
四件里最「极客」的一件，5月底刚发布、只有个位数Star，但思路值得每个做大模型应用的人记住。
Thaw给LLM推理实现了类似Git的fork()：把一个正在运行的会话——权重、KV缓存、调度器状态——整体快照，然后派生出N个并行子会话。子会话不用重新预填充（prefill），直接从快照状态接着推理。
flowchart TD
S["主会话快照<br/>权重 KV缓存 调度状态"] --> F1["分叉一 方案A"]
S --> F2["分叉二 方案B"]
S --> F3["分叉三 方案C"]
F1 --> R["择优合并"]
F2 --> R
F3 --> R
为什么值得关注：预填充通常占推理时间的30%-50%，fork之后这部分直接跳过。两个立竿见影的场景：
国内对比：百度、阿里系Agent框架目前还是传统串行推理模式，没有类似的开源实现。这件工具的正确姿势是先Star、读它的fork实现，等vLLM集成成熟再上生产——它太早期了，直接商用属于给自己埋雷。
适用人群：推理服务开发者、做大模型RL训练的算法团队、想搞懂「推理优化到底在优化什么」的学习者。
仓库：github.com/iii-hq/iii ｜ 协议：引擎ELv2、SDK Apache 2.0 ｜ 价格：自托管免费
每起一个新项目，你都要重新接一遍线：队列用Redis还是RabbitMQ、定时任务上Cron还是云函数、可观测性接哪家、Agent框架选哪个、沙箱要不要另买——每样都单独集成一遍。
iii把这一整面墙的杂活压缩成一个实时系统表面，只有三个原语：
content::classifyiii project init myapp
cd myapp
iii
iii worker add queue
iii worker add agent
iii worker add sandbox
为什么值得关注：它的Agent设计有点东西——当任务需要系统目前没有的能力时，Agent可以动态添加一个Worker、发现其函数、调用并追踪全过程，走的是和人类开发者完全相同的接口。相当于Agent不是被「接」进系统的插件，而是系统的一等公民。
国内对比：国内独立开发者的常见拼法是n8n/云函数/Redis自己攒一套，攒完还得养。iii相当于把这套「标准三件套」预制成一个引擎。协议注意：引擎本体是ELv2（限制的是把它做成 competing service 卖），业务代码用Apache 2.0的SDK写，自用和做产品都不挡路。
适用人群：被「每次新项目都搬一遍后端砖」折磨的独立开发者、需要给Agent一个正经运行时的小团队。
单看是四个零件，拼起来就是一条不出内网的AI应用流水线：
flowchart TD
A["用户或上游业务"] --> B["iii 引擎<br/>队列 定时 任务编排"]
B --> C["LiteParse<br/>本地文档解析"]
B --> D["Containarium<br/>Agent 沙箱执行"]
D --> E["Thaw<br/>会话快照 并行推理"]
E --> F["模型 API 或本地权重"]
C --> G["结构化数据入库"]
B --> H["执行结果与审计日志"]
文档在本地变成结构化数据，任务由iii统一调度，Agent的所有动作关在Containarium里，推理侧用Thaw做并行探索——全程没有一个环节需要把私有数据交给第三方SaaS。
| 维度 | 你可能知道的 | 你应该知道的 |
|---|---|---|
| 文档解析 | 百度/腾讯OCR按页付费，数据要出门 | LiteParse本地Rust解析，免费、带坐标、内置OCR |
| Agent安全 | 在prompt里求AI别乱来 | Containarium容器围栏＋Cordium免密凭证，结构性兜底 |
| 推理成本 | 多方案就要多跑几遍完整会话 | Thaw的fork跳过30%-50%预填充开销 |
| 后端搭建 | 队列、Cron、Agent框架挨个集成 | iii用Worker/Trigger/Function三原语一次接完 |
pip install liteparse，拿10份你手头最烦的PDF跑一遍，和现有方案对比速度与还原度iii project init起一个demo，用cron触发一个队列任务，感受三原语够不够覆盖你的需求本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。