首页 › use-cases › 不堆上下文不买卡:3个可抄AI实战案例

今天拆的这三个案例,都来自2026年8月30日的Hacker News首页(数据为我实时抓取)。它们有个共同的底层逻辑:当别人在堆显卡、堆上下文窗口、堆订阅费的时候,这批海外独立开发者用“约束设计”把AI的效果和成本同时打穿了。一个是把Agent记忆成本砍掉38倍的Datalog引擎,一个是跑在512MB内存路由器上的AI“房客”,还有一个是218分热帖唱的反调。每个案例我都给出了完整的架构、真实数字和今晚就能抄的操作步骤。

案例一:Lemmalog — 用40年前的数据库技术,把Agent记忆上下文砍掉38倍

基本盘:8月29日登上HN首页,271分、71条评论。作者是一位做漏洞挖掘(vulnerability research)的安全研究员,博客在 pwning.systems。起因很朴素:让LLM陪他跑几小时的漏洞分析,模型总会“忘记”哪些假设已经被推翻,两小时后又把死掉的思路翻出来推荐一遍。

他做了什么:绝大多数Agent记忆方案(包括国内各种RAG记忆插件)的套路是——把聊天记录切块、embedding、存向量库、检索拼接。作者的洞察是:这不是记忆问题,这是程序分析问题。向量库只能回答“过去哪些话相关”,回答不了“基于目前所有信息,现在什么为真”。于是他写了一个Datalog引擎:LLM只负责把模糊的自然语言(调试器输出、代码、笔记)提取成结构化事实,之后的事实推导、依赖追踪、结论失效全部交给确定性引擎。前提一变,依赖它的结论自动作废——不用再祈祷模型“自己想明白”。

flowchart LR
    A[调试输出 / 代码 / 对话记录] --> B[LLM提取器<br>Claude Sonnet 4.6]
    B --> C[结构化事实 facts]
    C --> D[(Lemmalog<br>Datalog引擎)]
    D --> E[推导事实 + 依赖溯源]
    F[新观察 / 撤回旧结论] --> D
    G[用户提问] --> H[混合检索<br>BM25 + 实体图 + 向量]
    E --> H
    H --> I[小上下文 约2700 tokens]
    I --> J[Reader模型给出回答]

结果数据(作者自测、跑了三轮取均值,他自己也强调第三方尚未复现):

基准 Lemmalog 最强对手 全量上下文
LongMemEval F1(102题) 0.463±0.010 PropMem 0.550 0.222
知识更新类目 0.579(第一) PropMem 0.528 0.202
LoCoMo对抗题(假前提) 0.707 PropMem 0.794 0.509
每题上下文 约2,700 tokens — 约104,000 tokens

注意两个数字:在“我们以前认为A,后来发现A不成立,现在该信什么”这个知识更新类目上,Lemmalog拿了全场第一,全量上下文只有0.202——这正好是他当初要解决的那个问题。代价也明说了:LoCoMo多轮会话类目只有0.211(PropMem是0.582),推理类0.164全面落后,所以他的结论是“演绎状态+情景记忆”双库并行,而不是Datalog包打天下。

成本账:提取用Claude Sonnet 4.6、分块加文件缓存,每段对话只付一次;读取侧每题从10.4万token降到2,700,约38倍差距。作者很诚实地说“宣称整体便宜38倍是耍赖”,因为要加上一次性提取成本——但对常驻Agent来说差距随轮次滚雪球:500轮对话时,全量方案每次查询要塞100万token,Lemmalog依然是约2,500。他还提供了MCP server,可以直接挂到Claude Code这类Agent上用。

最值得抄的三个翻车修复(都在博客里写了全过程): 1. 日期当符号比较:把日期存成Datalog内部符号,<比的是符号ID不是时间。归一化成整数时间戳后,时间推理F1暴涨近20分。 2. 提示词教出拒答:为了防幻觉加了一句“回答必须有事实支撑”,结果102题里32道需要数数、比大小的题全被拒答,F1从0.463跌到0.371。修复方法:在提示词里明确区分“前提缺失→拒答”和“有证据但需要计算合并→必须推理”。 3. 实体对齐:“我买了辆思域”“我车抛锚了”“思域修好了”被提取成三个不相关对象,引擎再精确也算错题。加一轮指代消解后才回到正常水平。

案例二:the-finn — 住在路由器里的AI房客,每月个位数美元

基本盘:GitHub仓库 YuriKovalov22/the-finn,作者Yuri Kovalov(PFLB公司工程师),目前只有9颗星、8月30日刚上HN。名字致敬《神经漫游者》里住在铁盒子里的黑客意识体。硬件是一台GL.iNet GL-MT3000路由器(OpenWrt、512MB内存),全部逻辑就是一个Lua脚本加cron,每分钟跳一次。

它干什么:不是助手,是“房客”——只知道自己走廊里发生的事,并用暴躁老水手的口吻在Telegram上点评。深夜连续6次SSH登录失败,它会骂街;你的电脑下载速度异常飙到9.5Mbps,它会吐槽。服务器全挂了它还活着,因为路由器本身就是离服务器最远的观察点。

flowchart TD
    A[cron 每分钟触发] --> B[本地读传感器<br>WiFi关联表 / 连接追踪 / 系统日志]
    B --> C[滚动历史存内存tmpfs]
    C --> D{发现偏离45分钟基线的异常?}
    D -->|否| Z[沉默 不调API 不写日志]
    D -->|是| E{多样性配额检查<br>类型/主题/句式 三轴轮换}
    E -->|额度用尽| Z
    E -->|有额度| F[调用LLM<br>每天40次硬上限]
    F --> G[Telegram推送给唯一用户]
    G --> H[该主题静默90分钟]

为什么值得抄:README本身就是一份Agent设计教材,有四套模式国内几乎没人系统讲过:

  1. 无规则异常检测:没有“CPU超80%告警”这种死规则。每分钟全量读数,存45分钟滚动基线,任何指标掉出自己最近的波动带、或集合成员变化(新设备出现/消失)都算异常。今天反常的才值得说,所以它永远不会变成重复五条的老通知。
  2. 表达配给制:流量类指标最容易抖,不限制的话它六句话有五句在报计数器——所以流量被定量配给“6小时只能说一次”,然后按“类型→主题→句式”三条轴选等待最久的组合。这是在用调度算法治LLM的啰嗦。
  3. 预算硬顶:每天40次模型调用(含回答"NOTHING"的调用),每日额度随时间逐渐解锁而不是早上一次性放完。README给出的官方预估:默认设置每月个位数美元。专用API key设低月度限额,就算泄露也无所谓。
  4. 五条提示词军规(作者说他每条都是犯错换来的,抄任何“有性格的Agent”前都该看):先说白话事实再上比喻、每个比喻必须可证伪、禁止角色吐槽自己的管道(“我没有收到该数值”对一个钉在墙上的东西是致命的)、明令禁止传感器Agent天然会撒的两类谎(把实测流量说成带宽瓶颈、编造路由器不可能知道的外部知识)、风格规则要用它管辖的语言来写——英文规则管不住俄语输出。

十分钟部署路径(README原话流程):SSH确认路由器有lua、lua-cjson、带TLS的curl → Telegram找@BotFather建机器人拿token → @userinfobot查自己的ID(只应答这一个ID)→ 配好低限额API key → git clone 后跑 ./install.sh [email protected] → 在Telegram里按Start。前15分钟静默学习基线,之后有异常才开口。还带/wake /sleep远程唤醒和睡眠局域网里的电脑。

踩坑清单也全给了:硬件NAT卸载会让conntrack计数器停走,导致“单设备流量超过整个上行”的鬼数据——所以每个tick先做分部与总和对账,算不平就宁可不发;睡眠的Mac整夜保持WiFi关联,所以“在场检测”不能看关联要看连接新建频率(有人用的机器每分钟3-50个新连接,睡眠机器是0);Lua 5.1按字节切字符串会切碎西里尔字母导致API整体拒收。作者甚至明确拒绝了一个方向:把设备名对应到人名去识别陌生人,等于隐蔽考勤——这个口子他不开。

案例三(反向案例):218分热帖说“最大生产力黑客是好文化,不是AI”

同一个首页上,eng-leadership.com的一篇《Good Culture Is the Biggest Productivity Hack, Not AI》拿下218分、47条评论(数据来自我抓取的当日上午首页,文章细节我没有展开核实,这里只谈标题传递的信号)。把它放在两个“极限压榨AI”案例之后看很有意思:海外工程圈正在从“万物皆可AI”回摆——工具密度上去之后,瓶颈重新回到人的协作方式上。给中国从业者的启示很直接:别再用“上了多少个AI工具”度量自己,先用the-finn式的思路问一句——这个环节的“正常基线”是什么,反常在哪里,值不值得叫醒我。

信息差总结

你以为的 海外已经跑通的
Agent记忆=向量库存聊天记录 Datalog维护“当前为真”状态,前提撤销结论自动失效
长任务=更大上下文窗口、更贵订阅 提取一次+按需检索,读取侧token砍38倍
跑Agent需要服务器和GPU 512MB路由器+每分钟cron+每天40次调用就够
监控=写一堆告警规则 无规则异常检测+三轴表达配给,永不重复唠叨
提效=上更多AI 218分热帖反调:先修文化,再谈工具

行动指南

  1. 今晚30分钟:clone the-finn 仓库,直接读 finn.lua 里的STYLE提示词,把五条军规搬进你自己的Agent system prompt——这是全文性价比最高的动作。
  2. 本周末:把你的长会话工作流改成“两段式”:LLM负责把每轮输出压成事实清单,另一个提示词负责推理。先在纸上写出你的领域规则(哪怕三条),体验一下“撤回”和“追问为什么”。
  3. 有OpenWrt路由器的:按上面十分钟路径装一个the-finn,API key记得单独开、限额5美元以内。
  4. 检查你现有的提示词:搜一遍有没有“回答必须被材料支撑”这类句子——它可能正在让你的模型拒绝做数数和汇总题,参考Lemmalog的修法改写成双分支。
  5. 订阅 pwning.systems:这位作者承诺下一步是让Agent带着这套状态跑真实的长时间漏洞分析,值得蹲后续。

参考来源

  1. I accidentally turned LLM memory into program analysis(Lemmalog作者博客,含全部基准数据):https://pwning.systems/posts/llm-memory-program-analysis/
  2. the-finn 仓库(含完整README设计与踩坑记录):https://github.com/YuriKovalov22/the-finn
  3. Hacker News首页(2026-08-30实时抓取,271分/218分/10分等热度数据来源):https://news.ycombinator.com/
  4. Good Culture Is the Biggest Productivity Hack, Not AI:eng-leadership.com(经HN首页索引,正文未展开核实)

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入