首页 › new-tools › 对话框外的AI:三个会听会看的冷门新工具

如果你对 AI 的使用还停留在"打开对话框、打字、等回复",那你正在错过本周 Hacker News 上一个明显的新趋势:AI 正在从"对话框"里爬出来,钻进你的麦克风、会议通话和屏幕。这些工具不等你输入——它们在你日常"输入"的源头就把活干了:你嘴说系统设计,图自动生成;你开会,它在本地实时转写还让你中途打标记;你截屏,它给每一张图跑视觉理解,攒成可对话的记忆。本周(2026年6月12–19日)HN 上至少三个被埋没的新物种都指向同一件事,而且 90% 国内技术人还完全不知道。

一个共同信号:AI 不再等"你打字"

过去两年我们习惯了"主动召唤 AI"——写好 prompt 才有产出。但本周这批新工具的逻辑变了:它们被动接管输入流。语音流、音频流、屏幕画面流,原本这些数据要么浪费、要么要你事后手动整理,现在 AI 直接在源头拦截、理解、结构化。对中国技术从业者来说,这是两层信息差:一是这些具体工具国内还没人报道;二是这个"输入侧 AI"的产品范式,目前国内大厂基本是空白——飞书妙记、通义听悟都在做,但都强绑云端、强绑自家生态,没有这种"本地优先、可被 agent 调用、开放集成"的姿态。

下面这三个工具,我把官网、功能、价格、为什么值得关注、国内对比一次性讲透。


工具一:VoiceDraw —— 嘴说系统设计,架构图自动画出来

官方原话是:"Draw flowcharts, mind maps, and architecture diagrams just by speaking. VoiceDraw uses AI to turn your voice into beautiful diagrams instantly — no design skills needed."(只要开口说,就能画流程图、思维导图和架构图,AI 瞬间把你的语音变成漂亮图表,不需要任何设计技巧。)

值得拆的技术细节:我从它的前端资源里发现一个关键文件 excalidraw-*.js——也就是说,VoiceDraw 底层画布直接用的是 Excalidraw(那个开源的手绘风白板工具)。它的链路是:语音输入 → AI 把口语描述结构化成图元素 → 渲染到 Excalidraw 画布。这意味着生成出来的图不是死的图片,而是可编辑、可导出的 Excalidraw 文件,能继续手改。

价格:官网首页未明码标价(属 freemium 模式,具体档位以 voicedraw.com 为准)。

为什么中国用户该关注:国内画图几乎全靠手——ProcessOn、draw.io、亿图,连 Excalidraw 都要你自己拖拽。"语音驱动生成架构图"这个品类国内基本空白。它的真实场景很强:

场景 传统做法 用 VoiceDraw
写技术博客要配架构图 边写边停下来手画 20 分钟 对着麦克风口述,30 秒出图
系统设计面试练习 在白板上干讲,没人帮整理 边说边出图,复盘时直接看
给团队讲解方案 画完截图发群 说一段,生成可编辑 Excalidraw 链接

适用人群:架构师、技术博主、准备系统设计面试(System Design Interview)的人、产品经理。


工具二:Trace —— 会议录音不离 Mac,还能边开边打标记

它把几件国内工具做不到的事揉在了一起,而且全部在设备本地完成:

  1. 音频不离开你的 Mac:同时捕获麦克风 + 系统音频,本地转录,输出一份带内联标记的 Markdown。官方原话:"No accounts. No cloud. No meeting bots."(不要账号、不上云、不塞会议机器人。)
  2. 开会中途打标记:这是最妙的点。会议进行中按 ⌘K,输入一句短笔记回车,这个时刻就被钉在转录稿的精确时间戳上。你不用切应用、不用打断会议。官方说:"You stay in the meeting, and any AI reading the transcript later sees exactly what mattered."(你继续开会,之后任何读这段转录的 AI 都能精确看到什么才是关键。)
  3. 一键摘要用 Apple Intelligence 本地跑:会议结束按一下,转成"概览 + 决策 + 待办"摘要,且你开会时打的星标时刻会被自动折叠进去。
  4. tracecli 命令行接口:它还提供了一个 CLI,能读磁盘上的历史转录、驱动 live app(开始/停止/摘要)。官方原话:"It is built to be scripted, so the terminal and your AI agents can reach Trace the same way the menu bar does."(它天生可被脚本化,所以终端和你的 AI agent 能像菜单栏一样调用 Trace。)

这一点对 AI agent 生态很重要:意味着你可以让 Claude/Cursor 这样的 agent 通过 CLI 直接读你的会议记录、自动生成跟进任务。

价格:Mac App Store 上架,买断制,需 macOS 14+ 及 Apple Silicon(Apple Intelligence 机型)。具体价格以 App Store 为准。

国内对比与信息差:通义听悟、飞书妙记、腾讯会议纪要——全部上云、全部强绑自家生态。Trace 的三个差异点国内全缺:①本地不上云(合规/隐私刚需)②会议进行中实时打标记(不是事后总结)③提供 CLI 给 AI agent 调用(可编排)。对于涉密会议、客户访谈、重视数据主权的技术团队,这个组合目前国内没有替代品。

适用人群:远程会议密集的开发者/PM、金融/医疗/法律等有合规要求的团队、用 Mac 的技术管理者。


工具三:ScreenMind —— 给每张截图跑视觉模型,攒成可对话的"第二大脑"

它自己一句话定位非常精准:"Microsoft showed the world wants screen-aware AI with Recall. But Recall stores data in plaintext, sends telemetry, and was met with massive privacy backlash. ScreenMind is the open-source, privacy-first alternative."(微软用 Recall 证明了大家想要"看得懂屏幕的 AI",但 Recall 明文存储、发遥测、引发巨大隐私争议。ScreenMind 就是它的开源隐私优先替代品。)

核心能力(来自官方 README): - 智能捕获:不是死定时器,而是检测屏幕"内容是否真的变了"才截图; - Gemma 4 视觉分析:识别 app、活动分类、情绪、场景描述、空间布局分区; - 混合搜索:语义 embedding(MiniLM)+ 关键词(FTS5),能按"意思"找到东西; - 与记忆对话:对话式 RAG,问"Ishaa 在 Discord 说了什么?"能捞到真实那条消息; - Agent 平台 + MCP:能用 Markdown/Python 写自动化 agent,还能通过 MCP Server 把屏幕历史暴露给 Claude Desktop、Cursor、VS Code; - 集成:自动同步每日摘要到 Obsidian、推送到 Notion、webhook 发 Slack/Discord。

性能与门槛(对国内开发者最关键的数字):官方在 GTX 1650 4GB 显存这种"最差情况"上做了基准——模型会溢出到内存,但照样能跑:

分析模式 耗时 说明
Accurate(精准) ~76 秒 带 thinking,布局检测最好
Balanced(均衡) ~40 秒 带 thinking,只分析
Fast(快速) ~12 秒 无 thinking,用 OCR 聚类做布局

4GB 显存能跑这个门槛意味着——任何一块还算新的 N 卡都能玩,不用 H100,不用租云 GPU。隐私上它还自动 redact 信用卡/SSN/API key/密码,截图 AES 加密,有隐身模式一键暂停。

价格:MIT 协议,完全开源免费。

国内对比与信息差:国内做"屏幕理解/记忆"的几乎是空白。这个工具的信息差在于:它是微软 Recall 被骂翻之后,社区给出的开源答案,而且把"视觉理解 + RAG + MCP + Obsidian/Notion"打通了。对信息过载严重的开发者(每天看几十个页面、聊几十条消息、写一堆代码),这是把"我看过但记不住"变成"问一句就能捞回来"。

适用人群:信息过载的开发者、构建"第二大脑"的人、有 N 卡且想玩本地多模态的技术极客。


三个工具的工作流:AI 接管你的"输入源"

flowchart LR
    subgraph SRC[你日常的输入]
        A1[🎤 说话<br/>口述系统设计]
        A2[📞 会议音频<br/>Zoom/Teams/Meet]
        A3[🖥️ 屏幕画面<br/>每一张截图]
    end
    subgraph TOOLS[本周三个新工具 · 本地优先]
        T1[VoiceDraw<br/>语音 → 架构图]
        T2[Trace<br/>实时转录 + 中途标记]
        T3[ScreenMind<br/>视觉理解 → AI 记忆]
    end
    subgraph OUT[你得到的产物]
        P1[📐 Excalidraw 图表<br/>可编辑/导出]
        P2[📝 带标记的摘要<br/>可喂给 Claude]
        P3[🔍 可对话的记忆<br/>RAG + MCP]
    end
    A1 --> T1 --> P1
    A2 --> T2 --> P2
    A3 --> T3 --> P3

这张图就是本周的信息差内核:AI 不再停在对话框等你召唤,而是顺着麦克风、会议、屏幕这三条"输入流"主动接管。三款工具共享同一种产品哲学——本地优先、不上云、可被 agent 编排。


信息差总结:你知道的 vs 别人不知道的

维度 国内大多数人的认知 本周你应该知道的
画架构图 手动画(ProcessOn/draw.io) VoiceDraw 用嘴说就能生成可编辑 Excalidraw
会议纪要 通义听悟/飞书妙记(上云、绑生态) Trace 全本地 + 会议中实时标记 + CLI 给 agent 调用
屏幕记忆 几乎没有,或担心微软 Recall 隐私 ScreenMind 开源本地版,Gemma 4,4GB 显存能跑
产品范式 AI 等你打字 prompt AI 主动接管输入流(语音/音频/视觉)
部署姿态 强绑云端、强绑大厂账号 本地优先、可编排、开放集成

行动指南:今天就值得试的三步

  1. 如果你常画技术图:打开 voicedraw.com,试着口述一段你最熟的架构(比如登录鉴权流程),看它生成 Excalidraw 图的速度。把它加进你的技术写作工作流。
  2. 如果你会议多且用 Mac:去 Mac App Store 搜 Trace,下次开会用 ⌘K 在关键决策点打标记。重点是开会时就打标记,而不是会后回忆——这是它区别于所有国内工具的用法。
  3. 如果你想玩本地多模态 + 有 N 卡:git clone ScreenMind,先开 Fast 模式(~12 秒/张)跑通,再把它配进你的 Claude Desktop MCP——然后试着问它"我昨天下午看的那个论文标题是啥",体验"屏幕第二大脑"。

优先级建议:先 Trace(门槛最低、即装即用、ROI 最直接)→ 再 ScreenMind(信息差最大、最好玩)→ 最后 VoiceDraw(场景最窄但写博客/备课极省时间)。


参考来源


本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入