AI获取暗网情报
Robin:把暗网搜索交给 AI 去翻
暗网 OSINT 调查向来是件磨人的事:开 Tor、进洋葱搜索引擎、一条条翻结果、把噪声和真正有用的线索分开,最后还得自己拼成一份能看的报告。整个过程手工作业多、重复性强,搜一轮常常要等上好几分钟,大部分时间花在”翻”而不是”分析”上。
Robin 想把这部分自动化。它是一个开源的 AI 驱动暗网 OSINT 工具,用 LLM 帮你精炼搜索词、过滤搜索引擎返回的结果、再根据抓到的页面生成一份调查摘要。你给出调查目标,它负责在 Tor 网络里跑搜索和抓取,把整理好的内容交回给你。
- 项目地址:https://github.com/apurvsinghgautam/robin
- Docker 镜像:apurvsg/robin
- 许可证:MIT
它实际在做什么
Robin 本身不生产情报,它做的是把”搜索、抓取、筛选、总结”这条链路串起来,让 LLM 在中间接手:
1 | 你的调查问题 |
跟直接把一堆暗网链接丢给聊天模型不同,Robin 的搜索和抓取都走 Tor,抓回来的文本会先做处理——剥离控制字符、零宽字符、双向控制符这些可能干扰模型判断的内容,再交给模型。模型拿到的是”证据”,不是可能夹带指令的原始页面。
能做什么
| 能力 | 说明 |
|---|---|
| 多模型接入 | OpenAI、Claude、Gemini、Mistral、OpenRouter、Ollama,以及任何 OpenAI 兼容接口(LM Studio、llama.cpp、Groq 等) |
| Web 界面 | Streamlit 写的交互式面板,适合边搜边看 |
| MCP 支持 | 可以作为 MCP server 接进 Claude Code、Codex、Claude Desktop、Hermes 等 Agent,用 Agent 自己的模型驱动 |
| 对话式追问 | 基于本次调查已抓到的数据继续提问,不用重新搜索 |
| 一键 Pivot | 从已有发现里自动给出后续查询方向,点一下就能开新调查 |
| Docker 部署 | 官方推荐 Docker,隔离、干净,一条命令启动 |
安装与上手
前置条件只有一个硬性的:装好 Tor 并让它跑在后台。macOS 用 brew install tor,Linux 用 apt install tor。
然后准备一个 API key 放进 .env。OPENAI_API_KEY、ANTHROPIC_API_KEY、GOOGLE_API_KEY、MISTRAL_API_KEY、OPENROUTER_API_KEY 里有任意一个就行,Robin 会按你配好的 key 列出对应模型。
Docker 启动:
1 | docker pull apurvsg/robin:latest |
浏览器打开 http://localhost:8501 就能用。
想接进现有 Agent,走 MCP,比如 Claude Code:
1 | claude mcp add robin -- docker run -i --rm -v robin-investigations:/app/investigations apurvsg/robin mcp |
注意:Tor 搜索通常要几分钟,接 Agent 时记得把 MCP 超时调大,官方示例给到 600 秒。
用 Ollama 这类本地模型时,容器里访问不到宿主机的 127.0.0.1:11434,需要让 Ollama 监听 0.0.0.0,再用 --add-host=host.docker.internal:host-gateway 挂过去,README 里有具体步骤。
适合哪些人
- 威胁情报和安全研究团队:需要持续关注暗网里的泄露、数据兜售、攻击工具动态,又不想把人力耗在手工翻页上。
- 红队 / 渗透测试人员:做授权范围内的情报收集,快速摸清目标相关的公开暗网信息。
- OSINT 爱好者:对开源情报方法论感兴趣,想用 AI 提高效率。
- 已经在用 AI Agent 的人:工作流里本来就有 Claude Code、Codex 这类工具,MCP 接进去很顺手。
不太适合这些情况:
- 没有合法授权、想找违法渠道或服务的人。项目声明明确只用于教育和合法调查。
- 不愿意搭 Tor 环境、不想申请 API key 的人。前置条件不算多,但也不是零门槛。
- 想把它当”暗网万能搜索引擎”的人。Robin 的质量取决于底层搜索引擎能返回什么,以及模型过滤得怎么样,不是所有内容都能搜到。
优点
模型选择灵活。 不绑死某一家,云端 API 和本地 Ollama 都能接,成本可控。
和现有 Agent 打通。 MCP 支持是它最实用的点之一。搜一轮暗网、抓页面、出摘要,这套动作可以直接在你的 Claude Code 或 Codex 会话里完成,不用切换工具。
安全设计想得比较细。 搜索和抓取走 Tor,抓回来的文本先消毒再交给模型;工具本身不执行 shell,唯一写盘的是调查报告。对要处理不可信内容的场景,这几条能挡掉不少坑。
追问不重跑。 一次调查抓到的数据可以反复追问,省掉重复搜索的等待和成本。
开源、MIT 协议。 代码公开,可以自己审计、自己改、自己部署。
缺点与限制
环境和成本有门槛。 要装 Tor、要 API key。用云端模型,抓取和摘要都会消耗 token;本地模型能省钱,但摘要质量可能打折扣。
慢。 走 Tor 的搜索一轮动辄几分钟,急着要结果时会很磨人。
结果依赖模型和底层搜索引擎。 LLM 过滤会漏,也会误判;暗网搜索引擎本身覆盖不全。Robin 给的是”整理过的线索”,不是”完整的事实”。
法律和合规风险要自己担。 某些地区访问暗网内容本身就可能违法。工具能做搜索,不代表你有权访问和使用搜到的内容。
敏感查询会发给模型服务商。 模型调用不走 Tor,是直连。查敏感目标前,先看清楚所用模型服务商的数据处理政策。
用之前想清楚三件事
- 授权先行。 只做有合法依据的调查,别碰和违法犯罪沾边的目标。
- 数据边界。 你的查询词和抓到的内容会交给模型服务商,敏感任务优先考虑本地模型或自部署。
- 结果要复核。 AI 给的摘要只是起点,关键结论回到原始页面和证据上再确认一遍。
Robin 的看点不是”AI 能不能查暗网”,而是它把暗网 OSINT 里最枯燥的翻页、筛选和整理,变成了一套可以交给 LLM、也能接进 Agent 的流程。
如果你是做威胁情报或授权渗透的,又有现成的 API key,值得花十几分钟跑一次试试。它不会让暗网调查变成点一下就有答案,但能把”搜、翻、筛、写”这条链路缩短不少。
