Crawl4AI AI 网页爬虫
抓取网页并转成干净的 Markdown 文本、供 AI 使用的开源爬虫
评分人数不足呦探分评分人数不足大众分评分方法
这个页面由 AI 根据官网公开信息整理，可能有错。产品团队可以认领后修改。 认领这个产品
这个项目只有源代码，需要会编程才能用。
- 星标
- 8.7万
- 复刻
- 9027
- 主要语言
- Python
- 许可证
- Apache-2.0
- 最近更新
复制安装指令（给 AI 编程工具）
粘贴到 Codex、Claude Code、Cursor、Trae 等 AI 编程工具里，回车就会开始安装。第一次复制前请先阅读风险提示。
这些文件由项目作者放在 GitHub 上，本站不开发、不托管这些软件，也不检测其代码；国内访问 GitHub 可能较慢。使用前请阅读 第三方软件风险提示和项目的许可证。 数据更新于 2026/11/01 报告问题
介绍
Crawl4AI 是一个开源的网页爬虫和抓取库，把网站内容转换成干净的 Markdown，供 RAG、AI 智能体和数据管道使用。它通过 Playwright 驱动真实浏览器，能处理依赖 JavaScript 的页面。
它面向搭建大模型、RAG 或智能体系统的开发者，可作为 Python 库、命令行工具或带 HTTP 接口的 Docker 服务使用。作者另运营付费云服务，但开源库可以独立运行。
能做什么
- 输出经过过滤、链接带编号引用的 Markdown，可直接交给模型
- 用 CSS/XPath 规则或借助大模型把页面提取成结构化 JSON
- 支持持久会话、Cookie、代理，以及广度优先、深度优先等深度抓取策略
运行需要：Python 与 Playwright 浏览器，或 Docker；仅大模型提取需要 API Key，也可用 Ollama 本地模型
这段介绍由 AI 根据项目的公开说明整理，可能有疏漏，以项目主页为准。
评测
0 条评测还没有评测。用过的话，来写第一条吧。
写评测