XCrawler - 轻量级、易维护的PHP爬虫框架
特性
- 极易上手,具备完善的文档和示例
- 支持多并发爬取
- 支持失败重试、代理、断点续爬
- 完善的爬取进度日志
- 支持基于xpath、css选择器解析内容
- 支持模拟浏览器行为,如user-agent、cookie、提交表单
- 健壮的底层库,HTTP客户端基于guzzle,dom解析基于symfony/dom-crawler库
安装
composer require xcrawler/xcrawler
文档地址
查看文档: https://xcrawler.yanshuju.com/docs/
交流
XCrawler交流群: 790478771
开源协议 (License)
XCrawler是基于MIT开源协议发布的。