概述

什么是 XCrawler?

XCrawler 是一个快速、简洁且强大的PHP爬虫框架。帮助你写出快速、易维护的爬虫。

特性

  • 高性能,支持多线并发爬取
  • 支持 XPath、CSS选择器解析
  • 轻量级,没有复杂的概念,极易上手
  • 支持模拟浏览器行为,form表单提交、cookie等
  • 支持断点续爬、失败重试,并有完善的爬取日志
  • 基于健壮的底层库。http客户端基于Guzzle,dom解析器基于symfony/dom-crawler

安装

安装前提

安装XCrawler非常简单。但在安装前,你必须检查电脑中是否安装以下软件:

安装 XCrawler

在终端执行(Windows用户可以使用Git Bash终端)

composer require xcrawler/xcrawler

配置

创建配置文件

cp vendor/xcrawler/xcrawler/src/config.php xcrawler-config.php

如上所示,XCrawler的配置文件位置是在项目根目录的xcrawler-config.php

你可以根据自己的需要修改配置文件:

<?php

// 默认配置
return [
    // 日志配置
    'log' => [
        // 日志文件路径
        'path' => 'log/xcrawler-'.date('Y-m-d').'.log',
    ],

    // redis配置
    'redis' => [
        'prefix' => 'xcrawler:',
        'host' => '127.0.0.1',
        'password' => null,
        'port' => 6379,
        'database' => 0,
    ],
];

下一步

到目前为止xcrawler就安装成功了。

接下来你可以查看: 第一个示例

案例

交流群

XCrawler交流群: 790478771

Github地址

https://github.com/yan68/xcrawler