安装scrapyd

1. 安装 Scrapyd

首先，确保系统中已经安装了 Python 3 和 pip。然后使用 pip 安装 Scrapyd。

1.1 更新包管理器并安装 pip：

sudo apt update
sudo apt install python3-pip

1.2 使用 pip 安装 Scrapyd：

pip3 install scrapyd

2. 查找 Scrapyd 安装位置

安装完成后，可以使用以下命令查找 Scrapyd 的可执行文件位置：

which scrapyd

通常情况下，它会输出如下路径：

/home/orangepi/.local/bin/scrapyd

Scrapyd 的配置文件可能位于 /etc/scrapyd/scrapyd.conf 或用户本地目录中。可以通过以下命令查找配置文件的位置：

find / -name scrapyd.conf 2>/dev/null

常见的配置文件路径包括：

• /etc/scrapyd/scrapyd.conf
• /home/your_user/.local/lib/python3.x/site-packages/scrapyd/default_scrapyd.conf

3. 修改 Scrapyd 配置文件

找到配置文件后，可以根据需求进行修改。假设配置文件路径为 /home/orangepi/.local/lib/python3.10/site-packages/scrapyd/default_scrapyd.conf，可以使用 nano 或 vim 进行编辑：

sudo nano /home/orangepi/.local/lib/python3.10/site-packages/scrapyd/default_scrapyd.conf

以下是配置文件的部分示例内容，可以根据需要修改：

[scrapyd]
eggs_dir    = /data/server/eggs
logs_dir    = /data/log/logs
dbs_dir     = dbs
http_port   = 6800
bind_address = 0.0.0.0
username    = sujx
password    = 123456

[twistd]
pidfile = /tmp/scrapyd.pid

4. 将 Scrapyd 添加为 systemd 服务

为了让 Scrapyd 以系统服务的形式运行，并在系统启动时自动启动，需要为 Scrapyd 创建一个 systemd 服务文件。

4.1 创建 scrapyd.service 文件

使用以下命令创建并编辑 scrapyd.service 文件：

sudo nano /etc/systemd/system/scrapyd.service

4.2 添加以下内容到 scrapyd.service 文件中：

[Unit]
Description=Scrapyd Service
After=network.target

[Service]
User=orangepi
Group=orangepi
ExecStart=/home/orangepi/.local/bin/scrapyd --pidfile=/tmp/scrapyd.pid
WorkingDirectory=/data/server
Restart=always
Environment=PATH=/usr/bin:/home/orangepi/.local/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin

[Install]
WantedBy=multi-user.target

说明：

• ExecStart：指定 Scrapyd 的启动命令和 pidfile 位置。
• WorkingDirectory：设置工作目录为 /data/server，如果有需要也可以更改。
• Restart=always：服务崩溃时自动重启。

4.3 重新加载 systemd 并启用 Scrapyd

在创建服务文件后，重新加载 systemd 配置，使新服务文件生效：

sudo systemctl daemon-reload

4.4 启动并启用 Scrapyd 服务

使用以下命令启动 Scrapyd 并设置为开机自启动：

sudo systemctl start scrapyd
sudo systemctl enable scrapyd

4.5 检查 Scrapyd 服务状态

可以通过以下命令查看 Scrapyd 的服务状态：

sudo systemctl status scrapyd

这将显示 Scrapyd 服务是否正在运行。如果启动成功，输出将类似以下内容：

● scrapyd.service - Scrapyd Service
     Loaded: loaded (/etc/systemd/system/scrapyd.service; enabled; vendor preset: enabled)
     Active: active (running) since [时间]

5. 日志和调试

如果 Scrapyd 运行时出现问题，可以通过以下命令查看服务的日志输出：

sudo journalctl -xe -u scrapyd

还可以查看 logs_dir（例如 /data/log/logs/）中的日志文件以诊断问题。

总结

1. 安装 Scrapyd：使用 pip3 安装 Scrapyd。
2. 查找 Scrapyd 安装位置：使用 which 和 find 命令查找可执行文件和配置文件。
3. 修改配置文件：根据需求编辑 Scrapyd 配置文件。
4. 添加为系统服务：创建 systemd 服务文件，并使用 systemctl 管理服务。
5. 启动和调试：启动服务并检查其状态，通过日志排查问题。