基础爬虫服务配置和安装

1. 首先建立独立的安装包目录：makir 姓名全拼
2. 安装Anaconda

• wget https://repo.continuum.io/archive/Anaconda3-2020.02-Linux-x86_64.sh
• 在Anaconda存在的目录下执行bash Anaconda3-2020.02-Linux-x86_64.sh 指定安装

3. 安装pip3

• wget https://files.pythonhosted.org/packages/69/81/52b68d0a4de760a2f1979b0931ba7889202f302072cc7a0d614211bc7579/pip-18.0.tar.gz
• 当前目录下执行解压：tar -zxvf pip-18.0.tar.gz
• 执行安装：cd pip-18.0 后 python setup.py install

4. 安装 Chrome

• 配置yum源
  • 首先安装google的epel源 vi /etc/yum.repos.d/google.repo
  • [google]
    name=Google-x86_64
    baseurl=http://dl.google.com/linux/rpm/stable/x86_64
    enabled=1
    gpgcheck=0
    gpgkey=https://dl-ssl.google.com/linux/linux_signing_key.pub
  • 更新源 yum update
• 安装google chrome浏览器
  • yum -y install google-chrome-stable
• 找到chrome路径，并做个软连接，方便使用
  • which google-chrome-stable
  • ln -s 路径 /bin/chrome
• 解决root用户不能运行chrome
  • vim /opt/google/chrome/google-chrome
  • 改写最后一行 exec -a "$0" "$HERE/chrome" "$@" --no-sandbox $HOME

5. 安装mysql

• 下载并安装MySQL官方的 Yum Repository
  • 下载 wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm
  • 安装 yum -y install mysql57-community-release-el7-10.noarch.rpm
  • 启动服务 yum -y install mysql-community-server
• ySQL数据库设置
  • 首先启动MySQL systemctl start mysqld.service
  • 查看MySQL运行状态 systemctl status mysqld.service
  • 通过如下命令可以在日志文件中找出密码（首次进入）grep "password" /var/log/mysqld.log
  • 进入数据库 mysql -uroot -p
  • 修改密码参数
    • set global validate_password_length=1;
    • set global validate_password_policy=0;
    • update user set authentication_string=passworD("test") where user='root';
  • 修改密码 ALTER USER 'root'@'localhost' IDENTIFIED BY 'new password';
  • 以后每次yum操作都会自动更新，需要把这个卸载掉 yum -y remove mysql57-community-release-el7-10.noarch
• 权限设置
  • 所有用户登录 GRANT ALL PRIVILEGES ON . TO 'root'@'%' IDENTIFIED BY 'admin123' `WITH GRANT OPTION;
  • 指定用户登录 GRANT ALL PRIVILEGES ON *.* TO 'myuser'``@``'192.168.1.104' IDENTIFIED BY 'admin123' WITH GRANT OPTION;

6. 端口设置

• 开启防火墙
  • systemctl start firewalld.service
• 通过以下命令开放http 80 端口
  • firewall-cmd --add-service=http --permanent
  • firewall-cmd --add-port=80/tcp --permanent
• 重启防火墙
  • firewall-cmd --reload

7. 配置redis

• 安装reids 和 官网步骤相同
• 配置redis 配置文件 redis.conf
  • 后台启动服务 daemonize 值设为yes
  • 修改密码
    • requirepass 123 指定密码123（如果已启动redis 修改完配置文件要先杀死redis进程在重启才会生效）
  • 启动令 ./src/redis-server ./redis.conf