Scrapy学习笔记（一）

爬虫应用场景

  • 数据分析服务
  • 互联网金融
  • 数据建模
  • 信息聚类
  • 自然语言处理
  • 医疗病例分析

学习步骤

  • 环境配置和基础知识
  • 爬取真实数据
  • scrapy反爬虫技术
  • scrapy进阶
  • scrapy redis 分布式爬虫
  • elasticsearch 实现搜索引擎
    image.png
    image.png
    image.png
    image.png
    image.png
    image.png
    image.png
    image.png

CenOS 安装 Python3

 tar -zxvf Python-3.7.0.tgz -C ../software
  • 安装相关依赖
yum -y install zlib zlib-devel
yum -y install bzip2 bzip2-devel
yum -y install ncurses ncurses-devel
yum -y install readline readline-devel
yum -y install openssl openssl-devel
yum -y install openssl-static
yum -y install xz lzma xz-devel
yum -y install sqlite sqlite-devel
yum -y install gdbm gdbm-devel
yum -y install tk tk-devel
yum -y install libffi libffi-devel

cd Python-3.7.0/
　　配置编译，因为上面依赖包是用yum安装而不是自己编译的，所以都是安装在系统默认目录下，因此各种选项不用加默认即可生效：

./configure

　　接下来编译源码：

make
make install

配置软连接
备份python命令

mv /usr/bin/python /usr/bin/python.bak
/usr/local/bin/python3指向 /usr/bin/python
ln -s /usr/local/bin/python3 /usr/bin/python
mv /usr/bin/pip /usr/bin/pip.bak
ln -s /usr/local/bin/pip3 /usr/bin/pip
posted @ 2020-03-19 16:08  unique_ptr  阅读(122)  评论(0)  编辑  收藏  举报