摘要:安装的过程就省略了,我这边安装的是5.7.20版本的 从cmd进入mysql,首先设置环境变量,然后第一次进入的时候直接输入mysql就可以 但是过后可能需要输入密码才能进入(设置后) 使用show databases 可以看到mysql下面的数据库 如果要使用哪个数据库,得使用 use xxx(数
阅读全文
摘要:7-1 爬虫和反爬的对抗过程以及策略基本概念爬虫:自动获取网站数据的程序,关键是批量的获取反爬虫:使用技术手段防止爬虫程序的方法误伤:反爬技术将普通用户识别为爬虫,如果误伤过高,效果再好也不能用一般ip地址禁止是不太可能被使用的成本:反爬虫需要的人力和机器成本拦截:成功拦截爬虫,一般拦截率越高,误伤
阅读全文
摘要:爬虫首先要明确自己要爬取的网站以及内容 进入拉勾网的网站然后看看想要爬取什么内容职位,薪资,城市,经验要求学历要求,全职或者兼职职位诱惑,职位描述提取公司的名称 以及 在拉勾网的url等等 然后在navicat中设计表 我是在数据库article_spider中设计的表lagou_job 然后进入a
阅读全文
摘要:第一节:技术选型,爬虫能做什么技术选型scrapy vs requests + beautifulsoup1. requests + beautifulsoup都是库,scrapy是框架2.scrapy框架中可以加入requests + beautifulsoup3.scrapy基于twisted,
阅读全文
摘要:IDE pycharm数据库 mysql、redis、elasticsearch开发环境 -- anaconda 第一节:pycharm的安装和简单使用...(网上一搜一大堆,所以没必要写出来) 第二节:mysql和navicat的安装和使用....主要是linux比较麻烦(在windows下就很简
阅读全文