12 2019 档案

多线程爬虫
摘要：程序运行速度 >主要是由cpu来决定。 >要想提高程序运行速度 >提高cpu的利用率 >多线程就是通过提高cpu的利用率来提高程序运行速度的。 提高cup的利用： 1.不能休息 >多线程。用多个线程让cup不断的在各个线程之间切换（这个cpu就不休息）。 多线程的特点：多个线程共享该进程的所有资源， 阅读全文
posted @ 2019-12-06 09:00 佑神 阅读(241) 评论(0) 推荐(0)
selenium的三种等待方式
摘要：一、强制等待： time.sleep(3) >强制等待3秒 二、隐式等待： driver.implicitly_wait(20) 含义：设置的这个20秒表示最大等待时长，它等待到什么情况结束呢？ >它就相当于我们在浏览器中，加载一个页面，看到页面不在转圈圈，全部加载完成之后，才算等待结束。 全部加载 阅读全文
posted @ 2019-12-04 21:36 佑神 阅读(961) 评论(0) 推荐(0)
初级反爬
摘要：一、反扒策略 1、通过user-agent来判断是不是爬虫。 解决的办法：伪装user-agent客户端标识 2、通过访问频率来判断。 解决的办法：设置请求频率。 time.sleep(random.randint(0,5)) 3、封ip 设置代理ip。 requests.get( url, hea 阅读全文
posted @ 2019-12-03 22:56 佑神 阅读(164) 评论(0) 推荐(0)
xpath的使用
摘要：什么是xml: 定义：可扩展标记语言 特点：xml具有自描述结构的半结构化数据。 作用：xml主要设计总之是用来传输数据，还可以做为一些应用的配置文件 xml和html的区别： 语法要求不同：xml的语法要求更严格 html不区分大小写，xml区分 html的标签在某些条件下不严格，如果上下文清楚地 阅读全文
posted @ 2019-12-02 20:46 佑神 阅读(179) 评论(0) 推荐(0)
cookie与session
摘要：技术的诞生： http是个无状态的协议：两次请求之间相互独立，后一条请求无法使用前一条的一些状态，为了解决这种问题，发明了两种存储状态的技术，就是cookie和session。 cookie是用来在客户端保存状态的技术，session是在服务器保存状态的技术。 做爬虫的时候，如果要实现登录，客户端是 阅读全文
posted @ 2019-12-01 21:42 佑神 阅读(264) 评论(0) 推荐(0)
正则表达式
摘要：分类 结构化数据 定义：数据以行为单位，每一个数据表示一个实体信息，每一行数据的属性都是一样的 例如：结构化数据为关系型数据存储数据 半结构化数据 定义：结构化数据的另一种形式，但是并不符合关系型数据的特点，不能用关系模型来描述，但这种数据包含相关标记，例如：xml,html,json。 非结构化数 阅读全文
posted @ 2019-12-01 21:41 佑神 阅读(325) 评论(0) 推荐(0)