道高一尺

2017年6月25日

摘要： 1 # -*- coding: utf-8 -*- 2 # scrapy爬取极客学院全部课程 3 import scrapy 4 from pyquery import PyQuery as pq 5 from jike.items import JikeItem 6 7 class JikespiderSpider(scrapy.Spider): 8 name = "... 阅读全文

posted @ 2017-06-25 18:12 道高一尺阅读(580) 评论(0) 推荐(0)

使用multiprocessing模块创建多进程

摘要： 1 # 使用multiprocessing模块创建多进程 2 # multiprcessing模块提供了一个Process类来描述一个进程对象. 3 # 创建子进程时,只需要传入一个执行函数和函数的参数,即可完成一个process实例的创建 4 # 用start()方法启动进程 5 # 用join()方法实现进程间的同步. 6 import os 7 from multiproce... 阅读全文

posted @ 2017-06-25 15:27 道高一尺阅读(319) 评论(0) 推荐(0)

正则最常用到的东西

摘要：一种组合方式: (.*?)匹配除换行符以外任意字符,匹配模式加上re.S,则开启无敌模式,匹配一切.需要的内容放在括号里面. 两个方法: re.search+group()可以找到第几个括号的东西,在确定只有一个内容时,使用re.search会提高效率, 因为re.search找到第一个就不会去找了阅读全文

posted @ 2017-06-25 14:17 道高一尺阅读(184) 评论(0) 推荐(0)

2017年6月24日

scrapy-redis框架

摘要： https://github.com/rolando/scrapy-redis 阅读全文

posted @ 2017-06-24 18:30 道高一尺阅读(349) 评论(0) 推荐(0)

scrapy爬取中关村在线手机频道

摘要： 1 # -*- coding: utf-8 -*- 2 import scrapy 3 from pyquery import PyQuery as pq 4 5 from zolphone.items import ZolphoneItem 6 7 8 class PhoneSpider(scrapy.Spider): 9 name = "phone" 10 ... 阅读全文

posted @ 2017-06-24 08:24 道高一尺阅读(742) 评论(0) 推荐(0)

2017年6月23日

有没有想过css定位与xpath的区别

摘要：我是这样理解的, css选择如同你尽可能具体的描述一个元素的形态, 包括他的: 标签, 类, id 以及这些的组合, 目标是尽可能确定元素的唯一坐标 , 以方便选择. 而xpath是根据元素的路径去确定坐标的. 举个例子, 形容上海, 用css可能会是它是一座直辖市(类),在长江下游(标签),是中阅读全文

posted @ 2017-06-23 13:39 道高一尺阅读(7027) 评论(1) 推荐(0)

2017年6月20日

MongoDB 更新文档

摘要： MongoDB 使用 update() 和 save() 方法来更新集合中的文档。接下来让我们详细来看下两个函数的应用及其区别。 update() 方法 update() 方法用于更新已存在的文档。语法格式如下：参数说明： query : update的查询条件，类似sql update查询内wh 阅读全文

posted @ 2017-06-20 22:39 道高一尺阅读(265) 评论(0) 推荐(0)

[转]pymongo常用操作函数

摘要： pymongo 是 mongodb 的 python Driver Editor.记录下学习过程中感觉以后会常用多一些部分，以做参考。 1. 连接数据库要使用pymongo最先应该做的事就是先连上运行中的 mongod 。创建一个 .py 文件，首先导入 pymongo: from pymong 阅读全文

posted @ 2017-06-20 22:20 道高一尺阅读(544) 评论(0) 推荐(0)

dict的update方法

摘要： dict = {'Name': 'Zara', 'Age': 7} dict2 = {'Sex': 'female' } dict.update(dict2)输出结果:{'Age': 7, 'Name': 'Zara', 'Sex': 'female'} 阅读全文

posted @ 2017-06-20 22:17 道高一尺阅读(1901) 评论(0) 推荐(1)

http状态码大全

摘要： HTTP状态码分类分类分类描述 1** 信息，服务器收到请求，需要请求者继续执行操作 2** 成功，操作被成功接收并处理 3** 重定向，需要进一步的操作以完成请求 4** 客户端错误，请求包含语法错误或无法完成请求 5** 服务器错误，服务器在处理请求的过程中发生了错误 HTTP状态码列表状态码状态码英文名称中文描述 100 Continue 继续。客户... 阅读全文

posted @ 2017-06-20 15:08 道高一尺阅读(196) 评论(0) 推荐(0)

公告