随笔分类 -  代码笔记

scrapy之cookie使用方法
该文被密码保护。
posted @ 2017-09-17 18:12 诡道！！！ 阅读(2) 评论(0) 推荐(0)
Python--打分
摘要：# -*- encoding: utf-8 -*-import reimport sysimport MySQLdb# db = MySQLdb.connectionimport jsonreload(sys)sys.setdefaultencoding("utf-8")keyword = {}fo 阅读全文
posted @ 2017-09-04 22:29 诡道！！！ 阅读(494) 评论(0) 推荐(0)
Python爬虫之--------泸深A股股票
摘要：以下做的项目是用Python3.5版本，爬取股票数据存储数据库# coding:utf8import re #匹配正则表达式import requests #Requests 使用的是 urllib3，因此继承了它的所有特性。Requests 支持 HTTP 连接保持和连接池，支持使用 cookie 阅读全文
posted @ 2017-04-27 20:43 诡道！！！ 阅读(456) 评论(0) 推荐(0)
使用scrapy框架---爬小说，入库
摘要：本人步骤： 1>setting.py: ITEM_PIPELINES = { 'newding.pipelines.NewdingPipeline': 300,} 以上配置；创建项目会自动出现这些 以下是想要入数据库的（阶段）： 阅读全文
posted @ 2017-04-10 20:26 诡道！！！ 阅读(1077) 评论(0) 推荐(0)
xpath爬顶点页面信息
摘要：# encoding:utf8import requests # Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。from lxml 阅读全文
posted @ 2017-04-10 19:52 诡道！！！ 阅读(368) 评论(0) 推荐(0)