摘要：
1.numpy的使用 创建numpy: import numpy as np 第一种:np.array()创建 eg:np.array([1,2,3],[4,5,6]) # 创建了一个二维数组 数组与列表的差别:数组中的元素类型必须一致的,(如果不一致就会按照优先级进行转换:字符串 > 浮点型 > 阅读全文
posted @ 2020-06-04 13:07
大魔头的取经故事
阅读(206)
评论(0)
推荐(0)
摘要：
1. 在window上使用Scrapy框架想要安装的模块 1: pip3 install wheel 2:下载twisted,下载完成后,进入下载目录，执行 pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl 3: pip3 install py 阅读全文
posted @ 2020-06-03 17:26
大魔头的取经故事
阅读(178)
评论(0)
推荐(0)
摘要：
1.创建一个爬虫文件Movie:--scrapy genspider Movie 2.在爬虫文件中编写: # -*- coding: utf-8 -*-import scrapyfrom dianying.items import DianyingItemclass MovieSpider(scra 阅读全文
posted @ 2020-06-03 17:25
大魔头的取经故事
阅读(1065)
评论(0)
推荐(0)
摘要：
import requestsfrom hashlib import md5class Chaojiying_Client(object): def __init__(self, username, password, soft_id): self.username = username passw 阅读全文
posted @ 2020-05-30 21:00
大魔头的取经故事
阅读(656)
评论(0)
推荐(0)
摘要：
from multiprocessing.dummy import Poolfrom lxml import etreeimport requestsurls = ['http://wz.sun0769.com/political/index/politicsNewest?id=1&page=1', 阅读全文
posted @ 2020-05-30 15:28
大魔头的取经故事
阅读(199)
评论(0)
推荐(0)
摘要：
1.多任务协程 pip install asyncio(协程的模块) 和 pip install aiohttp(支持网络异步请求的的模块)第一步:创建任特殊函数,在函数定义前面加上async关键字(用来发送请求) 该函数特殊之处:1.调用后不会立即执行 2.函数调用后返回一个协程对象第二步:创建协 阅读全文
posted @ 2020-05-30 11:54
大魔头的取经故事
阅读(234)
评论(0)
推荐(0)
摘要：
import asyncioimport aiohttpfrom lxml import etreeurls = ['http://wz.sun0769.com/political/index/politicsNewest?id=1&page=1', 'http://wz.sun0769.com/p 阅读全文
posted @ 2020-05-30 11:52
大魔头的取经故事
阅读(310)
评论(0)
推荐(0)
摘要：
1.cookie什么是cookie: cookie是服务端创建的数据(相当于一个身份卡片),用户给服务端发起请求时服务端会给这个用户返回这个卡片，然后保存在本地中，客户端再次访问服务端 就可以带着这个卡片去访问,服务端就可以根据这个卡片找到用户的数据 我们一般用cookie作免密码登入处理cooki 阅读全文
posted @ 2020-05-23 10:45
大魔头的取经故事
阅读(340)
评论(0)
推荐(0)
摘要：
1.bs4的运用 流程： 1.导入相应的模块：from bs4 import BeautifulSoup 2.实例化一个 BeautifulSoup 对象，并将我们要解析的数据加载到该对象中：soup = BeautifulSoup('要解析的数据','lxml(解析器)') 3.定位标签：（1）. 阅读全文
posted @ 2020-05-23 10:43
大魔头的取经故事
阅读(990)
评论(0)
推荐(0)
摘要：
from lxml import etreeimport requestsheaders = { 'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrom 阅读全文
posted @ 2020-05-21 19:53
大魔头的取经故事
阅读(202)
评论(0)
推荐(0)
浙公网安备 33010602011771号