2020年1月15日

摘要： Scrapy框架它能够帮助提升爬虫的效率，从而更好地实现爬虫。Scrapy是一个为了抓取网页数据、提取结构性数据而编写的应用框架，该框架是封装的，包含request异步调度和处理、下载器（多线程的Downloader）、解析器selector和twisted(异步处理)等。对于网站的内容爬取，其速度 阅读全文

摘要： 这篇博文主要是对我的这篇https://www.cnblogs.com/tszr/p/12198054.html爬虫效率的优化，目的是为了提高爬虫效率。 可以根据出发地同时调用多个CPU，每个CPU运行一个出发地的脚本，如果你的电脑有8个CPU，那么将会每次同时获取8个出发地的数据。 代码如下： i 阅读全文

摘要： 本博文主要是对我的这篇：https://www.cnblogs.com/tszr/p/12193744.html爬取某一大型电商网站的商品数据博文代码的优化和整理。 代码优化可以提高代码的可读性。 import time import json import pymongo import reque 阅读全文

摘要： class NeuralNetWork: def __init__(self): ''' 初始化网络，设置输入层，中间层，输出层的节点数 ''' pass def fit(self): ''' 根据训练数据，不断更新神经网络层之间的链路权重 ''' pass def evaluate(self): 阅读全文

摘要： #绘制步调函数图像 import matplotlib.pyplot as plt x = [1,2,3,4] y = [0, 1, 2, 3] plt.step(x, y) plt.show() import numpy as np import pylab as plt from matplot 阅读全文

摘要： import numpy as np #构建一个含有一个常数12的0维张量 x = np.array(12) print(x) #ndim表示张量的维度 print(x.ndim) x1 = np.array([11,12,13]) print(x1) print(x1.ndim) x2 = np. 阅读全文

摘要： import numpy as np from matplotlib import cm import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D from matplotlib.ticker import Lin 阅读全文