小陆同学

摘要：1. 在django项目根目录位置创建scrapy项目，django_12是django项目，ABCkg是scrapy爬虫项目，app1是django的子应用 2.在Scrapy的settings.py中加入以下代码 3.编写爬虫，下面代码以ABCkg为例，abckg.py 4.scrapy中ite 阅读全文

摘要：1.新建一个django项目， 2.前端展示一个按钮 3.在django项目的根目录创建scrapy项目 4.cmd命令行运行：scrapyd 启动服务 5.将scrapy项目部署到当前工程：scrapyd-deploy 爬虫名称 -p 项目名称 6.views.py 7.在本地6800端口点击jo 阅读全文

摘要：1.首先写一个scrapy框架爬虫的项目 2.部署环境 3.在爬虫项目目录下输入命令：scrapyd，已经在本地6800端口运行 4.在爬虫根目录执行：scrapyd-deploy,如果提示不是内部命令，需要到python目录下scripts下新建一个名为scrapyd-deploy.bat的文件， 阅读全文

摘要：正太分布：也叫（高斯分布Gaussian distribution），是一种随机概率分布 机器学习中numpy.random如何生成这样的正态分布数据，本篇博客记录这样的用法 import numpy as np# a = np.random.randint(1,10,size=2) # 最小值,最 阅读全文

摘要：续上一篇博客（‘’selenium爬取NBA并将数据存储到MongoDB‘）https://www.cnblogs.com/lutt/p/10810581.html 本篇的内容是将存储到mongo的数据用pandas读取出来，存到CSV文件，然后pandas读取CSV文件。 其中mongo的操作涉及 阅读全文

摘要：selenium：浏览器自动化测试框架 ，Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。 mongodb：是一个基于分布式文件存储的数据库。由C++语言编写。介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。 业务需求： 将某网站的数据用py 阅读全文

摘要：机器学习三剑客：numpy、pandas、matplotlib NumPy系统是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵。 pandas 是基于numpy的一种工具，该工具是为了解决数据分析任务而创建的。 Matplotlib 是一个 Python 的 2D绘图库，它以 阅读全文