随笔分类 - Python
摘要：转载自：https://blog.csdn.net/weixin_42069479/article/details/105898844 # -*- coding: utf-8 -*- import os import re import sys #获取指定文件夹包含的文件或文件名的列表 fileLi
阅读全文
摘要：Preferences -> Settings 弹出配置文件 在大括号中新增 "tab_size": 4, "translate_tabs_to_spaces": true, 注意在每行末尾都有“逗号”。
阅读全文
摘要：环境 ubuntu 16.04 anaconda pycharm python3.6 https://www.cnblogs.com/jokerbj/p/7460260.html 多线程 VS 多进程 程序：一堆代码以文本形式存入一个文档。 进程：程序运行的一个状态。 包含地址空间，内训，数据栈等。
阅读全文
摘要：第2章中介绍的 请求对象 包含客户端发出的所有请求信息。 其中， request.form 能获取 POST请求 中提交的表单数据。 尽管Flask的请求对象提供的信息足够用于处理Web表单，但有些任务很单调，而且要重复操作。 比如，生成表单的HTML代码和验证提交的表单数据。 Flask-WTF（
阅读全文
摘要：转载：https://www.cnblogs.com/smileyes/p/7657591.html 利用setuptools来实现，先安装setuptools。其实Python2.7.9及以后的版本都自带安装setuptools了，无需另外安装。如果没有安装setuptools的话直接下载源码安装
阅读全文
摘要：斐波那契数列 斐波那契数列有称为黄金分割数列。 在数学上，斐波那契数列可以以递归的方法定义：F(0)=0,F(1)=1,F(n)=F(n-1)+F(n-2)(n>=2,n属于正整数)。 简单的归结斐波那契数列为：第1个数值为0，第2个数值为1，之后的每个数值是位于它之前的两个数值之和。 代码实现 每
阅读全文
摘要：要想开发出易于维护的程序，关键在于编写形式简洁且结构良好的代码。 当目前为止，你看到的示例都太简单，无法说明这一点，但Flask视图函数的两个完全独立的作用却被融合在了一起，这就产生了一个问题。 视图函数的作用很明确，即生成请求的响应。 如第2章中的示例，对简单的请求来所，这就足够了。 但一般而言，
阅读全文
摘要：2.1 初始化 所有Flaks程序都必须创建一个程序实例。 Web服务器使用一种名为Web服务器网关接口（Web Server Gateway Interface，WSGI）的协议，把接收自客户端的所有请求都转交给这个对象处理。 程序实例是Flask类的对象，经常使用下述代码创建： 1 from f
阅读全文
摘要：当需要创建子进程数量不多的时候，可以直接利用multiprocessing中的Process动态生成多个进程 但是如果是成百甚至上千个任务，手动地创建它的工作量很大，此时就可以利用到multiprocessing下的pool 初始化Pool时，可以指定一个最大的进程数，当有新的请求提交到Pool中时
阅读全文
摘要：安装flask sudo pip3 install flask falsk最小应用 from flask import Flask app = Flask(__name__) @app.route('/') def hello_world(): return 'Hello World!' if __
阅读全文
摘要：MVC 大部分开发语言中都有MVC框架 MVC框架的核心思想是：解耦 降低各功能模块之间的耦合性，方便变更，更容易重构代码，最大程度上实现代码的重用 M表示model，主要用于对数据库层的封装 V表示view，用于向用户展示结果 C表示controller，是核心，用于处理请求、获取数据、返回结果
阅读全文
摘要：1.功能 使用qrcode生成二维码 2.代码 #生成二维码： import qrcode #根据url生成二维码 def qrcodeWithUrl(url): img = qrcode.make(url) savePath = "1.png" img.save(savePath) #根据输入的文
阅读全文
摘要：Matplotlib绘图一般用于数据可视化 1.常用的图表有： 折线图（坐标系图） 散点图/气泡图 条形图/柱状图 饼图 直方图 箱线图 热力图 折线图（坐标系图） 折线图用于显示随时间或有序类别的变化趋势 #载入matplotlib绘图库 import matplotlib.pyplot as p
阅读全文
摘要：1.任务需求 百度贴吧有很多主题，每个主题下的网页存在很多分页。爬取不同的主题，并下载每个主题下的多页网页。 输入贴吧名称，下载相应贴吧的多页网页，设置最多下载50页。 2.分析网页 访问不同的百度贴吧时。尝试搜索多个贴吧，观察到浏览器的url中的kw为贴吧的名称。 因此，发送get请求时，设置不同
阅读全文
摘要：CrawlSpider CrawlSpider类 CrawlSpider类常用于爬取一般的网站，其定义了一些规则（rule）来提供跟进链接的功能，使用非常方便。处理从Spider继承过来的属性外，还提供了一个新的属性ruels，该属性是一个过多个Rule对象的元组(list)，每个Rule都对爬取网
阅读全文
摘要：Scrapy架构(各组件的功能)及Scrapy引擎控制数据流的过程 1. Scrapy架构图(绿线是数据流向)： □ Scrapy引擎(Engine)：引擎负责控制数据流在系统的所有组件中流动，并在相应动作发生时触发事件。 □ 调度器(Scheduler)：调度器从引擎接收Request并将它们入队
阅读全文
摘要：scrapy-下载中间件 每个下载中间件组件是定义了以下一个或多个方法的Python类■ process_request(request,spider)■ process_response(request,response,spider)■ process_exception(request,exc
阅读全文
摘要：百度图片网页中中，当页面滚动到底部，页面会加载新的内容。 我们通过selenium和谷歌浏览器驱动，执行js，是浏览器不断加载页面，通过抓取页面的图片路径来下载图片。 1 from selenium import webdriver 2 from selenium.webdriver.common.
阅读全文
摘要：使用selenium+PhantomJS爬取拉钩网职位信息，保存在csv文件至本地磁盘 拉钩网的职位页面，点击下一页，职位信息加载，但是浏览器的url的不变，说明数据不是发送get请求得到的。 我们不去寻找它的API。这里使用另一种方式：使用PhantomJS模拟浏览，通过单击页面获取下一页。 这里
阅读全文
摘要：有的时候爬取网页，可以利用网站额结构特点爬取网页 在百度搜索框中输入搜索内容，单击搜索，浏览器会发送一个带有参数的url请求。尝试删除其中的一些参数，只剩下wd这个参数。发现wd是搜索内容。这样程序可以根据不同的wd值，请求不同的网页。 1 from urllib import request,pa
阅读全文
浙公网安备 33010602011771号