02 2019 档案

Python多线程编程实践
摘要：理论： https://blog.csdn.net/jiduochou963/article/details/88020415GIL, global interpreter lock (cpython)python中的一个线程对应于c语言中的一个线程GIL使... 阅读全文
posted @ 2019-02-28 23:53 onefine 阅读(288) 评论(0) 推荐(0)
Python多线程编程
摘要：1. 简介/动机在多线程（multithreaded， MT）编程出现之前，计算机程序的执行是由单个步骤序列组成的，该序列在主机的 CPU 中按照同步顺序执行。无论是任务本身需要按照步骤顺序执行，还是整个程序实际上包含多个子任务，都需要按照这种顺序方式执行。... 阅读全文
posted @ 2019-02-28 11:46 onefine 阅读(679) 评论(0) 推荐(0)
Python3.x的内置类属性
摘要：> python --versionPython 3.7.1In [1]: class People(object): ...: pass ...:In [2]: dir(People)Out[2]:['__class__', # 实例所... 阅读全文
posted @ 2019-02-27 12:39 onefine 阅读(421) 评论(0) 推荐(0)
Python3.x一些重要的内置函数
摘要：一些重要的内置函数函数描述abs(number)返回数字的绝对值all(iterable)如果iterable的所有元素都为真值， 就返回True； 否则返回Falseany(iterable)如果iterable的所有元素都为假值， 就返回False； 否... 阅读全文
posted @ 2019-02-27 10:17 onefine 阅读(242) 评论(0) 推荐(0)
HTTP代理池实现
摘要：话不多说，代码呈上：#!/usr/bin/env python# -*- coding: utf-8 -*-# @Time : 2019/2/26 13:02# @Author : One Fine__author__ = "One Fine"# @... 阅读全文
posted @ 2019-02-27 01:03 onefine 阅读(696) 评论(0) 推荐(0)
使用HTTP代理
摘要：原理：HTTP代理服务器可以比作客户端与Web服务器之间的一个信息中转站，客户端发送的HTTP请求和Web服务器返回的HTTP响应通过代理服务器转发给对方，如下图所示：爬虫程序在爬取某些网站时也需要使用代理，例如：由于网络环境因素，直接爬取速度太慢，使用代理... 阅读全文
posted @ 2019-02-23 09:19 onefine 阅读(779) 评论(0) 推荐(0)
Python操作JSON和CSV
摘要：JSONJSON(JavaScript Object Notation, JS 对象标记)是一种轻量级的数据交换格式，易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。它基于ECMAScript(w3c制定的js规范)的一个子集，采用完全... 阅读全文
posted @ 2019-02-22 22:12 onefine 阅读(2664) 评论(0) 推荐(0)
Python Requests库使用2：请求方法
摘要：GitHub APIURL: https://developer.github.comHTTP verbs1Where possible, API v3 strives to use appropriate HTTP verbs for each actio... 阅读全文
posted @ 2019-02-22 00:56 onefine 阅读(376) 评论(0) 推荐(0)
加快访问GitHub的速度
摘要：由于某些原因，国内访问Github有时会异常缓慢，通过修改系统hosts文件的办法，绕过国内dns解析，直接访问GitHub的CDN节点，从而达到加速的目的。该方法也可加速其他因为CDN被屏蔽导致访问慢的网站。实现在本地host文件中添加映射，步骤如下：1、... 阅读全文
posted @ 2019-02-21 23:53 onefine 阅读(3946) 评论(0) 推荐(0)
GET和POST两种基本请求方法的区别
摘要：参考：GET和POST两种基本请求方法的区别 https://www.cnblogs.com/logsharing/p/8448446.html 阅读全文
posted @ 2019-02-19 23:33 onefine 阅读(159) 评论(0) 推荐(0)
Python Requests库介绍
摘要：Requests唯一的一个非转基因的Python HTTP库，人类可以安全享用。警告：非专业使用其他HTTP库会导致危险的副作用，包括：安全缺陷症、冗余代码症、重新发明轮子症、啃文档症、抑郁、头疼、甚至死亡。1环境准备：# 新建Python3.x虚拟环境> ... 阅读全文
posted @ 2019-02-18 01:07 onefine 阅读(3520) 评论(0) 推荐(0)
Python urllib、urllib2、urllib3用法及区别
摘要：简介1在可供使用的网络库中，urllib和urllib2可能是投入产出比最高的两个，是Python中操作url的官方标准库。它们让你能够通过网络访问文件，就像这些文件位于你的计算机中一样。只需一个简单的函数调用，就几乎可将统一资源定位符（URL）可指向的任何... 阅读全文
posted @ 2019-02-18 01:06 onefine 阅读(4424) 评论(0) 推荐(0)
Django中操作cookie和session
摘要：关于cookie和session的简介详：https://blog.csdn.net/jiduochou963/article/details/87527511操作cookie设置cookie设置cookie即设置值发送给浏览器。因此我们需要通过respon... 阅读全文
posted @ 2019-02-17 13:49 onefine 阅读(310) 评论(0) 推荐(0)
理解cookie和session机制
摘要：cookie在网站中，http请求是无状态的。也就是说即使第一次和服务器连接并且登录成功后，第二次请求服务器的时候服务器仍然不能知道当前是哪个用户的请求。cookie的出现就是为了解决这个问题，第一次登录后服务器返回一些数据（cookie）给浏览器，然后浏览... 阅读全文
posted @ 2019-02-17 13:11 onefine 阅读(667) 评论(0) 推荐(0)
Django多 app 同名 模版 引用错误的问题
摘要：问题描述：Django项目中，多个app下有同名DTL模板，引用模板不正确的问题。环境：>python --versionPython 3.7.1>python -m django --version2.1.4目录结构（部分文件已省略）：│ manage.... 阅读全文
posted @ 2019-02-15 23:40 onefine 阅读(525) 评论(0) 推荐(0)
Django模板
摘要：模板在之前的章节中，视图函数只是直接返回文本，而在实际生产环境中其实很少这样用，因为实际的页面大多是带有样式的HTML代码，这可以让浏览器渲染出非常漂亮的页面。目前市面上有非常多的模板系统，其中最知名最好用的就是DTL和Jinja2。DTL是Django T... 阅读全文
posted @ 2019-02-14 15:34 onefine 阅读(471) 评论(0) 推荐(0)
Django应用命名空间与实例命名空间
摘要：一、为什么需要url命名？因为url是经常变化的。如果在代码中写死可能会经常改代码。给url取个名字，以后使用url的时候就使用他的名字进行反转就可以了，就不需要写死url了。需求：访问app主页，如果没登录则自动跳转至登录页面，已经登录则留在app主页。项... 阅读全文
posted @ 2019-02-13 00:49 onefine 阅读(592) 评论(0) 推荐(0)
Django：URL映射
摘要：导航跳转：视图简介跳转：URL映射跳转：一、URL中添加参数跳转：二、指定默认的参数跳转：三、URL中包含另一个urls模块跳转： include函数跳转：四、path函数跳转： 自定义url转换器跳转：五、re_path函数跳转：六、url反转跳转： ... 阅读全文
posted @ 2019-02-12 21:16 onefine 阅读(255) 评论(0) 推荐(0)
Web服务器和应用服务器以及web应用框架
摘要：Web服务器和应用服务器以及web应用框架：web服务器：负责处理http请求，响应静态文件，常见的有 Apache， Nginx 以及微软的 IIS 等.应用服务器：负责处理逻辑的服务器。比如Java、php 、Python 的代码，是不能直接通过 Ngi... 阅读全文
posted @ 2019-02-12 16:38 onefine 阅读(1495) 评论(0) 推荐(1)
在Django中操作MySQL数据库2：ORM模型
摘要：ORM模型介绍随着项目越来越大，采用写原生SQL的方式在代码中会出现大量的SQL语句，那么问题就出现了：SQL语句重复利用率不高，越复杂的SQL语句条件越多，代码越长。会出现很多相近的SQL语句。很多SQL语句是在业务逻辑中拼出来的，如果有数据库需要更改，就... 阅读全文
posted @ 2019-02-12 08:56 onefine 阅读(458) 评论(0) 推荐(0)
在Django中操作MySQL数据库1：原生 sql 语句操作
摘要：在 Django 中操作数据库有两种方式。第一种方式就是使用原生sql语句操作，第二种就是使用 ORM模型来操作。这里介绍第一种。Python 操作 MySQL 数据库Python 标准数据库接口为Python DB-API，Python DB-API为开发... 阅读全文
posted @ 2019-02-11 13:11 onefine 阅读(2020) 评论(0) 推荐(0)
Git使用5：Git远程仓库的搭建及使用
摘要：Git 使用1：Git基本命令 https://blog.csdn.net/jiduochou963/article/details/86773455Git 使用2：Git撤销操作 https://blog.csdn.net/jiduochou963/a... 阅读全文
posted @ 2019-02-10 22:35 onefine 阅读(149) 评论(0) 推荐(0)
scrapy Item Loader机制
摘要：scrapy item loader机制直接赋值取值的方式，会出现一下几个问题代码量一多，各种css和xpath选择器，充斥整个代码逻辑，没有规则，可读性差、不利于维护对于一个字段的预处理，不明确，也不应该出现在主逻辑中这时通过scrapy中的ItemLoa... 阅读全文
posted @ 2019-02-10 22:23 onefine 阅读(185) 评论(0) 推荐(0)
Git使用4：Git分支
摘要：Git 使用1：Git基本命令 https://blog.csdn.net/jiduochou963/article/details/86773455Git 使用2：Git撤销操作 https://blog.csdn.net/jiduochou963/a... 阅读全文
posted @ 2019-02-10 15:29 onefine 阅读(125) 评论(0) 推荐(0)
Git使用3：Git文件删除
摘要：Git文件删除git rm filename删除工作区及暂存区中的该文件 相当于删除后执行git addgit rm --cached filename 在不小心将不需要追踪的文件添加到暂存区，想删除暂存的文件，但是不想删除工作区的文件很有用git rm -... 阅读全文
posted @ 2019-02-10 10:38 onefine 阅读(506) 评论(0) 推荐(0)
django orm与scrapy集成：
摘要：django orm与scrapy集成：https://github.com/scrapy-plugins/scrapy-djangoitem 阅读全文
posted @ 2019-02-10 00:05 onefine 阅读(202) 评论(0) 推荐(0)
Git使用2：Git撤销操作
摘要：Git撤销操作git commit --amend 撤销上一次提交并将暂存区的文件重新提交git checkout --filename 拉取暂存区的文件并将其替换工作区的文件注意与git checkout branchname区别，这个命令将用来切换分支g... 阅读全文
posted @ 2019-02-08 22:36 onefine 阅读(293) 评论(0) 推荐(0)
Git使用1：Git基本命令
摘要：环境：Windows 10一、Git基本命令git init 初始化git仓库git add 将工作目录下的文件添加到暂存区git commit 将缓存区内容添加到仓库中。git config 配置相关信息git log 查看提交历史git ... 阅读全文
posted @ 2019-02-07 22:51 onefine 阅读(231) 评论(0) 推荐(0)
Python安装MySQL驱动
摘要：在Python2.x中访问MySQL数据库可以使用第三方库MySQL-Python(即MySQLdb)，但是MySQLdb不支持Python3.x。在Python3.x中，可以使用另一个第三方库MySQLclient作为替代，它是基于MySQL-Python... 阅读全文
posted @ 2019-02-06 12:21 onefine 阅读(783) 评论(0) 推荐(0)
MySQL连接报错2059
摘要：当启动Django自带的服务器时，报错2059：...MySQLdb._exceptions.OperationalError: (2059, )...查看了一下mysql版本：mysql> select version();+-----------+| v... 阅读全文
posted @ 2019-02-06 10:54 onefine 阅读(1194) 评论(0) 推荐(0)
Selector提取数据2：CSS选择器
摘要：CSS选择器CSS即层叠样式表，其选择器是一种用来确定HTML文档中某部分位置的语法。CSS选择器的语法比XPath简单一点，但功能不如XPath强大。实际上，当我们调用Selector的CSS方式时，在其内部会使用Python库cssselect将CSS选... 阅读全文
posted @ 2019-02-02 00:58 onefine 阅读(336) 评论(0) 推荐(0)
Selector提取数据1：XPath选择器
摘要：1、XPath是什么？XPath即XML路径语言(XML Path Language)，它是一种用来确定xml文档中某部分位置的语言。XPath本身遵循w3c标准。xml文档(html属于xml)是由一系列结点构成的树。例如从网络上爬取的一段html代码： ... 阅读全文
posted @ 2019-02-02 00:55 onefine 阅读(4996) 评论(0) 推荐(0)