2019 年 12月 25 日随笔档案 - Gaidy

CRM客户关系管理系统（四）

摘要： kingadmin设计开发 4.4.根据list_display配置生成数据列表（1）kingadmin/views.py （2）kingadmin/templates/kingadmin/table_obj_list.html 通过自定义的admin_class类，循环出list_display 阅读全文

posted @ 2019-12-25 15:54 Gaidy 阅读(241) 评论(0) 推荐(0)

CRM客户关系管理系统（三）

摘要：第四章、kingadmin开发设计 4.1.kingadmin设计 django admin注册model的写法 crm/admin.py class CustomerAdmin(admin.ModelAdmin): #显示 list_display = ['name','source','cont 阅读全文

posted @ 2019-12-25 15:53 Gaidy 阅读(423) 评论(0) 推荐(0)

CRM客户关系管理系统（二）

摘要：第三章、前端页面设计 3.1.前端页面布局 Bootstrap模板下载（1）静态文件新建statics目录（存放css/fonts/imgs/js/plugins） settings配置 STATIC_URL = '/static/' STATICFILES_DIRS = ( os.path.j 阅读全文

posted @ 2019-12-25 15:19 Gaidy 阅读(424) 评论(0) 推荐(0)

CRM客户关系管理系统（一）

摘要：第一章、CRM介绍和开发流程 1.1.CRM简介客户关系管理（CRM）客户关系管理（customer relationship management）的定义是：企业为提高核心竞争力，利用相应的信息技术以及互联网技术协调企业与顾客间在销售、营销和服务上的交互，从而提升其管理方式，向客户提供创新式的阅读全文

posted @ 2019-12-25 15:13 Gaidy 阅读(473) 评论(0) 推荐(0)

正则表达式爬取猫眼电影

摘要：正则表达式爬取猫眼电影Top100 import requests import re,json from multiprocessing import Pool def get_one_page(url): response = requests.get(url) return response. 阅读全文

posted @ 2019-12-25 15:11 Gaidy 阅读(424) 评论(0) 推荐(0)

21天打造分布式爬虫-房天下全国658城市房源（十一）

摘要：项目：爬取房天下网站全国所有城市的新房和二手房信息网站url分析 1.获取所有城市url http://www.fang.com/SoufunFamily.htm 例如：http://cq.fang.com/ 2.新房url http://newhouse.sh.fang.com/house/s/ 阅读全文

posted @ 2019-12-25 15:08 Gaidy 阅读(302) 评论(0) 推荐(0)

21天打造分布式爬虫-简书整站爬取（十）

摘要： 10.1.简书整站爬虫创建项目 scrapy startproject jianshu scrapy genspider -t crawl jianshu_spider "jianshu.com" jianshu_spider.py # -*- coding: utf-8 -*- import s 阅读全文

posted @ 2019-12-25 15:06 Gaidy 阅读(311) 评论(0) 推荐(0)

21天打造分布式爬虫-下载汽车之家图片（九）

摘要： 9.1.下载汽车之家图片新建项目 scrapy startproject bmx scrapy genspider bmx5 "car.autohome.com.cn" bmx5.py # -*- coding: utf-8 -*- import scrapy from bmx.items imp 阅读全文

posted @ 2019-12-25 15:03 Gaidy 阅读(229) 评论(0) 推荐(0)

21天打造分布式爬虫-Crawl类爬取小程序社区（八）

摘要： 8.1.Crawl的用法实战新建项目 scrapy startproject wxapp scrapy genspider -t crawl wxapp_spider "wxapp-union.com" wxapp_spider.py # -*- coding: utf-8 -*- import 阅读全文

posted @ 2019-12-25 14:43 Gaidy 阅读(277) 评论(0) 推荐(0)

21天打造分布式爬虫-Spider类爬取糗事百科（七）

摘要： 7.1.糗事百科安装 pip install pypiwin32 pip install Twisted-18.7.0-cp36-cp36m-win_amd64.whl pip install scrapy 创建和运行项目 scrapy startproject qsbk #创建项目 scrapy 阅读全文

posted @ 2019-12-25 14:39 Gaidy 阅读(173) 评论(0) 推荐(0)

21天打造分布式爬虫-Selenium爬取拉钩职位信息（六）

摘要： 6.1.爬取第一页的职位信息第一页职位信息 from selenium import webdriver from lxml import etree import re import time class LagouSpider(object): def __init__(self): self 阅读全文

posted @ 2019-12-25 14:26 Gaidy 阅读(245) 评论(0) 推荐(0)

21天打造分布式爬虫-多线程下载表情包（五）

摘要： 5.1.threading模块简单使用 import threading,time def coding(): for x in range(3): print('正在写代码%s'%x) time.sleep(2) def drawing(): for x in range(3): print(' 阅读全文

posted @ 2019-12-25 14:16 Gaidy 阅读(220) 评论(0) 推荐(0)

21天打造分布式爬虫-中国天气网和古诗文网实战（四）

摘要： 4.1.中国天气网网址：http://www.weather.com.cn/textFC/hb.shtml 解析：BeautifulSoup4 爬取所有城市的最低天气 import requests from bs4 import BeautifulSoup import html5lib def 阅读全文

posted @ 2019-12-25 14:05 Gaidy 阅读(313) 评论(0) 推荐(0)

21天打造分布式爬虫-豆瓣电影和电影天堂实战（三）

摘要： 3.1.豆瓣电影使用lxml import requests from lxml import etree headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, l 阅读全文

posted @ 2019-12-25 13:52 Gaidy 阅读(211) 评论(0) 推荐(0)

21天打造分布式爬虫-requests库（二）

摘要： 2.1.get请求简单使用 import requests response = requests.get("https://www.baidu.com/") #text返回的是unicode的字符串，可能会出现乱码情况 # print(response.text) #content返回的是字节，阅读全文

posted @ 2019-12-25 13:08 Gaidy 阅读(267) 评论(0) 推荐(0)

21天打造分布式爬虫-urllib库（一）

摘要： 1.1.urlopen函数的用法 #encoding:utf-8 from urllib import request res = request.urlopen("https://www.cnblogs.com/") print(res.readlines()) #urlopen的参数 #def 阅读全文

posted @ 2019-12-25 11:51 Gaidy 阅读(224) 评论(0) 推荐(0)

python爬虫人门（十）Scrapy框架之Downloader Middlewares

摘要：设置下载中间件（Downloader Middlewares）下载中间件是处于引擎(crawler.engine)和下载器(crawler.engine.download())之间的一层组件，可以有多个下载中间件被加载运行。当引擎传递请求给下载器的过程中，下载中间件可以对请求进行处理（例如增加阅读全文

posted @ 2019-12-25 11:40 Gaidy 阅读(286) 评论(0) 推荐(0)

python爬虫入门（九）Scrapy框架之数据库保存

摘要：豆瓣电影TOP 250爬取-->>>数据保存到MongoDB 豆瓣电影TOP 250网址要求： 1.爬取豆瓣top 250电影名字、演员列表、评分和简介 2.设置随机UserAgent和Proxy 3.爬取到的数据保存到MongoDB数据库 items.py # -*- coding: utf-8 阅读全文

posted @ 2019-12-25 11:37 Gaidy 阅读(356) 评论(0) 推荐(0)

python爬虫入门（八）Scrapy框架之CrawlSpider类

摘要： CrawlSpider类通过下面的命令可以快速创建 CrawlSpider模板的代码： scrapy genspider -t crawl tencent tencent.com CrawSpider是Spider的派生类，Spider类的设计原则是只爬取start_url列表中的网页，而Cra 阅读全文

posted @ 2019-12-25 11:34 Gaidy 阅读(320) 评论(0) 推荐(0)

python爬虫入门（七）Scrapy框架之Spider类

摘要： Spider类 Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。换句话说，Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。 class scrapy.Spider是最基本的类，所有编阅读全文

posted @ 2019-12-25 11:29 Gaidy 阅读(860) 评论(0) 推荐(0)

python爬虫入门(六) Scrapy框架之原理介绍

摘要： Scrapy框架 Scrapy简介 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。 Scrapy 使用了 Twisted['twɪstɪ 阅读全文

posted @ 2019-12-25 11:27 Gaidy 阅读(300) 评论(0) 推荐(0)

python爬虫入门（五）Selenium模拟用户操作

摘要：爬虫(Spider)，反爬虫(Anti-Spider)，反反爬虫(Anti-Anti-Spider) 之间恢宏壮阔的斗争... 小莫想要某站上所有的电影，写了标准的爬虫(基于HttpClient库)，不断地遍历某站的电影列表页面，根据 Html 分析电影名字存进自己的数据库。这个站点的运维小黎发现阅读全文

posted @ 2019-12-25 11:24 Gaidy 阅读(906) 评论(0) 推荐(0)

python爬虫入门（四）利用多线程爬虫

摘要：多线程爬虫先回顾前面学过的一些知识 1.一个cpu一次只能执行一个任务，多个cpu同时可以执行多个任务2.一个cpu一次只能执行一个进程，其它进程处于非运行状态3.进程里包含的执行单元叫线程，一个进程可以包含多个线程4.一个进程的内存空间是共享的，每个进程里的线程都可以使用这个共享空间5.一个线程阅读全文

posted @ 2019-12-25 11:22 Gaidy 阅读(543) 评论(0) 推荐(0)

python爬虫入门（三）XPATH和BeautifulSoup4

摘要： XML和XPATH 用正则处理HTML文档很麻烦，我们可以先将 HTML文件转换成 XML文档，然后用 XPath 查找 HTML 节点或元素。 XML 指可扩展标记语言（EXtensible Markup Language） XML 是一种标记语言，很类似 HTML XML 的设计宗旨是传输数据阅读全文

posted @ 2019-12-25 11:20 Gaidy 阅读(484) 评论(0) 推荐(0)

python爬虫入门（二）Opener和Requests

摘要： Handler和Opener Handler处理器和自定义Opener opener是urllib2.OpenerDirector的实例，我们之前一直在使用urlopen，它是一个特殊的opener(也就是我们构建好的)。但是urlopen()方法不支持代理、cookie等其他的HTTP/GTTP 阅读全文

posted @ 2019-12-25 11:17 Gaidy 阅读(547) 评论(0) 推荐(0)

python爬虫入门（一）urllib和urllib2

摘要：爬虫简介什么是爬虫？爬虫：就是抓取网页数据的程序。 HTTP和HTTPS HTTP协议（HyperText Transfer Protocol，超文本传输协议）：是一种发布和接收 HTML页面的方法。 HTTPS（Hypertext Transfer Protocol over Secure S 阅读全文

posted @ 2019-12-25 11:13 Gaidy 阅读(717) 评论(0) 推荐(0)

16.git命令汇总

摘要：阅读全文

posted @ 2019-12-25 11:12 Gaidy 阅读(103) 评论(0) 推荐(0)

15.linux基础

摘要： 1.目录 /：根目录，一般根目录下只存放目录，在Linux下有且只有一个根目录。所有的东西都是从这里开始。当你在终端里输入“/home”，你其实是在告诉电脑，先从/（根目录）开始，再进入到home目录。 /bin、/usr/bin: 可执行二进制文件的目录，如常用的命令ls、tar、mv、cat等。阅读全文

posted @ 2019-12-25 11:09 Gaidy 阅读(330) 评论(0) 推荐(0)

14.Ubuntu基本命令

摘要： vi编辑器 { ：上一段diamante } ：下一段代码 dw: 删除一个单词权限前面的分三组第一：文件拥有者的权限第二：同组者拥有的权限第三：其他人拥有的权限前面“-”表示是文件前面是“d” 表示的文件夹 rwx 可读可写可执行改变权限 u 拥有者 g 同组者 o 其它人子母阅读全文

posted @ 2019-12-25 11:08 Gaidy 阅读(294) 评论(0) 推荐(0)

13.git的简单使用

摘要：安装 https://git-scm.com/downloads 一直点下一步就可以，安装完后打开方法：‘开始菜单’-->'Git'-->''Git Bash 安装完成后设置名字和电子邮件 bash基本操作 1）、cd : 改变目录。 2）、cd . . 回退到上一个目录，直接cd进入默认目录 3）阅读全文

posted @ 2019-12-25 11:06 Gaidy 阅读(233) 评论(0) 推荐(0)

13.Django1.11.6文档

摘要：第一步入门检查版本 python -m django --version 创建第一个项目 django-admin startproject mysite 运行 python manage.py runserver 更改端口 python manage.py runserver 8080 更改I 阅读全文

posted @ 2019-12-25 11:05 Gaidy 阅读(136) 评论(0) 推荐(0)

12.python进程协程异步IO

摘要：进程 Python中的多线程无法利用多核优势 , 所以如果我们想要充分地使用多核CPU的资源 , 那么就只能靠多进程了 multiprocessing模块中提供了Process , Queue , Pipe , Lock , RLock , Event , Condition等组件 , 与threa 阅读全文

posted @ 2019-12-25 11:04 Gaidy 阅读(359) 评论(0) 推荐(0)

12.Flask-Restful

摘要：定义Restful的视图安装：pip install flask-restful 如果使用Flask-restful,那么定义视图函数的时候，就要继承flask_restful.Resourse类，然后再根据当前请求的method来定义相应的方法。比如期望客户端是使用get方法发送过来的请求，那么阅读全文

posted @ 2019-12-25 11:01 Gaidy 阅读(512) 评论(0) 推荐(0)

12.Django思维导图

摘要：查看方式：右键-“新标签页打开图片”-“放大” 阅读全文

posted @ 2019-12-25 10:58 Gaidy 阅读(257) 评论(0) 推荐(0)

11.多线程、多进程和线程池编程

摘要： 1.1.线程同步Lock和Rlock (1)Lock 用锁会影响性能用锁会产生死锁 import threading from threading import Lock total = 0 lock = Lock() def add(): global total global local fo 阅读全文

posted @ 2019-12-25 10:57 Gaidy 阅读(302) 评论(0) 推荐(0)

11.python线程

摘要：基本概念 1.进程定义: 进程就是一个程序在一个数据集上的一次动态执行过程。组成：进程一般由程序、数据集、进程控制块三部分组成。程序：我们编写的程序用来描述进程要完成哪些功能以及如何完成；数据集：　则是程序在执行过程中所需要使用的资源；进程控制块:　用来记录进程的外部特征，描述进程的执阅读全文

posted @ 2019-12-25 10:55 Gaidy 阅读(221) 评论(0) 推荐(0)

Gaidy