01 2018 档案

算法与数据结构
摘要：什么是算法？ 算法：一个计算过程，解决问题的方法 一个大牛曾说过：程序=数据结构+算法 递归的两个特点： 调用自身 结束条件 下面两个的不同： 我们来看代码运行的时间复杂度和空间复杂度： 时间复杂度： print('Hello World!')#这个时间的复杂度是o(1) for i in rang 阅读全文

posted @ 2018-01-31 22:32 黎明NB 阅读(160) 评论(0) 推荐(0)

Matplotlib入门
摘要：使用之前首先下载：pip install Matplotlib 接着引入：import matplotlib.pylot as plt 绘图函数：plt.plot() 显示函数：plt.show() 使用plt.plot?可以查看它的参数 我们通过加参数，可以更改这个图线的形状 阅读全文

posted @ 2018-01-29 16:53 黎明NB 阅读(144) 评论(0) 推荐(0)

Vue仿抽屉
摘要：创建VUE项目的步骤： npm install vue-cli -g vue init webpack myproject cd myproject npm run dev 组件：它是可扩展的html 里面包括： <template></template> <script></script> <st 阅读全文

posted @ 2018-01-28 19:46 黎明NB 阅读(453) 评论(0) 推荐(0)

node.js入门
摘要：node.js 什么是node.js 它是可以运行Javascript的服务平台 可以把它当作一门后端程序，只是它的开发语言是javascript python:自己创建的服务 php：apache java:tomcat node.js:express 安装及使用: 安装地址：http：//www 阅读全文

posted @ 2018-01-28 15:53 黎明NB 阅读(128) 评论(0) 推荐(0)

分布式爬虫
摘要：一 介绍 二 scrapy_redis组件 一 介绍 原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） 所以实现分布式爬取的关键就是，找一台专门的主机上运行一个共享的队列比如Redis，然后重写Scrap 阅读全文

posted @ 2018-01-26 17:15 黎明NB 阅读(120) 评论(0) 推荐(0)

ES6入门
摘要：一 变量与常量 二 模板字符串 三 解构变量 四 对象的扩展 五 函数的扩展 六 数组的扩展 ES6:EMCAScript6 (es2015) Emca:国际标准组织 一 变量与常量 const a='hello' 常量是定义后就不能更改的 let和var定义的是变量 let ：定义一个块级作用域的 阅读全文

posted @ 2018-01-26 15:28 黎明NB 阅读(148) 评论(0) 推荐(0)

Vue.js入门
摘要：一、什么是VUE？ 它是一个构建用户界面的JAVASCRIPT框架 二、怎么样使用VUE 1）引入vue.js <script src='vue.js'></script> 2)展示html 就是写在body中的div里面的代码 3）建立vue对象 <!DOCTYPE html> <html lan 阅读全文

posted @ 2018-01-25 20:13 黎明NB 阅读(153) 评论(0) 推荐(0)

用scrapy爬取亚马逊网站项目
摘要：这次爬取亚马逊网站，用到了scrapy，代理池，和中间件： spiders里面： # -*- coding: utf-8 -*- import scrapy from scrapy.http.request import Request from urllib.parse import urlenc 阅读全文

posted @ 2018-01-24 21:08 黎明NB 阅读(605) 评论(0) 推荐(0)

Scrapy
摘要：一 介绍 二 安装 三 命令行工具 四 项目结构以及爬虫应用简介 五 Spiders 六 Selectors 七 Items 八 Item Pipeline 九 Dowloader Middeware 十 Spider Middleware 十一 settings.py 十二 爬取亚马逊商品信息 一 阅读全文

posted @ 2018-01-23 19:40 黎明NB 阅读(199) 评论(0) 推荐(0)

MongoDB修改与聚合二
摘要：1.修改方法 一 语法 里面有三个大的语句:一个是查询条件；一个是修改字段；一个是其他参数(目前就有两个) db.table.update( 条件, 修改字段, 其他参数 ) update db1.t1 set id=10 where name="egon";#这是sql语句的更新使用 db.tab 阅读全文

posted @ 2018-01-22 18:49 黎明NB 阅读(984) 评论(0) 推荐(0)

爬虫性能相关
摘要：一：背景知识 二：同步、异步、回调机制 三：高性能 一：背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，采用串行的方式执行，只能等待爬取一个结束后才能继续下一个，效率会非常低。需要强调的是：串行并不意味着低效，如果串行的都是纯计算的任务，那么cpu的利用 阅读全文

posted @ 2018-01-20 20:09 黎明NB 阅读(177) 评论(0) 推荐(0)

爬虫基本原理
摘要：一.爬虫是什么？ 二.爬虫的基本流程 三.请求与响应 四.Request 五.Response 六.总结 一爬虫是什么？ 二爬虫的基本流程 三请求与响应 四.Request from urllib.parse import urlencode import requests headers={ 'A 阅读全文

posted @ 2018-01-20 11:56 黎明NB 阅读(467) 评论(0) 推荐(0)

selenium模块
摘要：一、介绍 二、安装 三、基本使用 四、选择器 五、等待元素加我 六、元素交互操作 七 、其他 八、项目练习 一、介绍 官网：http://selenium-python.readthedocs.io 二、安装 #安装：selenium+chromedriver pip3 install seleni 阅读全文

posted @ 2018-01-17 19:56 黎明NB 阅读(147) 评论(0) 推荐(0)

用requests爬取一个招聘网站
摘要：第二步：登陆 第三步：授权 第五步：筛选职位信息 没有取到数据，因为数据是通过ajax发送的，所以我们换另一种方法解决： 阅读全文

posted @ 2018-01-17 19:43 黎明NB 阅读(281) 评论(0) 推荐(0)

SALALchemy Session与scoped_session的源码分析
摘要：我们发现Session与scoped_session都有一些方法： 但是scoped_session的源码里面没有设置这些方法让我们从源码里去窥探下源码在哪里设置了这些方法： Session里面的方法放在了public_methods里面： scoped_session的源码里面没有这些方法？： 那 阅读全文

posted @ 2018-01-13 11:37 黎明NB 阅读(951) 评论(0) 推荐(0)

Flask-SQLAlchemy
摘要：SQLAlchemy介绍 安装命令： pip install mysqlclient -i http://pypi.douban.com/simple --trusted-host pypi.douban.com 一. 介绍 SQLAlchemy是一个基于Python实现的ORM框架。该框架建立在 阅读全文

posted @ 2018-01-11 21:16 黎明NB 阅读(166) 评论(0) 推荐(0)

ajax 数据类型结构
摘要： 阅读全文

posted @ 2018-01-01 23:58 黎明NB 阅读(101) 评论(0) 推荐(0)

导航