huangyanpeng

摘要： 01-基于Redis的分布式爬虫（基于RedisCrawlSpider类） 修改配置文件 将起始url 放到 调度器队列中 查看爬取结果 02-UA池 03-代理池 04-selenium在scrapy中的应用 ·需求：爬取的是基于文字的新闻数据（国内，国际，军事，航空） # -*- coding: 阅读全文

摘要： 01-核心组件 ·五大核心组件的工作流程： 02-post请求 03-cookie操作 04-代理 05-日志等级 06-请求传参（meta） 解决问题：爬取的数据值不在同一个页面。 需求：将id97电影网站中的电影详情数据进行爬取 07-CrawlSpider 阅读全文

摘要： 01-先了解ES6语法 1.声明变量let和const 2.模板字符串 语法:` ${变量名} ` 注：` ` 是tab键上面的反引号。 3.函数的书写 es6箭头函数的书写： 4.对象的创建 5.es6中类的概念class 6.global对象 上面代码可以保证各种环境里面，global对象都是存 阅读全文

摘要： 01-scrapy介绍 02-项目的目录结构： 03-配置文件settings.py的配置 04-创建项目和爬虫文件 05-执行 06-基于终端指令的持久化存储 07-基于管道的持久化存储 08-基于MySQL的持久化存储 09-基于redis的持久化存储 10-管道的高级操作 11-就多个url的 阅读全文

摘要： 01-安装Jupyter Notebook 安装Jupyter Notebook的前提是Python的版本在3.3以上（或2.7版本） 通过安装Anaconda，来解决安装Jupyter Notebook的问题。 安装Anaconda 官网：https://www.anaconda.com/down 阅读全文

摘要： 01-修改django默认的数据库 02-配置多数据库连接 03-实现数据库路由 04-为每个app的model分别指定所需要连接的数据库 05-同步数据库 阅读全文

摘要： 01-Git常用命令 https://github.com/huangyanpeng1108/Python.git git config --local user.name xxx git config --local user.email xxx@163.com git init 初始化 git 阅读全文

摘要： 一、下载和基本使用 官方地址：www.bootcss.com 二、响应式介绍 1.@meida 媒体查询 （1）响应式页面 为了页面能够适应不同工具的屏幕大小的限制，而开发的一种自适应页面，即 一次开发，处处处显示。 （2）CSS的@media查询 使用@media查询，可以针对不同的屏幕大小定义不 阅读全文

摘要： 本文档所提供的编码规范，适用于主要的Python发行版中组成标准库的Python代码。请参阅PEP关于Python的C实现的C编码风格指南的描述。 本文档和PEP257（文档字符串规范）改编自Guido的《Python Style Guide》一文，并从《Barry's style guide》添加 阅读全文

摘要： Ajax技术 Ajax = 异步 JavaScript 和 XML。 Ajax 是一种在无需重新加载整个网页的情况下，能够更新部分网页的技术。 1、jQuery的load()方法 jQuery load()方法是简单但强大的AJAX方法。 load()方法从服务器加载数据，并把返回的数据放入被选元素 阅读全文