05 2020 档案

scrapy-redis 分布式爬虫爬取房天下网站所有国内城市的新房和二手房信息
摘要：scrapy-redis 分布式爬虫爬取房天下网站所有国内城市的新房和二手房信息 爬取思路 1. 进入 https://www.fang.com/SoufunFamily.htm 页面，解析所有的省份和城市，获取到城市首页链接 2. 通过分析，每个城市的新房都是在首页链接上添加newhouse和ho 阅读全文
posted @ 2020-05-31 09:32 她的开呀 阅读(667) 评论(0) 推荐(0)
scrapy中使用selenium+webdriver获取网页源码，爬取简书网站
摘要：scrapy中使用selenium+webdriver获取网页源码，爬取简书网站 由于简书中一些数据是通过js渲染出来的，所以通过正常的request请求返回的response源码中没有相关数据， 所以这里选择selenium+webdriver获取网页源码 1. 设置需要爬取的数据 import 阅读全文
posted @ 2020-05-30 01:11 她的开呀 阅读(1382) 评论(0) 推荐(0)
scrapy 使用下载器中间件设置随机请求头
摘要：scrapy 使用下载器中间件设置随机请求头 1. 在middlewares.py 中设置下载中间件 import random class UseragentDownloaderMiddleware: # 自定义请求头列表 USER_AGENTS = [ "Mozilla/5.0 (Windows 阅读全文
posted @ 2020-05-30 01:03 她的开呀 阅读(574) 评论(0) 推荐(0)
Crawl Spider 汽车之家中宝马5系全部图片
摘要：Crawl Spider 汽车之家中宝马5系全部图片 yls 2020/5/28 需要使用 LinkExtractor Rule来决定爬虫的具体走向 Crawl Spider介绍 scrapy 爬取文件或者图片简介 *. 为什么选择使用scrapy内置的下载文件的方法： 1. 避免重新下载最近已经下 阅读全文
posted @ 2020-05-29 00:41 她的开呀 阅读(219) 评论(0) 推荐(0)
Scrapy 实现需要登录简单网站的爬取（以登录人人网为例）
摘要：Scrapy 实现需要登录简单网站的爬取（以登录人人网为例） 有些网站登录时需要验证码等操作，登录思想都差不多，知识逻辑复杂一些 scrapy的基本使用参考 scrapy 实现人人网登录两种思路 1. 使用 Post请求 + 登录需要的数据（用户名、密码等），代码如下 import scrapy " 阅读全文
posted @ 2020-05-28 00:22 她的开呀 阅读(1128) 评论(0) 推荐(0)
Crawl Spider 爬取微信小程序社区信息
摘要：Crawl Spider 爬取微信小程序社区信息 yls 2020/5/27 需要使用 LinkExtractor Rule来决定爬虫的具体走向 Crawl Spider介绍 1. 创建项目 scrapy startproject wxapp 2. 创建爬虫 cd wxapp scrapy gens 阅读全文
posted @ 2020-05-27 20:33 她的开呀 阅读(376) 评论(0) 推荐(0)
python3.8 安装scrapy及其使用 ，爬取糗事百科小案例
摘要：yls 2020/5/27 安装scrapy之前，先安装 twisted，否则会报错 在 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 中下载与python对应版本的 Twisted ,cp38对应py3.8，自行选择32 or 64位。 找 阅读全文
posted @ 2020-05-27 16:54 她的开呀 阅读(2071) 评论(0) 推荐(1)
netty的基本使用
摘要：yls 2020/5/23 有了NIO,为什么还要有netty? 1. NIO类库和和API繁杂，需要熟练掌握 Selector,ServerSocketChannel,SocketChannel,ByteBuffer等 2. 需要具备其它额外的技能，要熟悉java多线程编程，因为NIO涉及到Rea 阅读全文
posted @ 2020-05-23 00:22 她的开呀 阅读(610) 评论(0) 推荐(0)
netty 实现简单的rpc调用
摘要：yls 2020/5/23 netty 实现简单rpc准备 1. 使用netty传输java bean对象，可以使用protobuf，也可以通过json转化 2. 客户端要将调用的接口名称，方法名称，参数列表的类型和值传输到服务端， 可以用动态代理 3. 服务端要对接口和实现类进行映射（或者自定义名 阅读全文
posted @ 2020-05-23 00:18 她的开呀 阅读(1228) 评论(0) 推荐(2)
NIO 的基本使用
摘要：yls 2020/5/23 NIO中buffer的使用 2.客户端 NIO中Scattering、Gathering的使用 1.服务端 2.客户端使用上边 Socket通信实例 中的就可以（改一下端口号） NIO 使用 Socket通信实现一个群发系统 1.服务端 2.客户端 阅读全文
posted @ 2020-05-23 00:11 她的开呀 阅读(260) 评论(0) 推荐(0)
BIO实现 Socket 通信
摘要：yls 2020/5/23 1.服务端 2.客户端 阅读全文
posted @ 2020-05-23 00:09 她的开呀 阅读(359) 评论(0) 推荐(0)
springboot使用ElasticSearch
摘要：springboot使用ElasticSearch 使用ES官方自带的 "java客户端(Java High Level REST Client)" 进行操作，不使用spring data 封装好的模板。 因为没有人比ES官方更了解自己的产品 1. 导入依赖包 2. 创建application.ym 阅读全文
posted @ 2020-05-14 13:43 她的开呀 阅读(2314) 评论(0) 推荐(0)
docker-compose安装rabbitmq集群(主从集群---》镜像集群)
摘要：docker compose安装rabbitmq集群(主从集群 》镜像集群) yls 2020/5/11 创建docker compose.yml 文件 创建 rabbitmqnet 子网 创建 rabbitmq.sh 脚本 如果想用ram存储就用第一个shell文件,用硬盘存储就用第二个shell 阅读全文
posted @ 2020-05-11 14:17 她的开呀 阅读(3105) 评论(1) 推荐(0)
Spring Boot整合rabbitmq
摘要：yls 2020/5/10 Spring Boot整合rabbitmq rabbitmq的基本概念和其它相关知识请自主去官网学习 "rabbitmq官网" ， 本文只介绍rabbitmq在springboot中如何使用 添加依赖包 添加配置文件 rabbitmq五种模式的使用 1. 简单队列 1. 阅读全文
posted @ 2020-05-10 17:35 她的开呀 阅读(999) 评论(0) 推荐(1)
docker-compose安装rabbitmq
摘要：编写时间：2020-05-08 参考文档：docker安装rabbitmq 1. 编写docker-compose.yml version: '3' services: rabbitmq: image: rabbitmq:3.8.3-management container_name: rabbit 阅读全文
posted @ 2020-05-08 21:07 她的开呀 阅读(10266) 评论(1) 推荐(0)
springboot使用cors解决跨域
摘要：yls 2020/5/7 新建一个配置类 /** * 使用cors解决跨域问题 * */ @Configuration public class CorsConfig implements WebMvcConfigurer { @Override public void addCorsMapping 阅读全文
posted @ 2020-05-07 19:32 她的开呀 阅读(2023) 评论(0) 推荐(0)
spring cloud 使用zipkin服务链路追踪
摘要：yls 2020/5/6 搭建zipkin服务端 1.导入依赖包 2.在启动类添加注解 3.添加配置文件 4.启动服务，浏览器打开 ，查看是否成功 添加服务链路追踪客户端 "使用feign模拟服务调用场景" 然后在每个服务客户端中执行如下操作 1.导入依赖包 2.创建配置文件 3.启动所有服务后，刷 阅读全文
posted @ 2020-05-06 13:19 她的开呀 阅读(599) 评论(0) 推荐(0)
Feign服务消费 + Hystrix熔断
摘要：yls 2020/5/5 1. "搭建服务注册中心" 2.创建服务提供者 新建一个module，导入依赖包 启动类添加注解 添加配置文件application.yml,将服务注册到eureka中 创建一个controller，以供消费者调用 启动服务 3.创建服务消费者 新建module,导入依赖包 阅读全文
posted @ 2020-05-05 21:44 她的开呀 阅读(366) 评论(0) 推荐(0)
spring cloud config 配置管理中心
摘要：yls 2020/5/5 创建配置管理中心 "参考文档" 1.添加依赖包 2.在启动类上添加注解 3.创建配置文件 4.在仓库的respo目录下添加配置文件，一般在本地创建好再上传到仓库 注意文件的名称不是乱起的，例如 config single client dev.yml 和 config si 阅读全文
posted @ 2020-05-05 19:28 她的开呀 阅读(586) 评论(0) 推荐(0)
spring cloud Eureka服务注册
摘要：yls 2020/5/5 创建注册管理中心 1.添加依赖 2.在启动程序添加注解 3.创建配置文件 4.运行项目后，打开网址 成功即可 微服务注册到服务注册中心 1.添加依赖 2.在启动类上添加注解 3.添加配置文件application.yml 4.在注册中心启动的情况下，启动该服务，然后在注册中 阅读全文
posted @ 2020-05-05 19:26 她的开呀 阅读(340) 评论(0) 推荐(0)
docker compose 搭建pxc集群,haproxy做负载均衡
摘要：docker compose 搭建pxc集群 yls 2020/5/2 1. 创建目录结构 2. 创建pxc集群的网络 3. 创建master节点的docker compose.yml文件 4. 创建配置文件my.cnf 运行master节点 通过 可以查看到master节点的ip为192.168. 阅读全文
posted @ 2020-05-02 10:30 她的开呀 阅读(708) 评论(0) 推荐(0)