随笔分类 -  java

1 2 下一页
java 爬虫 WebMagic（四）-Scheduler
摘要：Scheduler是WebMagic中对url进行管理的组件，它主要有2个功能： 一般使用不需要自定义，WebMagic默认实现了QueueScheduler。 WebMagic内置了几个常用的Scheduler。 所有默认的Scheduler都默认实现了 DuplicateRemover接口，去u 阅读全文
posted @ 2019-09-27 17:08 懒到饿死的猫 阅读(935) 评论(0) 推荐(0)
java 爬虫 WebMagic（三）-PipeLine
摘要：在实现了processor接口的时候，把抓取的数据通过 发送到自定义的Pipeline中，对数据进行后期处理，如分析，存储等 实现方式：继承Pipeline接口，比如： 经常直接将数据存到mysql，redis等数据库中，数据持久化的工具就不用我说了吧？jdbc，mybatis等 webMagic中 阅读全文
posted @ 2019-09-27 16:18 懒到饿死的猫 阅读(1202) 评论(0) 推荐(0)
java 爬虫 WebMagic（二）-PageProcessor
摘要：PageProcessor是WebMagic中最重要的一个，它用来编写爬取的规则，爬什么？怎么爬？ 首先PageProcessor是一个接口，具体实现需要集成这个接口，重写它的process 例如： site这个对象必须要有，不然会报错，它封装了爬取的配置如： setTimeOut(1000) 表示 阅读全文
posted @ 2019-09-27 15:54 懒到饿死的猫 阅读(2174) 评论(0) 推荐(0)
java 爬虫 WebMagic（一）-Spider
摘要：现在做爬虫的大部分都在用Python，其实java也可以，这里介绍一款轻量级国产爬虫框架 Webmagic 官方地址：http://webmagic.io/ 个人对于爬虫的理解分为2种，第一种是爬取页面（静态数据），第二种是爬取接口（动态加载的数据） 对于静态的页面数据，关键获取到页面documen 阅读全文
posted @ 2019-09-27 12:07 懒到饿死的猫 阅读(2839) 评论(0) 推荐(0)
java 解析json 万能型
摘要：上一篇c# 的万能型Json 解析，现在写一篇Java的万能型Json 解析 导入FastJson依赖 使用JSON.parseObject() 比如解析一个User对象 解析Map，List 阅读全文
posted @ 2019-09-27 10:55 懒到饿死的猫 阅读(477) 评论(0) 推荐(0)
实现同用户登录互挤，将前一个用户挤下线（思路+实现）
摘要：由于对用户数据的安全性考虑，在同一时刻不允许两个相同的用户存在(SSM架构下)。 场景，假设 Tom使用了用户1，Joker也是使用了用户1，两人同时对用户1 的相关数据进行了修改，就会造成数据的安全隐患。 思路： 1.定义一个key-value结构的用户栈，将用户名与sessionId绑定，存入用 阅读全文
posted @ 2019-09-26 17:45 懒到饿死的猫 阅读(4446) 评论(0) 推荐(2)
spring cloud 使用Turbine 监控集群的访问情况
摘要：上一篇写了如何使用 Hystrix的dashboard去监控单个应用的访问情况 现在要介绍的是如何去监控整个集群的访问情况，这里要使用到Turbine，一个Netflix的开源项目 它可以将多hystrix.stream的内容聚合为一个数据源供给dashboard展示。 我们先说一下整体的架构： 2 阅读全文
posted @ 2019-09-24 17:26 懒到饿死的猫 阅读(1413) 评论(0) 推荐(0)
spring cloud 使用Hystrix-dashboard 监控Feign的单个应用
摘要：上一篇，使用了Feign的熔断器Hystrix，去对Consumer进行了改造，使其拥有了对服务异常的处理能力。 接下来要做对服务的访问情况进行监控 Hystrix-dashboard 熔断监控，在实际集群中同服务的节点有许多个，这里仅作单个服务节点的监控，集群中的监控会在下一篇有讲 对消费者Con 阅读全文
posted @ 2019-09-24 12:00 懒到饿死的猫 阅读(700) 评论(0) 推荐(1)
spring cloud 使用Feign Hystrix熔断器
摘要：雪崩效应 在微服务架构中通常会有多个服务层调用，基础服务的故障可能会导致级联故障，进而造成整个系统不可用的情况，这种现象被称为服务雪崩效应。服务雪崩效应是一种因“服务提供者”的不可用导致“服务消费者”的不可用,并将不可用逐渐放大的过程。 如果下图所示：A作为服务提供者，B为A的服务消费者，C和D是B 阅读全文
posted @ 2019-09-23 15:01 懒到饿死的猫 阅读(1708) 评论(0) 推荐(0)
spring cloud 使用Feign调用服务
摘要：在上一篇hello world的基础上，改造Consumer，使用更加便捷，易于理解的Feign来调用服务 Feign是一个声明式Web Service客户端。 使用Feign能让编写Web Service客户端更加简单, 它的使用方法是定义一个接口，然后在上面添加注解，同时也支持JAX-RS标准的 阅读全文
posted @ 2019-09-23 12:21 懒到饿死的猫 阅读(324) 评论(0) 推荐(0)
spring cloud 服务提供与调用
摘要：直接用上一篇搭建好的spring cloud注册中心集群，编写服务提供者provider和服务消费者consumer 服务提供Provider pom.xml application.yml 启动类 Controller 服务调用Consumer pom.xml application.yml 启动 阅读全文
posted @ 2019-09-23 11:46 懒到饿死的猫 阅读(415) 评论(0) 推荐(0)
spring cloud 搭建注册中心Eureka（集群模式）
摘要：集群 注册中心这么关键的服务，如果是单点话，遇到故障就是毁灭性的。在一个分布式系统中，服务注册中心是最重要的基础部分，理应随时处于可以提供服务的状态。为了维持其可用性，使用集群是很好的解决方案。Eureka通过互相注册的方式来实现高可用的部署，所以我们只需要将Eureke Server配置其他可用的 阅读全文
posted @ 2019-09-20 17:46 懒到饿死的猫 阅读(9379) 评论(1) 推荐(2)
spring cloud 搭建注册中心Eureka（单节点）
摘要：服务中心 服务中心又称注册中心，管理各种服务功能包括服务的注册、发现、熔断、负载、降级等，比如dubbo admin后台的各种功能。 Eureka是Netflix开源的一款提供服务注册和发现的产品，它提供了完整的Service Registry和Service Discovery实现。也是sprin 阅读全文
posted @ 2019-09-20 17:02 懒到饿死的猫 阅读(702) 评论(0) 推荐(0)
高级java技术栈图
摘要： 阅读全文
posted @ 2019-09-19 15:29 懒到饿死的猫 阅读(2692) 评论(0) 推荐(0)
RabbitMQ 详解
摘要：转载自：http://www.ityouknow.com/springboot/2016/11/30/spring-boot-rabbitMQ.html RabbitMQ 即一个消息队列，主要是用来实现应用程序的异步和解耦，同时也能起到消息缓冲，消息分发的作用。 RabbitMQ 介绍 Rabbit 阅读全文
posted @ 2019-09-18 15:14 懒到饿死的猫 阅读(392) 评论(0) 推荐(0)
springboot 整合RabbitMQ
摘要：pom.xml application.yml RabbitConfig Sender Receiver 阅读全文
posted @ 2019-09-18 12:08 懒到饿死的猫 阅读(250) 评论(0) 推荐(0)
springboot 整合ActiveMq
摘要：pom.xml 创建消息队列 发送消息 接收消息 阅读全文
posted @ 2019-09-17 18:31 懒到饿死的猫 阅读(230) 评论(0) 推荐(0)
springboot 整合redis
摘要：pom.xml application.yml 在springboot启动类ApplicationStart中加上注解@EnableCaching，开启缓存 使用： 阅读全文
posted @ 2019-09-17 18:23 懒到饿死的猫 阅读(264) 评论(0) 推荐(0)
springboot 整合mybatis
摘要：pom.xml application.yml mybatis-conf.xml 最后在mapper映射接口上使用注解@Mapper 阅读全文
posted @ 2019-09-17 18:10 懒到饿死的猫 阅读(227) 评论(0) 推荐(0)
SpringBoot 打包war，并在tomcat中发布
摘要：springboot 实现了“嵌入式”思想，可以直接通过指令 java -jar xxxxx.jar 发布一个应用。 但有些情况下，我们更希望能通过外置的tomcat来发布该应用。 Maven文件pom.xml中 然后直接maven 打包package 搞定 阅读全文
posted @ 2019-09-17 17:32 懒到饿死的猫 阅读(349) 评论(0) 推荐(0)

1 2 下一页