随笔分类 -  Java

上一页 1 2
使用HDFS客户端java api读取hadoop集群上的信息
摘要：本文介绍使用hdfs java api的配置方法。 1、先解决依赖，pom 2、配置文件，存放hdfs集群配置信息，基本都是来源于core-site.xml和hdfs-site.xml，可以根据hdfs集群client端配置文件里的信息进行填写 3、java client api 4、configu 阅读全文
posted @ 2017-07-22 15:41 扎心了老铁 阅读(2812) 评论(0) 推荐(2)
springboot使用zookeeper(curator)实现注册发现与负载均衡
摘要：最简单的实现服务高可用的方法就是集群化，也就是分布式部署，但是分布式部署会带来一些问题。比如： 1、各个实例之间的协同(锁) 2、负载均衡 3、热删除 这里通过一个简单的实例来说明如何解决注册发现和负载均衡。 1、先解决依赖，这里只给出zk相关的依赖，pom.xml如下 2、ZkClient 这里使 阅读全文
posted @ 2017-07-17 20:03 扎心了老铁 阅读(8752) 评论(1) 推荐(1)
redis的sentinel主从切换(failover)与Jedis线程池自动重连
摘要：本文介绍如何通过sentinel监控redis主从集群，并通过jedis自动切换ip和端口。 1、配置redis主从实例 10.93.21.21:6379 10.93.21.21:6389 10.93.21.21:6399 主从同步关系 master：10.93.21.21:6379 slave:1 阅读全文
posted @ 2017-07-09 22:51 扎心了老铁 阅读(2798) 评论(0) 推荐(1)
Hadoop通过HCatalog编写Mapreduce任务访问hive库中schema数据
摘要：1、dirver 2、Mapper 3、Reducer 4、propertyUtil 5、配置 阅读全文
posted @ 2017-07-09 00:11 扎心了老铁 阅读(1358) 评论(0) 推荐(1)
java优雅的使用elasticsearch api
摘要：本文给出一种优雅的拼装elasticsearch查询的方式，可能会使得使用elasticsearch的方式变得优雅起来，使得代码结构很清晰易读。 建立elasticsearch连接部分请参看另一篇博客：http://www.cnblogs.com/kangoroo/p/7127003.html 1、 阅读全文
posted @ 2017-07-08 14:42 扎心了老铁 阅读(2120) 评论(0) 推荐(0)
springboot mybatis优雅的添加多数据源
摘要：springboot的原则是简化配置，本文试图不通过xml配置，使用configuration配置数据源，并进行简单的数据访问。 并且配置了多数据源，在开发过程中这种场景很容易遇到。 1、依赖 springboot的starter mybatis的springboot集成包 jdbc 2、在appl 阅读全文
posted @ 2017-07-07 18:02 扎心了老铁 阅读(24294) 评论(0) 推荐(0)
java通过shield链接Elasticsearch
摘要：本文mark了springboot中集成elasticsearch，并且实现连接带有shield权限管理的elasticsearch的方法。 tips:首先建议java client版本和elasticsearch版本一致。不然可能会出现各种问题。 1、首先在pom中加入如下依赖 2、其次编写ESC 阅读全文
posted @ 2017-07-06 16:27 扎心了老铁 阅读(2237) 评论(0) 推荐(0)
java spark-streaming接收TCP/Kafka数据
摘要：本文将展示 1、如何使用spark-streaming接入TCP数据并进行过滤； 2、如何使用spark-streaming接入TCP数据并进行wordcount； 内容如下： 1、使用maven，先解决pom依赖 1、接收TCP数据并过滤，打印含有error的行 执行方法 2、接收Kafka数据并 阅读全文
posted @ 2017-07-04 12:48 扎心了老铁 阅读(1105) 评论(0) 推荐(0)
springboot高并发redis细粒度加锁(key粒度加锁)
摘要：本文探讨在web开发中如何解决并发访问带来的数据同步问题。 1、需求： 通过REST接口请求并发访问redis，例如:将key=fusor:${order_id} 中的值+1； 2、场景： 设想，多线程对key=fusor:${order_id}并发访问触发了竞态条件，例如两个线程同时发现key=f 阅读全文
posted @ 2017-06-08 15:36 扎心了老铁 阅读(9025) 评论(1) 推荐(0)
java使用spark/spark-sql处理schema数据
摘要：1、spark是什么？ Spark是基于内存计算的大数据并行计算框架。 1.1 Spark基于内存计算 相比于MapReduce基于IO计算，提高了在大数据环境下数据处理的实时性。 1.2 高容错性和高可伸缩性 与mapreduce框架相同，允许用户将Spark部署在大量廉价硬件之上，形成集群。 2 阅读全文
posted @ 2017-05-22 21:38 扎心了老铁 阅读(11150) 评论(0) 推荐(0)

上一页 1 2