专业搬砖工

摘要： 原文链接：https://blog.csdn.net/wangpei1949/article/details/80472928 flume中有三种可监控文件或目录的source、分别是Exec Source、Spooling Directory Source和Taildir Source。 Tail 阅读全文

摘要： 1.spark程序中的kafka的host也定要写成hostname的格式而不是写ip的格式： 例如："bootstrap.servers" -> "os1:9092,os2:9092,os3:9092"，而不是ip的格式，否则会报错 2.flume的spooldir的source问题： 如果使用s 阅读全文

摘要： 问题：redis是基于内存的，所以一般来说反应速度是毫秒级的，但是在本机开发测试的时候遇到大的数量及访问或者是高频的访问会造成socket的延时增加到秒级，由redis.clients.jedis.Protocol.DEFAULT_TIMEOUT = 2000 我们知道默认的超时时间是2秒，所以有可 阅读全文

摘要： Redis3集群安装 1. 什么是Redis Redis是目前一个非常优秀的key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set有序集合)和hash（哈希类型）。 2. 阅读全文

摘要： //连接redis ，redis的默认端口是6379 Jedis jedis = new Jedis ("localhost",6379); //验证密码，如果没有设置密码这段代码省略 jedis.auth("password"); jedis.connect();//连接 jedis.disconnect();//断开连接 Set keys = jedis.key... 阅读全文

摘要： 这两天主要是做了中国移动的实时数据分析一个小项目（可以说是demo了），这里记录下来整个过程里面遇到的坑，首先安装好flume，kafka，spark（基于代码本地运行可以不安装），redis，zookeeper 主要是为了熟悉一下整个的一个spark-streaming的一个整个流程，还有就是了解 阅读全文