11 2018 档案

Kafka生产者producer简要总结
摘要：Kafka producer在设计上要比consumer简单，不涉及复杂的组管理操作，每个producer都是独立进行工作的，与其他producer实例之间没有关联。Producer的主要功能就是向某个topic的某个分区发送消息，所以首先要确认向topic的哪个分区写入消息——即分区器(parti 阅读全文
posted @ 2018-11-23 11:44 JackLU刘先生 阅读(4912) 评论(0) 推荐(0)
相同数据源情况下，使用Kafka实时消费数据 vs 离线环境下全部落表后处理数据，结果存在差异
摘要：原因分析： 常见丢包现象如突然掉线、页面卡住、视频卡住、图片加载卡主等，使用Ping测量丢包的最佳方法是向一个IP地址发送大量的Ping命令，然后检查没有应答的那些Ping命令。如果快速地发出了50次Ping命令，可以检查没有没有应答的次数，并把没有应答的次数作为丢包。没有应答的次数超过5%可能就值 阅读全文
posted @ 2018-11-19 18:05 JackLU刘先生 阅读(862) 评论(0) 推荐(0)
kafka部分重要参数配置-broker端参数
摘要：broker端参数主要在config/server.properties目录下设置： 启动命令：nohup ./kafka-server-start.sh -daemon ../config/server.properties & broker.id参数：Kafka使用唯一的一个整数来标识每个bro 阅读全文
posted @ 2018-11-19 18:00 JackLU刘先生 阅读(1302) 评论(0) 推荐(0)
kafka概要设计
摘要：Kafka核心功能 即：高性能的消息发送与高性能的消息消费 下载安装包后即可启动Kafka服务器，但是此前需要首先启动Zookeeper服务器，Zookeeper是为Kafka提供协调服务的工具，Kafka内置提供了一个Zookeeper服务器以及一组相关的管理脚本，直接使用该内置Zookeeper 阅读全文
posted @ 2018-11-19 17:57 JackLU刘先生 阅读(473) 评论(0) 推荐(0)
HttpClient简述
摘要：HttpClient相比传统JDK自带的URLConnection，增加了易用性和灵活性，它不仅是客户端发送Http请求变得容易，而且也方便了开发人员测试接口（基于Http协议的），即提高了开发的效率，也方便提高代码的健壮性。示例：发送Post/Get请求接口。 依赖包 <dependency> < 阅读全文
posted @ 2018-11-19 11:29 JackLU刘先生 阅读(301) 评论(0) 推荐(0)
双十一问题：在洪峰数据来临的瞬间，redis出现连接超时异常
摘要：如图所示，在大数据量来袭时，部署服务的机器中存在一台机器突然出现该报错，并且一直持续下去，直到洪峰数据结束也未恢复，重启机器后该问题解决 原因分析： 在请求redis过多时,因为未及时的释放掉redis的连接资源，导致连接失败或者连接超时 应用服务部署在该机器上的进程较多，负载较大，仅该机器出现这一 阅读全文
posted @ 2018-11-12 15:30 JackLU刘先生 阅读(256) 评论(0) 推荐(0)
双十一问题：kafka消费能力低下原因思考
摘要：kafka消费能力低下，rebalance过程思考 阅读全文
posted @ 2018-11-12 15:15 JackLU刘先生 阅读(1990) 评论(0) 推荐(0)
Timer类注意事项
摘要：Java的一个Timer对象可以执行多个Timertask任务，但是一个Timer对象本身只有一个线程，如果向他提交多个task，并且某个task相当耗时的话，其他的task即使到了执行时间，仍然会等之前的task执行完毕。更有问题，如果前一个task抛出了异常导致线程终止，后面的task将无法执行 阅读全文
posted @ 2018-11-10 15:20 JackLU刘先生 阅读(605) 评论(0) 推荐(0)
nohup命令、setsid命令、Daemon(守护进程)简要梳理
摘要：nohup命令 当用户注销（logout）或者网络断开时，终端会收到 HUP（hangup）信号从而关闭其所有子进程。因此，我们的解决办法就有两种途径：要么让进程忽略 HUP 信号，要么让进程运行在新的会话里从而成为不属于此终端的子进程。 nohup 的用途就是让提交的命令忽略 hangup 信号。 阅读全文
posted @ 2018-11-10 15:16 JackLU刘先生 阅读(9100) 评论(0) 推荐(0)