2017年8月11日
摘要：
logback 日志写入kafka队列 logback-kafka-appender Logback incompatibility Warning Due to a bug in logback-core (LOGBACK-1158), logback-kafka-appender does no 阅读全文
posted @ 2017-08-11 22:19
adolfmc
阅读(1491)
评论(0)
推荐(0)
摘要：
一、配置防火墙，开启80端口、3306端口 CentOS 7.0默认使用的是firewall作为防火墙，这里改为iptables防火墙。 1、关闭firewall： systemctl stop firewalld.service #停止firewall systemctl disable fire 阅读全文
posted @ 2017-08-11 21:59
adolfmc
阅读(265)
评论(0)
推荐(0)
摘要：
前面说过Kafka集群环境的部署，现在主要说一下在本地测试中Kafka单机环境的部署，和前面一样首先保证zookeeper服务的正常运行，然后解压并释放kafka安装包，并放到指定位置： 现在开始编辑配置文件server.properties，执行命令： vim config/server.prop 阅读全文
posted @ 2017-08-11 12:30
adolfmc
阅读(20120)
评论(0)
推荐(0)
摘要：
简介 Kafka 是一种高吞吐的分布式发布订阅消息系统，能够替代传统的消息队列用于解耦合数据处理，缓存未处理消息等，同时具有更高的吞吐率，支持分区、多副本、冗余，因此被广泛用于大规模消息数据处理应用。Kafka 支持Java 及多种其它语言客户端，可与Hadoop、Storm、Spark等其它大数据 阅读全文
posted @ 2017-08-11 10:35
adolfmc
阅读(7942)
评论(0)
推荐(0)
摘要：
（可选）创建新用户 一般我倾向于把需要启动daemon进程，对外提供服务的程序，即服务器类的程序，安装在单独的用户下面。这样可以做到隔离，运维方面，安全性也提高了。 创建一个新的group, 创建一个新的用户，并加入group, 给新用户设置密码， 1. 单机模式(Standalone mode) 阅读全文
posted @ 2017-08-11 10:35
adolfmc
阅读(374)
评论(0)
推荐(0)
摘要：
我们知道storm的作用主要是进行流式计算，对于源源不断的均匀数据流流入处理是非常有效的，而现实生活中大部分场景并不是均匀的数据流，而是时而多时而少的数据流入，这种情况下显然用批量处理是不合适的，如果使用storm做实时计算的话可能因为数据拥堵而导致服务器挂掉，应对这种情况，使用kafka作为消息队 阅读全文
posted @ 2017-08-11 09:44
adolfmc
阅读(469)
评论(0)
推荐(0)
摘要：
ps -ax | grep cron crontab -u root -e /sbin/service crond restart bakmysql.sh tar cvf /var/backups/mysql/mysql-`date '+%Y%m%d%H%M%S'`.tar -c /opt/mysq 阅读全文
posted @ 2017-08-11 09:42
adolfmc
阅读(267)
评论(0)
推荐(0)
摘要：
#!/bin/bashdb_user="root"db_passwd="123456"db_name="test_db"#进入备份目录将之前的移动到old目录cd /mnt/backup/bakmysqlecho "you are in bakmysql directory now"mv test_ 阅读全文
posted @ 2017-08-11 09:42
adolfmc
阅读(283)
评论(0)
推荐(0)
浙公网安备 33010602011771号