哼着歌啦啦啦

2019年11月25日

摘要： truncate truncate命令可以将一个文件缩小或者扩展到某个给定的大小可以利用该命令和-s选项来特别指定文件的大小 grep -A 10 parttern fileName 查看符合条件的后10行 grep -B 10 parttern fileName 查看符合条件的前10行 grep 阅读全文

posted @ 2019-11-25 15:08 哼着歌啦啦啦阅读(330) 评论(0) 推荐(0)

mysql基本操作

摘要：命令行连接Mysql数据库：mysql -u用户名 -p密码 -h 主机ip -P 连接端口 -D数据库实例名查看数据库实例列表：show databases; 进入数据库实例：use 实例名; 查看数据库中表：show tables; 阅读全文

posted @ 2019-11-25 15:02 哼着歌啦啦啦阅读(102) 评论(0) 推荐(0)

linux 网络操作相关命令

摘要： ifconfig 查看网络配置信息，eth0 是wlan端口，lo是本地回环测试端口，tun0是vpn虚拟通道 sar –n DEV 3 100 获取所有网卡流量状况，3s获取一次，获取100次 mii-tools 获取进程占用端口号 netstat -nltp | grep 进程号 tcpdump 阅读全文

posted @ 2019-11-25 15:00 哼着歌啦啦啦阅读(141) 评论(0) 推荐(0)

git 常用操作

摘要： Git常用操作客户端下载 git windows版下载镜像：https://npm.taobao.org/mirrors/git-for-windows/ 常用命令 git branch 查看本地分支列表 git branch -r 查看远程分支 git stash 将工作空间临时保存 git s 阅读全文

posted @ 2019-11-25 10:28 哼着歌啦啦啦阅读(129) 评论(0) 推荐(0)

2019年11月21日

zookeeper write ahead log 导致集群节点断连

摘要：发现spark实时任务延迟。看了spark监控页面，处理延迟了30s+ 进入该批次任务查看延迟详情，初步确定是访问hbase导致延迟。先登上cloudera界面查看hbase监控:告警折线图显示在延迟的时间点发生过事件，但是没有详细信息，能够看刷新队列稍大，但是不明显，需要登上regionSer 阅读全文

posted @ 2019-11-21 17:40 哼着歌啦啦啦阅读(1560) 评论(0) 推荐(0)

2019年11月5日

spark历史任务日志占满hdfs

摘要：发现cloudera上yarn nodeManager告警，提示进入NodeManager列表，发现一个节点存在告警猜测可能是日志写入失败，可能是磁盘不够，进入集群节点列表，查看这个NodeManager所在节点状态，发现磁盘将要被占满，因为磁盘很大，猜测应该是hdfs上存储了什么大文件。再进阅读全文

posted @ 2019-11-05 10:42 哼着歌啦啦啦阅读(1694) 评论(0) 推荐(0)

2019年10月10日

git创建新分支

摘要： 1. 创建本地分支 git branch test 创建一个名为test的本地分支 2. 切换到新分支 git checkout test 3. 将创建的新分支推送到远程仓库 git push origin test 将test分支推送到远程仓库 4. 如果需要对该分支进行pull、push操作，必阅读全文

posted @ 2019-10-10 11:53 哼着歌啦啦啦阅读(773) 评论(0) 推荐(0)

2019年8月5日

Linux常用命令

摘要： lsblk 查看的是block device,也就是逻辑磁盘大小 df 查看的是file system, 也就是文件系统层的磁盘大小 nohub 不挂断运行，即使用户退出登录依然保持运行，nohub sh test.sh &, 执行test.sh，使进程进入后台并不挂断运行，nohub sh tes 阅读全文

posted @ 2019-08-05 22:33 哼着歌啦啦啦阅读(203) 评论(0) 推荐(0)

Flume agent内存配置

摘要： Flume公共配置文件：${FLUME_HOME}/conf/flume-env.sh 其中配置export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management.jmxremote" 可以用来配置公共的agent堆大小，但是如果想要给某个agent单阅读全文

posted @ 2019-08-05 22:29 哼着歌啦啦啦阅读(1486) 评论(0) 推荐(0)

2019年7月29日

hdfs无效块修复

摘要：登录到有无效块的机器后操作。 hdfs fsck / 后面的路径是指定检查哪个目录下有无效块，根据丢失文件目录可以细化，以提高检查速度该命令会返回 FSCK started by hdfs (auth:SIMPLE) from /xxx.xxx.xxx for path / at Fri Jul 阅读全文

posted @ 2019-07-29 19:17 哼着歌啦啦啦阅读(1763) 评论(0) 推荐(0)