会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
kwz
CnBlogs
Home
New Post
Contact
Admin
Subscription
上一页
1
2
3
4
5
6
7
8
···
14
下一页
2020年9月18日
spark yarn client 报错Yarn application has already ended! It might have been killed or unable to launch application master
打开mr管理页面 重点在红框处,2.3g的虚拟内存实际值,超过了2.1g的上限。也就是说虚拟内存超限,所以contrainer被干掉了,活都是在容器干的,容器被干掉了 解决方案 yarn-site.xml 增加配置: 2个配置2选一即可 <!--以下为解决spark-shell 以yarn clie
Read More
posted @ 2020-09-18 15:01 kwz
Views(660)
Comments(0)
Diggs(0)
2020年9月11日
Shell工具 cut sed awk sort
cut cut的工作就是“剪”,具体的说就是在文件中负责剪切数据用的。cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出。 1.基本用法 cut [选项参数] filename 说明:默认分隔符是制表符 2.选项参数说明 -f 列号,提取第几列 -d 分隔符,按照指定分隔符分
Read More
posted @ 2020-09-11 17:38 kwz
Views(229)
Comments(0)
Diggs(0)
2020年9月10日
centos ping不通www.baidu.com
vim /etc/resolv.conf # No nameservers found; try putting DNS servers into your # ifcfg files in /etc/sysconfig/network-scripts like so: # # DNS1=xxx.x
Read More
posted @ 2020-09-10 16:49 kwz
Views(314)
Comments(0)
Diggs(0)
2020年9月8日
利用zookeeper搭建hadoop HA集群
https://blog.csdn.net/qq_39767453/article/details/81539782
Read More
posted @ 2020-09-08 10:58 kwz
Views(144)
Comments(0)
Diggs(0)
2020年9月3日
zookeeper设置开机启动项
systemd有系统和用户区分;系统(/user/lib/systemd/system/)、用户(/etc/lib/systemd/system/). 一般系统管理员手工创建的单元文件建议存放在/etc/systemd/system/目录下面。 进入/etc/systemd/system目录 创建z
Read More
posted @ 2020-09-03 11:28 kwz
Views(681)
Comments(0)
Diggs(0)
2020年9月2日
zookeeper集群挂了的恢复流程
1. zookeeper 的一致性,为了防止单机挂掉,zookeeper维护了一个集群,实现自身的高可用 1.1 Zookeeper 集群是一主多从结构 1.2 在更新数据时,首先更新到主节点(这里的节点时指服务器,不是Znode),再同步到从节点。 1.3 再读取数据时,直接读取任意从节点 1.4
Read More
posted @ 2020-09-02 16:52 kwz
Views(3028)
Comments(0)
Diggs(1)
zookeeper集群搭建
1.关闭防火墙 查看防火墙状态 firewall-cmd --state 关闭防火墙 systemctl stop firewalld.service 开机禁用sysemctl disable firewalld.service 2.下载zookeeper3.4.6 http://archive.a
Read More
posted @ 2020-09-02 12:12 kwz
Views(154)
Comments(0)
Diggs(0)
2020年8月27日
docker 安装ElasticSearch的中文分词器IK
1.在线安装 进入es容器:docker exec -it 93f4910a42d7 bash 在线下载并安装ik: ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/relea
Read More
posted @ 2020-08-27 16:21 kwz
Views(318)
Comments(0)
Diggs(0)
2020年8月25日
[1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
启动es报错 解决: 修改/etc/sysctl.conf文件,增加配置vm.max_map_count=262144 执行命令sysctl -p生效
Read More
posted @ 2020-08-25 13:58 kwz
Views(157)
Comments(0)
Diggs(0)
2020年8月21日
把mysql服务设置开机启动项
这里的mysql使用docker安装的,mysql的容器id为:c8f60af87695 第一步编写开启mysql容器的shell脚本:start.sh #!/bin/bash #启动mysql容器,mysql容器id为:c8f60af87695 docker start c8f60af87695
Read More
posted @ 2020-08-21 17:06 kwz
Views(1797)
Comments(0)
Diggs(0)
上一页
1
2
3
4
5
6
7
8
···
14
下一页
公告