摘要：
一、基本概念及原理 elastic是实时分布式搜索分析引擎，内部使用luence作为索引和搜索。 什么是实时? 新增到 ES 中的数据在1秒后就可以被检索到，这种新增数据对搜索的可见性称为“准实时搜索”。 什么是全文? 对全部的文本内容进行分析，建立索引，使之可以被搜索，因此称为全文。 1.1 基本 阅读全文
posted @ 2021-04-03 15:32
彬在俊
阅读(335)
评论(0)
推荐(0)
摘要：
问题现象 在作业提交比较多的时候，集群资源还有剩余，但是分配跟不上，导致peeding比较多，peeding时间长达10分钟。 调优方法 1.开启批量分配资源功能，在小任务多的时候能提高吞吐量。 2.限制一次批量分配数量。默认没有限制，会导致节点计算资源不均衡，部分节点把所有的vcore都分配了，而 阅读全文
posted @ 2021-03-29 16:14
彬在俊
阅读(203)
评论(0)
推荐(0)
摘要：
安装 下载安装包 presto官网：https://prestodb.io/ presto-server下载连接：https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.248/presto-server-0.248.ta 阅读全文
posted @ 2021-03-29 15:51
彬在俊
阅读(956)
评论(1)
推荐(0)
摘要：
shell expect 一个自动化交互的软件，常用场景：在回车后需要输出一些内容 批量传输文件，批量远程命令执行，修改密码，安装软件 一、安装 expect程序 yum -y install expect 二、expect 变量 1、赋值变量 set 变量名 变量值 set ip 192.168. 阅读全文
posted @ 2021-03-29 14:09
彬在俊
阅读(150)
评论(0)
推荐(0)
摘要：
测试环境： 依赖组件 版本 cdh版本 5.13 操作系统版本 centos 6.9 问题现象： 因为是在虚拟机中搭建cdh大数据平台，虚拟机内存大小为4G，性能不足，导致cloudera-manager 服务频繁挂掉。 解决思路： 通过增加交换分区大小来增加虚拟机的内存。 解决方案： 1.查看当前 阅读全文
posted @ 2021-03-25 19:09
彬在俊
阅读(3528)
评论(0)
推荐(1)
摘要：
环境信息： 操作系统版本：centos6.9 问题现象： 使用脚本制作完成集群的免密登陆后，发现登陆仍然需要密码 解决方案： 1.修改authorized_keys文件权限，并设置为700 chmod 700 authorized_keys 2.修改/etc/ssh/sshd_config文件 将 阅读全文
posted @ 2021-03-25 19:08
彬在俊
阅读(112)
评论(0)
推荐(0)
摘要：
环境信息： 组件 版本 cdh版本 5.13 操作系统版本 centos 6.9 问题现象： CDH 5.13.3 启用Kerberos组件，导入KDC Account Manager 凭据,未见生成的票据。 错误日志： /usr/share/cmf/bin/import_credentials.s 阅读全文
posted @ 2021-03-25 19:06
彬在俊
阅读(131)
评论(0)
推荐(0)
摘要：
问题背景： 要搭建cm大数据平台，别的节点需要安装cloudera-scm-agent，有因为文件较大，不想分发，所以采用yum源的方式进行安装，避免文件传输，io占用。 系统环境： 组件 版本 cdh版本 5.13 操作系统版本 centos 6.9 安装HTTPD服务： 1.安装httpd服务 阅读全文
posted @ 2021-03-25 19:04
彬在俊
阅读(151)
评论(0)
推荐(0)
摘要：
Kerberos协议： Kerberos协议主要用于计算机网络的身份鉴别(Authentication), 其特点是用户只需输入一次身份验证信息就可以凭借此验证获得的票据(ticket-granting ticket)访问多个服务，即SSO(Single Sign On)。由于在每个Client和S 阅读全文
posted @ 2021-03-25 19:02
彬在俊
阅读(2664)
评论(0)
推荐(1)
摘要：
环境信息 组件 版本 操作系统 centos6.9 CDH 5.13 kerberos 是 问题原因： hadoop提交任务到yarn，任务报错 hadoop jar /opt/cloudera/parcels/CDH-5.13.3-1.cdh5.13.3.p0.2/jars/hadoop-mapr 阅读全文
posted @ 2021-03-25 18:59
彬在俊
阅读(135)
评论(0)
推荐(0)
浙公网安备 33010602011771号