Family_zp - 博客园

2021年8月9日

摘要：阶段二hadoop启用HA master slave1 slave2 HDFS NameNode NameNode DataNode DataNode DataNode journalnode journalnode journalnode YARM Resourcemanager JobHisto 阅读全文

posted @ 2021-08-09 17:47 Family_zp 阅读(19) 评论(0) 推荐(0)

apache hadoop 3.2.0安装

摘要：一、环境准备 1、关闭防火墙 systemctl stop firewalld systemctl disable firewalld.service 2、修改主机名和hosts文件 hostnamectl set-hostname master vim /etc/hosts 127.0.0.1 l 阅读全文

posted @ 2021-08-09 17:43 Family_zp 阅读(68) 评论(0) 推荐(0)

2021年8月3日

kettle 9.1 连接hadoop clusters (CDH 6.2)

摘要： 1、右键点击Hadoop clusters 点击add driver。 2、点击窗口Browse 选择：C:\Users\famil\Downloads\data-integration\ADDITIONAL-FILES\drivers中的 pentaho-hadoop-shims-cdh61-ka 阅读全文

posted @ 2021-08-03 18:03 Family_zp 阅读(247) 评论(0) 推荐(0)

2021年7月30日

dolphinscheduler告警到钉钉

摘要： #!/usr/bin/env python import base64 import hashlib import hmac import sys import time import urllib import requests import pymysql import json import 阅读全文

posted @ 2021-07-30 16:17 Family_zp 阅读(134) 评论(0) 推荐(0)

Flink消费kafak小例子

摘要： import org.apache.flink.api.common.serialization.SimpleStringSchema; import org.apache.flink.streaming.api.CheckpointingMode; import org.apache.flink. 阅读全文

posted @ 2021-07-30 16:07 Family_zp 阅读(16) 评论(0) 推荐(0)

Flink 流处理和批处理测试小代码

摘要：批处理： import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.java.DataSet; import org.apache.flink.api.java.Executio 阅读全文

posted @ 2021-07-30 16:03 Family_zp 阅读(21) 评论(0) 推荐(0)

获取CDH集群告警并通过钉钉告出

摘要： #!/bin/bash ######################################################### # shell :获取集群告警并通过钉钉告出 ######################################################### 阅读全文

posted @ 2021-07-30 15:59 Family_zp 阅读(53) 评论(0) 推荐(0)

2018年3月14日

kerberos在Cloudera manager +CDH中的运用实践

摘要： hadoop在用户权限上做的只是像linux用户级别的安全认证，即对文件的访问权限。对于一些数据安全比较重视的公司是不够的，如果对数据安全有要求，而且是认证方式的，可以使用kerberos，但是并不是很好用，当初阿里巴巴在安全上使用kerberos，后来嫌弃太麻烦就抛弃了，自己开发了一套安全认证系统阅读全文

posted @ 2018-03-14 11:42 Family_zp 阅读(41) 评论(0) 推荐(0)

2018年3月7日

cloudera-scm-server单点故障处理及恢复

摘要：实际生产中，CDH的重要服务都可以做HA，但是cloudera-scm-server却只能单点，若cloudera-scm-server主机损坏或者服务损坏，不可能重新启动再接管集群，需要我们自己手动去恢复。这里教大家解决cloudera-scm-server单点故障的处理方法和恢复。这里做测试：阅读全文

posted @ 2018-03-07 11:37 Family_zp 阅读(102) 评论(0) 推荐(0)

CM+CDH离线升级5.7跨版本升级到5.14

摘要：上篇博客讲到CM+CDH离线安装http://blog.csdn.net/weixin_40817778/article/details/79414166。但是，软件更新速度很快，需要升级版本。跨版本升级：5.7.0升级到5.14 1、下载准备CM和CDH的相关文件： 2、tar -zxvf cm 阅读全文

posted @ 2018-03-07 10:43 Family_zp 阅读(25) 评论(0) 推荐(0)

familyzp

公告