摘要：
1、什么是安全？ 安全包括机密性（Confidentiality）、完整性（Integrity）、可用性（Availability），简称CIA三元组 机密性（不可见）：确保数据只被授权的主体访问，不被任何未授权的主体访问 完整性（不可改）：确保数据只被授权的主体进行授权的修改 可用性（可读）：确保 阅读全文
posted @ 2022-04-22 22:06
yuxuan0802
阅读(216)
评论(0)
推荐(0)
摘要：
1. kafka介绍 1.1. 主要功能 根据官网的介绍，ApacheKafka®是一个分布式流媒体平台，它主要有3种功能： 1：It lets you publish and subscribe to streams of records.发布和订阅消息流，这个功能类似于消息队列，这也是kafka 阅读全文
posted @ 2022-04-22 21:25
yuxuan0802
阅读(336)
评论(0)
推荐(0)
摘要：
一、组件选型360评估 评估维度 组件A 组件B 是否开源（软件采购成本） 开源 不开源，支付5w/年 免费版本是否支持集群HA无单点要求 支持 支持 可维护性（方案是否成熟） 高，业界成熟解决方案，开箱即用 低，不稳定 =》复杂度 中 低 =》社区活跃度 github 5星 github 4星 = 阅读全文
posted @ 2022-04-22 21:23
yuxuan0802
阅读(54)
评论(0)
推荐(0)
摘要：
会发现ens33中没有ip地址，因此xshell无法与该虚拟机进行远程连接。经过分析，我采用的连接方式为桥接模式，打开任务管理器发现VMware DHCP Service已经停止运行，右击运行即可解决该问题 阅读全文
posted @ 2022-04-22 21:07
yuxuan0802
阅读(216)
评论(0)
推荐(0)
摘要：
一、HBase介绍 1）HBase分布式、多版本、面向列的开源数据库 2）利用Hadoop HDFS作为文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写、适用于非结构化数据存储的数据库系统 3）利用Hadoop MapReduce来处理Hbase中的海量数据 4）利用Zoopkeeper 阅读全文
posted @ 2022-04-22 21:05
yuxuan0802
阅读(112)
评论(0)
推荐(0)
摘要：
一、Zookeeper原理与脚本启动 1、zkServer命令 ./zkServer.sh start ./zkServer.sh status 检查是否启动zk：jps 查看是否有QorumPeerMain 2、zkCli.sh命令 help：查看所有命令 create /itcast 8000$ 阅读全文
posted @ 2022-04-22 21:04
yuxuan0802
阅读(154)
评论(0)
推荐(0)
摘要：
用于解决通用配置问题，客户端无需每次重启，直接监听Zookeeper的Znode值变更，动态修改用程序的配置信息。 一、服务端 1、创建Znode目录和节点 package Zookeeper; import org.apache.zookeeper.*; import org.junit.Test 阅读全文
posted @ 2022-04-22 21:04
yuxuan0802
阅读(141)
评论(0)
推荐(0)
摘要：
ssh-keygen -t rsa cd /root/.ssh cp id_rsa.pub authorized_keys 或 ssh-copy-id localhost 其他登陆原理待补充 阅读全文
posted @ 2022-04-22 21:01
yuxuan0802
阅读(39)
评论(0)
推荐(0)
摘要：
一、分区 1.1先分析一下具体的业务逻辑，确定大概有多少个分区 1.2首先书写一个类，它要继承org.apache.hadoop.mapreduce.Partitioner这个类 1.3重写public int getPartition这个方法，根据具体逻辑，读数据库或者配置返回相同的数字 1.4在 阅读全文
posted @ 2022-04-22 20:59
yuxuan0802
阅读(89)
评论(0)
推荐(0)
摘要：
一、MapReduce过程 二、原理 三、wordCount public class WordCount { public static void main(String[] args) throws Exception { Configuration conf = new Configurati 阅读全文
posted @ 2022-04-22 20:58
yuxuan0802
阅读(54)
评论(0)
推荐(0)
摘要：
一、导入依赖包 在File->Project Structure->Modules->Dependencies下导入Hadoop->share文件下的相应jar包，包括： common下的：hadoop-common-3.2.1.jar、 hadoop-nfs-3.2.1.jar以及所有lib下的j 阅读全文
posted @ 2022-04-22 20:54
yuxuan0802
阅读(56)
评论(0)
推荐(0)
摘要：
一、大纲 1、HDFS集群环境搭建 2、常见问题 3、HDFS Shell命令使用 二、集群环境搭建 下载地址: https://hadoop.apache.org/releases.html 1、初始化目录 在/bigdata/hadoop-3.2.2/下创建目录 mkdir logs secre 阅读全文
posted @ 2022-04-22 20:53
yuxuan0802
阅读(179)
评论(0)
推荐(0)
摘要：
一、hadoop开源生态介绍 1、云计算与大数据 Iaas:基础设施即服务,通过互联网获得服务，例如亚马逊AWS,openStack Paas:平台即服务,把服务器平台作为一种服务，例如虚拟开发平台，默认安装开发环境,hadoop Saas:软件即服务，例如office365,大量app 2、大数据 阅读全文
posted @ 2022-04-22 20:51
yuxuan0802
阅读(129)
评论(0)
推荐(0)
摘要：
#！/bin/bash next_tips() #$0代表当前文件名 $1第一个参数 $2 第2个参数 .... { echo " $1 " } next_tips "global or local varialbe test" #变量赋值左右两边不能有空格 var_test() { # local 阅读全文
posted @ 2022-04-22 20:49
yuxuan0802
阅读(29)
评论(0)
推荐(0)
浙公网安备 33010602011771号