Robots2

2023年11月27日

摘要： linux系统重启后在引导选择界面按【E】有好几行内容，找到 linux /boot/vmlinuz-3.2.0-23-generic root=UUID=[长串数字] ro quiet splash $vt_handoff 将最后的ro quiet splash $vt_handoff替换为 r 阅读全文

posted @ 2023-11-27 14:25 Robots2 阅读(45) 评论(0) 推荐(0)

LINUX安全加固手册

摘要： LINUX安全加固手册目录 1概述 3 2 安装 3 3 用户帐号安全Password and account security 4 3.1 密码安全策略 4 3.2 检查密码是否安全 4 3.3 Password Shadowing 4 3.4 管理密码 4 3.5 其它 5 4 网络服务安全阅读全文

posted @ 2023-11-27 14:24 Robots2 阅读(384) 评论(0) 推荐(0)

Linux重要的日志文件

摘要： 1、/var/log/boot.log 该文件记录了系统在引导过程中发生的事件，就是Linux系统开机自检过程显示的信息 2、/var/log/syslog 只记录警告信息，常常是系统出问题的信息，所以更应该关注该文件 3、/var/log/wtmp 该日志文件永久记录每个用户登录、注销及系统的启动阅读全文

posted @ 2023-11-27 14:02 Robots2 阅读(117) 评论(0) 推荐(0)

2023年11月15日

Iceberg参数调整

摘要： 1、读取参数介绍属性默认值描述 read.split.target-size 134217728 (128 MB) 组合数据输入分割时的目标大小 read.split.metadata-target-size 33554432 (32 MB) 组合元数据输入分割时的目标大小 read.spli 阅读全文

posted @ 2023-11-15 13:50 Robots2 阅读(1080) 评论(0) 推荐(0)

2023年10月30日

Flink客户端操作

摘要：一、mysql数据准备 mysql -hip -uroot -p密码 CREATE DATABASE flink; USE flink; CREATE TABLE user ( id INTEGER NOT NULL PRIMARY KEY, name VARCHAR(255) NOT NULL D 阅读全文

posted @ 2023-10-30 10:16 Robots2 阅读(85) 评论(0) 推荐(0)

2023年10月25日

Kerberos

摘要：一、Kerberos简介 Kerberos是一种基于对称密钥的身份认证协议，它作为一个独立的第三方的身份认证服务，可以为其它服务提供身份认证功能，且支持SSO(即客户端身份认证后，可以访问多个服务如HBase/HDFS等)。Kerberos协议主要用于计算机网络的身份鉴别(Authenticatio 阅读全文

posted @ 2023-10-25 11:18 Robots2 阅读(1010) 评论(0) 推荐(0)

2023年10月24日

大数据HDFS集群相关概念

摘要：一、Zookeeper服务端口描述配置路径 2181 主要使用端口，对cline端提供服务。连接方式jdbc:hive2://ip:2181 conf/zoo.cfg中clientPort 2183 选举leader使用 conf/zoo.cfg中server.x=2182:2183 2182 阅读全文

posted @ 2023-10-24 11:45 Robots2 阅读(42) 评论(0) 推荐(0)

2023年10月17日

什么是Kappa架构？

摘要：一、简介相当于在Lambda架构上去掉了批处理层（Batch Layer），只留下单独的流处理层（Speed Layer）。通过消息队列的数据保留功能，来实现上游重放（回溯）能力。当流任务发生代码变动时，或者需要回溯计算时，原先的Job N保持不动，先新启动一个作业Job N+1，从消息队列中获阅读全文

posted @ 2023-10-17 11:54 Robots2 阅读(459) 评论(0) 推荐(0)

什么是Lambda架构？

摘要：一、简介 Lambda架构（Lambda Architecture）是由Twitter工程师南森·马茨（Nathan Marz）提出的大数据处理架构。这一架构的提出基于马茨在BackType和Twitter上的分布式数据处理系统的经验。 Lambda架构使开发人员能够构建大规模分布式数据处理系统。阅读全文

posted @ 2023-10-17 11:42 Robots2 阅读(405) 评论(0) 推荐(0)

大数据系统的关键特性

摘要： 1、Robustandfault-tolerant（容错性和鲁棒性）：对大规模分布式系统来说，机器是不可靠的，可能会当机，但是系统需要是健壮、行为正确的，即使是遇到机器错误。除了机器错误，人更可能会犯错误。在软件开发中难免会有一些Bug，系统必须对有Bug的程序写入的错误数据有足够的适应能力，所以比阅读全文

posted @ 2023-10-17 11:30 Robots2 阅读(35) 评论(0) 推荐(0)

公告