06 2021 档案
摘要：【Ambari】yarn资源调度之CapacityScheduler CapacityScheduler 1 CapacityScheduler介绍 2 启用CapacityScheduler 3 设置队列 3.1 队列特性 3.2 队列间调度 3.3 ACLs控制队列权限 4 定义队列映射策略Ma
阅读全文
posted @ 2021-06-30 23:25
温家三哥
摘要：Yarn资源调度工作原理 由于Yarn良好的兼容性和扩展性，目前可以支持大部分数据引擎，所以了解Yarn的资源调度原理很有必要，Yarn主要由四个重要角色组成 1 ResourceManager：顾名思义资源管理器，主要负责资源管理和调度，ResourceManager主要由两个组件构成：Appli
阅读全文
posted @ 2021-06-30 23:07
温家三哥
摘要：解决在Windows10没有修改hosts文件权限 当遇到有hosts文件不会编辑或者，修改了没办法保存”，以及需要权限等问题如图： 我学了一招，先在交给你： 1、win+R 2、进入hosts的文件所在目录： 3、我们开始如何操作才能不出现权限问题那？ 3.1、点击‘’文件‘’按钮： 3.2、进入
阅读全文
posted @ 2021-06-27 23:29
温家三哥
摘要：解决：服务 iptables 信息读取出错：没有那个文件或目录 情况1：查看防火墙状态时 1 service iptables status 解决方案：1.首先停止防火墙 1 systemctl stop firewalld 2 3 systemctl mask firewalld 2.然后安装ip
阅读全文
摘要：（转）CentOS 7.x系统添加70-persistent-net.rules文件，来实现网卡名称自定义 CentOS 7.x系统中网卡命名规则被重新定义，可能会是”eno167777xx”等，下面我们把网卡名称改为eth0这种。 一、cd /etc/sysconfig/network-scrip
阅读全文
摘要：苏轼 〔宋代〕 1 三月七日，沙湖道中遇雨，雨具先去，同行皆狼狈，余独不觉。已而遂晴，故作此。 2 3 莫听穿林打叶声，何妨吟啸且徐行。竹杖芒鞋轻胜马，谁怕？一蓑烟雨任平生。 4 料峭春风吹酒醒，微冷，山头斜照却相迎。回首向来萧瑟处，归去，也无风雨也无晴。 1 注释 2 定风波：词牌名。 3 沙湖：
阅读全文
摘要：Sublime Text 3 破解版, Sublime Text 3.2.1 for Mac/Win/Linux 专业代码编辑器 下载http://www.sublimetext.com/3 Sublime Text 3 破解版, Sublime Text 3.2.1 for Mac/Win/Lin
阅读全文
posted @ 2021-06-26 00:20
温家三哥
摘要：hadoop distcp使用 概述distcp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。 由于使用了Map/Reduce方法，这个
阅读全文
摘要：Sublime Text 3 全程详细图文使用教程 地址：http://www.cnblogs.com/wind128/p/4409422.html
阅读全文
摘要：数据仓库之拉链表（原理、设计以及在Hive中的实现） 本文将会谈一谈在数据仓库中拉链表相关的内容，包括它的原理、设计、以及在我们大数据场景下的实现方式。 全文由下面几个部分组成： 先分享一下拉链表的用途、什么是拉链表。 通过一些小的使用场景来对拉链表做近一步的阐释，以及拉链表和常用的切片表的区别。
阅读全文
摘要：Linux组成： 1 kernel（内核）：进程管理、内存管理、网路管理、驱动、文件系统、安全功能 2 rootfs：程序和glibc 3 库：函数集合 4 程序：二进制执行文件 内核： linux内核特点： 1 模块化：.ko文件（内核对象）。如文件系统，硬件驱动，网络协议等。 2 支持内核模块动
阅读全文
摘要：Linux下安装apache httpd以及httpd常见用法 一、Linux安装apache httpd 1、官网下载httpd源码包：(目前最新版为2.4.10) http://httpd.apache.org/ 2、安装apache httpd安装依赖的包:apr和apr-util 如果不安装
阅读全文
摘要：Linux下systemctl命令和service、chkconfig命令的区别 Systemctl和service、chkconfig命令的关系 1 systemctl命令：是一个systemd工具，主要负责控制systemd系统和服务管理器。 2 service命令：可以启动、停止、重新启动和关
阅读全文
摘要：[Linux]进程管理过程 进程管理一、进程基本介绍 1 在Linux中，每个执行的程序、代码都成为一个进程(process)。每个进程都分配一个ID号。进程与线程的一个简单解释 2 每个进程，都会对应一个父进程,而这而过父进程可以复制多个子进程。 3 每个进程都可能以两种形式存在的。前台和后台，前
阅读全文
摘要：服务管理介绍 服务（Service）本质是进程，但是是运行在后台的，通常都会监听某个端口，等待其他程序的请求，比如（mysql、sshd、防火墙等），因此我们又称为守护进程，是Linux中非常重要的一个知识点。 service管理指令 service 服务名 [start | stop |resta
阅读全文
摘要：Linux chkconfig命令 Linux chkconfig命令用于检查，设置系统的各种服务。 这是Red Hat公司遵循GPL规则所开发的程序，它可查询操作系统在每一个执行等级中会执行哪些系统服务，其中包括各类常驻服务。 语法 chkconfig [--add][--del][--list]
阅读全文
摘要：Linux开机流程详解 概述 Linux是一种自由和开放源代码的类UNIX操作系统。该操作系统的内核由林纳斯·托瓦兹在1991年10月5日首次发布。在加上用户空间的应用程序之后，成为Linux操作系统。Linux是自由软件和开放源代码软件发展中最著名的例子。 下面简单记录一下 Linux系统从开机到
阅读全文
摘要：Linux内核启动流程 arch/arm/kernel/head-armv.S 该文件是内核最先执行的一个文件，包括内核入口ENTRY(stext)到start_kernel间的初始化代码， 主要作用是检查CPU ID， Architecture Type，初始化BSS等操作，并跳到start_ke
阅读全文
摘要：深度：一文看懂Linux内核！Linux内核架构和工作原理详解 简介 作用是将应用层序的请求传递给硬件，并充当底层驱动程序，对系统中的各种设备和组件进行寻址。目前支持模块的动态装卸(裁剪)。Linux内核就是基于这个策略实现的。 Linux进程1.采用层次结构，每个进程都依赖于一个父进程。内核启动i
阅读全文
posted @ 2021-06-10 16:55
温家三哥
摘要：Linux split命令 Linux split命令用于将一个文件分割成数个。 该指令将大文件分割成较小的文件，在默认情况下将按照每1000行切割成一个小文件。 语法 split [--help][--version][-<行数>][-b <字节>][-C <字节>][-l <行数>][要切割的文
阅读全文
摘要：Linux sort命令 Linux sort命令用于将文本文件内容加以排序。 sort可针对文本文件的内容，以行为单位来排序。 语法 sort [-bcdfimMnr][-o<输出文件>][-t<分隔字符>][+<起始栏位>-<结束栏位>][--help][--verison][文件] 参数说明
阅读全文
摘要：Linux uniq 命令 Linux uniq 命令用于检查及删除文本文件中重复出现的行列，一般与 sort 命令结合使用。 uniq 可检查文本文件中重复出现的行列。 语法 uniq [-cdu][-f<栏位>][-s<字符位置>][-w<字符位置>][--help][--version][输入
阅读全文
摘要：Sed 简介 sed 是一种新型的，非交互式的编辑器。它能执行与编辑器 vi 和 ex 相同的编辑任务。sed 编辑器没有提供交互式使用方式，使用者只能在命令行输入编辑命令、指定文件名，然后在屏幕上查看输出。 sed 编辑器没有破坏性，它不会修改文件，除非使用 shell 重定向来保存输出结果。默认
阅读全文
摘要：vi介绍 vi编辑器是一个用于创建和修改文本文件的交互式编辑器。使用vi编辑器时所有的文本编辑都放在一个缓冲区中,可以把所作的修改写到磁盘也可以放弃所做的修改。 对于那些有志于成为系统管理员的人而言,掌握如何使用vi编辑器是非常重要的。你必须知道如何使用vi编辑器,特别是在窗口环境不可用的时候。 V
阅读全文
摘要：awk简介 awk其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。实际上 AWK 的确拥有自己的语言： AWK 程序设计语言 ， 三位创建者已将它正式定义为“样式扫描和处理语言”。它允许您创建简短的程序，这些程序读
阅读全文
摘要：Linux find 命令用来在指定目录下查找文件。任何位于参数之前的字符串都将被视为欲查找的目录名。如果使用该命令时，不设置任何参数，则 find 命令将在当前目录下查找子目录与文件。并且将查找到的子目录和文件全部进行显示。 参考网址：https://www.cnblogs.com/chyingp
阅读全文
摘要：特殊变量 首先来看几个特殊变量： 1 #!/bin/bash 2 echo $0 # 当前脚本的文件名（间接运行时还包括绝对路径）。 3 echo $n # 传递给脚本或函数的参数。n 是一个数字，表示第几个参数。例如，第一个参数是 $1 。 4 echo $# # 传递给脚本或函数的参数个数。 5
阅读全文
摘要：-- hive的库、表等数据操作实际是hdfs系统中的目录和文件，让开发者可以通过sql语句， 像操作关系数据库一样操作文件内容。 一、hiveSQL转化为MR过程 一直好奇hiveSQL转化为MR过程，好奇hive是如何做到这些的，所以在网上找了几篇相关博客，根据自己理解重新画了一份执行过程图，做
阅读全文
摘要：一、 控制hive任务中的map数: 1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义
阅读全文
摘要：1.hive是什么？ 2.MapReduce框架实现SQL基本操作的原理是什么? 3.Hive怎样实现SQL的词法和语法解析? hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构
阅读全文
摘要：Shell脚本的条件测试和if条件语句使用方法 一、条件测试操作 要使Shell脚本程序具备一定的“智能”，面临的第一个问题就是如何区分不同的情况以确定执行何种操作。Shell环境根据命令执行后的返回状态值（￥？）来判断是否执行成功，当返回值为0时表示成功，否则（非0值）表示失败或异常。使用专门的测
阅读全文
摘要：who 命令显示关于当前在本地系统上的所有用户的信息。显示以下内容：登录名、tty、登录日期和时间。输入whoami 显示您的登录名、tty、您登录的日期和时间。如果用户是从一个远程机器登录的，那么该机器的主机名也会被显示出来。 who 命令也能显示自从线路活动发生以来经过的时间、命令解释器（she
阅读全文
摘要：一、介绍HBase Apache HBase™ is the Hadoop database, a distributed, scalable, big data store.HBase is a type of "NoSQL" database. Apache HBase 是 Hadoop 数据库
阅读全文
摘要：一般来说著名的 Linux 系统基本上分两大类：RedHat 系列：Redhat、Centos、Fedora 等Debian 系列：Debian、Ubuntu 等
阅读全文
摘要：Linux yum 命令 yum（ Yellow dog Updater, Modified）是一个在 Fedora 和 RedHat 以及 SUSE 中的 Shell 前端软件包管理器。 基于 RPM 包管理，能够从指定的服务器自动下载 RPM 包并且安装，可以自动处理依赖性关系，并且一次安装所有
阅读全文
摘要：acl权限细化 754 rwx u g o a#对所有用户设置权限 权限细化需求：1.root file rw-2.root file r--3.other file r--4.user1 file rw5.user2 file rx6.user3 file wx7.user4 file rwx a
阅读全文
摘要：linux防火墙使用以及配置 Centos 7 firewall ： 1、firewalld的基本使用 启动： systemctl start firewalld 关闭： systemctl stop firewalld 查看状态： systemctl status firewalld 开机禁用 ：
阅读全文
摘要：Linux crontab 命令 https://www.runoob.com/linux/linux-comm-crontab.html Linux crontab是用来定期执行程序的命令。 当安装完成操作系统之后，默认便会启动此任务调度命令。 crond 命令每分锺会定期检查是否有要执行的工作，
阅读全文
摘要：FTP 21（ftp）号端口控制连接，，20（ftp-data）号端口数据传输 Windows和虚拟机之间 首先在yum资源库中下载 输入命令：yum install vsftpd 下载完之后输入命令查看21端口有没有开 首先看一下端口的状态 systemctl status vsftpd 状态没开
阅读全文
摘要：如何在linux下开启FTP服务 安装 ftp :[root@alwen log]# yum -y install vsftpd* 1. 首先服务器要安装ftp软件,查看是否已经安装ftp软件下： #which vsftpd 如果看到有vsftpd的目录说明服务器已经安装了ftp软件 2. 查看ft
阅读全文
摘要：Shell echo命令：输出字符串 echo 是一个 Shell 内建命令，用来在终端输出字符串，并在最后默认加上换行符。请看下面的例子： #!bin/bash name="tom" age=26 height=175 weight=65 echo "你好！" #直接输出字符串 echo $nam
阅读全文
浙公网安备 33010602011771号