摘要：尚硅谷课程笔记：
阅读全文
posted @ 2021-10-30 21:18
10 2021 档案
摘要：不要随便的格式化，要想格式化 要进行这两步，首先就是查看进程是否开启，如果是开启状态，先关掉，然后第二步，删掉数据。然后再进行格式化。 Log日志查看： 出现问题的时候就查看这个文件
阅读全文
posted @ 2021-10-30 16:54
摘要：伪分布式模式的配置是按照完全分布式模式来搭建的，但是他只有一台服务器，适合用于学习。 下面的文件配置都是尚硅谷课程中做的笔记： 配置集群： 需要配置文件： 第一个文件： 第二个文件： 第三个文件： 默认的副本数是3， 接下来就要启动集群， 第一步：格式化namenode(只有第一次需要格式化，格式化
阅读全文
posted @ 2021-10-30 16:43
摘要：这是一个非常经典的案例： 就是统计单词的个数，统计个数的就可以使用到wordcount 这是在尚硅谷的课程中做的笔记：
阅读全文
posted @ 2021-10-30 11:26
摘要：能执行这个本地grep官方案例，就说明hadoop的本地环境已经配置好了 首先在hadoop-3.3.0文件夹下建立一个input文件夹，切换到hadoop-3.3.0的目录下，然后执行： bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-
阅读全文
posted @ 2021-10-30 11:16
摘要：1、hadoop的运行模式包括：本地模式、伪分布式模式、完全分布式模式 本地模式就是数据存储咋Linux本地，测试偶尔用一下， 伪分布式模式就是数据存储在hdfs上，一般学习用， 完全分布式模式数据也是存储在hdfs上，多台服务器工作，一般在企业中使用
阅读全文
posted @ 2021-10-30 11:10
摘要：1、etc里都是配置文件 2、sbin 里都是hadoop启动停止和集群启动停止的命令 在配置集群的时候需要使用 整个集群全部启动 启动集群的hdfs 启动yarn 3、share存放说明文档 4、bin 存放hadoop和hdfs
阅读全文
posted @ 2021-10-29 11:37
摘要：一、大数据技术生态体系 二、虚拟机环境准备 1、克隆虚拟机 在虚拟机上右键-管理-克隆 一般的可以把一个虚拟机的环境或者需要的东西都配置好，然后克隆几个，在克隆的虚拟机上进行操作，这样出现了什么问题不至于重新开始配置环境。 2、修改ip地址 尤其对于克隆的虚拟机一定要修改ip地址 对于centos8
阅读全文
posted @ 2021-10-29 11:29
摘要：就是这里显示已经连接， 但是ping: www.baidu.com: 未知的名称或服务 在修改之前的配置文件之后，重启网络服务，如何还是这样，可以输入： nmcli c up ens33 把我ens33这个设备的连接激活nmcli d reapply ens33 把设备的变更更新到当前的激活连接状态
阅读全文
posted @ 2021-10-23 20:48
摘要：一、hadoop是一个分布式系统基础架构。分布式解决海量数据的存储和分析计算。大部分框架都依赖于hadoop。 三篇论文需要了解。 二、hadoop的优势 1、高可靠性：hadoop底层维护多个数据副本，所以即使hadoop某个计算元素或存储出现故障们都不会导致数据的丢失。 2、高扩展性：在集群间分
阅读全文
posted @ 2021-10-17 21:03
摘要：是在图形平面上，有多个节点的路径，求出最低通过成本的算法。这个算法搜索最优路径是通过一个一个估值函数：f(n)=g(n)+h(n) 。 g(n)，它表示从起始搜索点到当前点的代价（通常用某结点在搜索树中的深度来表示）。就是从初始状态到状态n的代价。 h(n)，即当前结点到目标结点的估值。就是从状态n
阅读全文
posted @ 2021-10-17 20:49
摘要：这些面试题是尚硅谷的教学视频中有的，具体讲解可以去b站看尚硅谷。 -r是递归的意思。
阅读全文
posted @ 2021-10-13 21:57
摘要：一、cut 切割cut.txt的第一列 切割cut.txt的第二、三列 从cut.txt中切割出guan 先是用cut获取cut.txt的内容，然后使用管道符交给grep,获取guan这一行，然后再使用管道符获取第一列。 选取系统PATH变量值，第2个“：”开始后的所有路径： 这就表示先获取到系统变
阅读全文
posted @ 2021-10-13 21:47
摘要：一、系统函数 1、basename 2、dirname 二、自定义函数 必须在调用函数之前先声明函数。函数返回值只能通过$?系统变量获得，可以显示加:return返回，如果不加，将以最后一条命令运行结果，作为返回值。return后跟数值n(0-255) 计算两个输入参数的和： 最后一行是调用sum的
阅读全文
posted @ 2021-10-13 20:05
摘要：一、 在10秒内没有输入就会自动结束。
阅读全文
posted @ 2021-10-13 19:47
摘要：一、if 注意： if后要有空格，中括号两边也要有空格。结尾是if反着写。 参数是3的话就没有任何输出。 二、case *）就表示前面不匹配就输出这个 三、for 此时这样看起来两个特殊符号好像没区别。 可以看到此时$*把他们当成一个整体了，而$@还是一个一个。 四、while
阅读全文
posted @ 2021-10-13 19:43
摘要：一、 二、 就表示这句是正确的 就表示这句是错误的 就表示这个脚本有可执行权限 就表示这个文件不存在。
阅读全文
posted @ 2021-10-13 11:36
摘要：一、 这个就表示先计算3+2 然后将计算结果再进行*4，注意中间使用的是反引号。
阅读全文
posted @ 2021-10-13 11:18
摘要：一、系统变量 二、自定义变量 不需要设置类型，可以直接赋值。在赋值时等号两边没有空格。 撤销变量 unset 变量名 声明一个静态变量： readonly 变量=值 静态变量不能使用unset撤销 三、变量规则 第三条： 无法进行数值计算。 第四条： 四、全局变量 如果把变量提升为全局变量，可供其他
阅读全文
posted @ 2021-10-13 11:11
摘要：1、脚本以 #!/bin/bash 开头 2、运行shell脚本可以使用 sh helloworld.sh 或者 ./helloworld.sh ，第二个可能权限不够，需要chmod给一个执行权限。第一种是bash解析器帮助执行脚本，脚本本身不需要执行；第二种是脚本自己执行，所以需要执行权限。 3、
阅读全文
posted @ 2021-10-13 10:42
摘要：一、 shell是一个命令解释器，它接收应用程序/用户命令，然后调用操作系统内核。 二、两种shell的命令解析器 /bin/sh 和 /bin/bash sh是bash的软链接，所以sh 还是相当于调用bash。系统默认的解释器是 /bin/bash
阅读全文
posted @ 2021-10-13 10:17
摘要：一、 将数据库atguiguDB打包到/data/backup/db中，将实现这一过程的代码写入/usr/sbin下的mysql_db_backuo.sh中，然后将这一脚本设置到croud下执行。 最后一行的意思就是对数据库进行备份，然后将备份完成的压缩在那个目录下。 可以看到db下已经有压缩的压缩
阅读全文
posted @ 2021-10-12 11:36
摘要：一、 二、 案例一： basename常用于获取一个路径最后的斜杠后面的内容，常用于获取文件名。 这样就表示只获取文件名，不要后缀。 案例二： dirname就是获取路径最后/前面的内容，返回目录部分。
阅读全文
posted @ 2021-10-12 10:20
摘要：案例一： read就是读取控制台的输入，-p就是提示后面那句话的意思，当运行到这句话就会发生阻塞，等待输入一个值后就会交给NUM1这个变量。然后使用echo将输入的值输出。 案例二： -t 10就表示在10秒内输入，如果10秒内没有输入就不再等待。 这个num2在10秒内没有输入，就自动跳走了，不再
阅读全文
posted @ 2021-10-12 10:10
摘要：一、 二、 三、 案例一： 就是把$*的这些参数值交给i,然后输出。 将参数值遍历输出。 第二种方式就是将参数独立输出。 案例二： 四、
阅读全文
posted @ 2021-10-11 18:24
摘要：一、 案例一： 案例二： 案例三：
阅读全文
posted @ 2021-10-11 17:11
摘要：一、 二、 第二种方式推荐使用 使用时运算符两边要有空格：
阅读全文
posted @ 2021-10-11 16:57
摘要：一、 最后卡住了是因为在后台执行的myShell.sh脚本。
阅读全文
posted @ 2021-10-11 16:31
摘要：一、 提供一个可执行权限：
阅读全文
posted @ 2021-10-11 16:19
摘要：一、 在/etc/profile中： 刷新： 查看： 在另一个shell程序中使用： 多行注释： :<<! !
阅读全文
posted @ 2021-10-11 16:08
摘要：一、 shell的变量分为两种，一种是系统变量，一种是用户自定义变量。 $这个符号就表示要输出一个变量，后面的PATH没有定义就可以直接使用，说明它是系统变量。输出结果为： 要查看shell中的所有变量，用set. 二、shell变量的定义 定义变量：变量名=值 撤销变量：unset 变量名 声明静
阅读全文
posted @ 2021-10-11 15:55
摘要：一、shell是什么 shell是一个命令行解释器，它为用户提供一个向linux内核发送请求以便运行程序的界面系统级程序，用户可以用shell来启动、挂起、停止甚至是编写一些程序。 二、shell脚本的执行 使用xshell来进行远成链接。 新建了一个shell的文件夹，并且创建了一个以.sh为后缀
阅读全文
posted @ 2021-10-10 17:19
摘要：有一个网址上对于mysql的下载安装以及修改密码，修改编码讲的很详细 Centos8安装Mysql5.7 - wq9 - 博客园 (cnblogs.com) (9条消息) Centos8 安装 MySql5.7_回味不彷徨的博客-CSDN博客_centos8 mysql5.7 我在修改密码时遇到了一
阅读全文
posted @ 2021-10-10 16:51
摘要：首先在Linux的浏览器上进入celipse的官网：https://www.eclipse.org/downloads/ 。 选择china的那个进行下载，下载的速度比较快。 下载完成后，可以直接点击eclipse中的可执行文件运行eclipse,也可以通过： 可以使用了！ 如果要使用可以建立web
阅读全文
posted @ 2021-10-09 21:26
摘要：首先也是使用xftp将电脑本地的tomcat传输到虚拟机的/opt/目录下，使用nuzip解压，注意解压时一定要在root用户下，否则权限不够。 解压之后，进入到tomcat的bin目录下， 使用 启动tomcat,此时在虚拟机的狐火浏览器下输入http://localhost:8080,出现以下页
阅读全文
posted @ 2021-10-09 20:26
摘要：共有两种安装方式，第一种使用远程传输工具将安装包传输过来进行安装，第二种是使用yum进行安装。更推荐使用第二种方法。 第一种： 首先用xftp与Linux进行链接，这样才可以把要安装的软件传到Linux虚拟机中，在进行链接的时候如果连不上可能是sshd的22端口未开启。 可以使用来检查22号端口是否
阅读全文
posted @ 2021-10-08 19:00
摘要：一、rpm的简单介绍 rpm是一种用于互联网下载包的打包和安装工具。包含在Linux的某些发行版本中。 二、 三、 找到之后粘过去，不要直接安装。
阅读全文
posted @ 2021-10-08 10:50
浙公网安备 33010602011771号