07 2018 档案

ubuntu安装MySQL
摘要：http://dblab.xmu.edu.cn/blog/install-mysql/ 阅读全文
posted @ 2018-07-23 14:23 南边雪 阅读(112) 评论(0) 推荐(0)
Ubuntu清空回收站
摘要：ubuntu 回收站的具体位置：$HOME/.local/share/Trash/ 执行如下命令清空回收站： 如下： 阅读全文
posted @ 2018-07-23 12:01 南边雪 阅读(1707) 评论(0) 推荐(0)
Linux chmod命令详解
摘要：一、linux下目录和文件的权限区别 文件：读文件内容(r)、写数据到文件(w)、作为命令执行文件(x)。 目录：读包含在目录中的文件名称(r)、写信息到目录中去(增加和删除索引点的连结)、搜索目录(能用该目录名称作为路径名去访问它所包含的文件和子目录) 具体说就是： （1）cd进入该目录、ls列出 阅读全文
posted @ 2018-07-23 11:14 南边雪 阅读(1266) 评论(0) 推荐(0)
[spark程序]统计人口平均年龄（HDFS文件）（详细过程）
摘要：一、题目描述 （1）请编写Spark应用程序，该程序可以在分布式文件系统HDFS中生成一个数据文件peopleage.txt，数据文件包含若干行（比如1000行，或者100万行等等）记录，每行记录只包含两列数据，第1列是序号，第2列是年龄。效果如下： （2）请编写Spark应用程序，对分布式文件系统 阅读全文
posted @ 2018-07-22 19:55 南边雪 阅读(1197) 评论(0) 推荐(0)
[spark程序]统计人口平均年龄（本地文件）（详细过程）
摘要：一、题目描述 （1）编写Spark应用程序，该程序可以在本地文件系统中生成一个数据文件peopleage.txt，数据文件包含若干行（比如1000行，或者100万行等等）记录，每行记录只包含两列数据，第1列是序号，第2列是年龄。效果如下： （2）编写Spark应用程序，对本地文件系统中的数据文件pe 阅读全文
posted @ 2018-07-22 14:49 南边雪 阅读(1508) 评论(0) 推荐(0)
设置Ubuntu下vim缩进为4个空格
摘要：输入命令编辑vim配置文件： 文件中添加如下： 保存退出即可 阅读全文
posted @ 2018-07-22 10:39 南边雪 阅读(346) 评论(0) 推荐(0)
vim编辑器的使用
摘要：下载安装命令： 进入编辑器： （1）键盘输入一个英文字母i，进入编辑状态 （2）Esc退出vim的编辑状态，之后有以下几种选择：  保存文件并退出： :wq 退出： :q （文件没修改过直接退出，若文件修改过会给提示信息，不会直接退出）  不保存强制退出： :q! 在Linux系统中使用vim 阅读全文
posted @ 2018-07-22 10:07 南边雪 阅读(123) 评论(0) 推荐(0)
hbase伪分布式安装
摘要：前提环境：jdk、hadoop、ssh 一、hbase安装 下载 配置环境变量 查看版本，安装成功 二、伪分布式的配置 进入hbase目录下 1、配置/conf/hbase-env.sh 配置JAVA_HOME，HBASE_CLASSPATH，HBASE_MANAGES_ZK.HBASE_CLASS 阅读全文
posted @ 2018-07-21 19:33 南边雪 阅读(239) 评论(0) 推荐(0)
[error]The command could not be located because '/usr/bin' is not included
摘要：配置HBase环境变量的时候写错了，写成了如下： 之后便报错 解决： 系统命令找不到时，通常是路径不对，直接在命令行用全路径即可，配置环境变量时，加入自己的环境变量，还要附带上之前的变量。如最后加上：$PATH 如下，带入完整路径即可编辑，然后输入正确的环境变量，再重启就正常了 阅读全文
posted @ 2018-07-21 16:39 南边雪 阅读(2869) 评论(0) 推荐(0)
hadoop伪分布式
摘要：一、安装jdk 1、下载解压 2、配置环境变量 配置成功： 二、ssh免密码登录 https://www.cnblogs.com/suwy/p/9326087.html 三、hadoop伪分布式配置 1、下载 2、解压 3、修改配置文件 修改为jdk安装位置 4、配置环境变量 四、启动hadoop 阅读全文
posted @ 2018-07-17 21:37 南边雪 阅读(213) 评论(0) 推荐(0)
ssh免密码登录
摘要：Ubuntu 默认已安装了 SSH client，还需要安装 SSH server： 执行： 利用 ssh-keygen 生成密钥，并将密钥加入到授权中： 在 Linux 系统中，~ 代表的是用户的主文件夹，即 “/home/用户名” 这个目录再输入ssh localhost命令，无需输入密码就可以 阅读全文
posted @ 2018-07-17 21:35 南边雪 阅读(116) 评论(0) 推荐(0)
第一个spark程序
摘要：Scala开发，sbt打包，spark运行 1、创建文件目录结构： 2、创建Scala程序 SimpleAPP.Scala： 3、使用sbt打包Scala程序 该程序依赖 Spark API，因此需要通过 sbt 进行编译打包。 在./sparkapp 中新建文件 simple.sbt，添加如下内容 阅读全文
posted @ 2018-07-17 11:49 南边雪 阅读(231) 评论(0) 推荐(0)
sbt安装
摘要：使用 Scala 编写的程序需要使用 sbt 进行编译打包，官网sbt下载解压 在解压路径下创建脚本： 更改脚本sbt的权限： 配置环境变量： 测试是否安装成功： 阅读全文
posted @ 2018-07-17 11:24 南边雪 阅读(137) 评论(0) 推荐(0)
spark安装配置
摘要：一、下载解压 二、配置 （假设已经配置了Java、Hadoop） 1、环境变量 2、spark配置 进入spark安装目录，复制文件 编辑spark-env.sh文件，在文件中添加如下信息（括号中路径为Hadoop的路径），有了下面的配置信息以后，Spark就可以把数据存储到Hadoop分布式文件系 阅读全文
posted @ 2018-07-17 11:22 南边雪 阅读(194) 评论(0) 推荐(0)