10 2019 档案

Hadoop+Spark分布式集群环境搭建
摘要：Hadoop是一个能够让用户轻松架构和使用的分布式计算平台，而Spark 是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。 下面使用在同一个局域网下的两台电脑搭建分布式计算的环境： 其中JDK、Hadoop、Spark都已经在两台电脑上安装好。 一台Ubuntu主机系统Master，IP地址 阅读全文
posted @ 2019-10-13 01:50 ZJdiem 阅读(1149) 评论(0) 推荐(0)
idea比较常用的快捷键
摘要：最常用快捷键： Ctrl + Z 撤销 （万能后悔灵药） Ctrl + Shift + Z 取消撤销 Ctrl + / 注释光标所在行代码 Alt + Enter 根据光标所在问题，提供快速修复选择 Alt + Insert 代码自动生成set / get 方法，构造函数，toString()等方法 阅读全文
posted @ 2019-10-06 15:51 ZJdiem 阅读(780) 评论(0) 推荐(0)
大数据IDE，调试模式屏蔽日志
摘要：//屏蔽日志 //Javaimport org.apache.log4j.Level;import org.apache.log4j.Logger;Logger.getLogger("org.apache.spark").setLevel(Level.WARN);Logger.getLogger(" 阅读全文
posted @ 2019-10-06 13:52 ZJdiem 阅读(258) 评论(0) 推荐(0)
解决Mysql密码登录错误问题（Access denied for user 'root'@'localhost'）
摘要：使用以下命令进行mysql安装： sudo apt-get update #更新软件源 sudo apt-get install mysql-server #安装mysql 由于安装时，mysql并未提示输入密码，导致启动mysql时输入密码报错ERROR 1698 (28000): Access 阅读全文
posted @ 2019-10-05 14:45 ZJdiem 阅读(1434) 评论(0) 推荐(0)
安装Hbase
摘要：假设已经下载好hbase-1.1.5-bin.tar.gz在download目录下。 添加HBase权限 Hbase伪分布式配置 在hbasee-env.sh添加如下内容 配置/usr/local/hbase/conf/hbase-site.xml 然后测试运行HBase 输入jps后能显示如下内容 阅读全文
posted @ 2019-10-05 13:51 ZJdiem 阅读(217) 评论(0) 推荐(0)
idea（2018.3版本）安装教程
摘要：在官网上下载好安装包安装好之后。 在网上搜索下载一个JetbrainsIdesCrack-4.2.jar。 复制到idea安装目录下的bin目录 然后修改idea.vmoptions和idea64.vmoptions这两个文件。 在后面添加（-javaagent：后面加上jar包的路径）： -jav 阅读全文
posted @ 2019-10-04 18:48 ZJdiem 阅读(1540) 评论(0) 推荐(0)
安装sbt
摘要：sbt是一款Spark用来对scala编写程序进行打包的工具。 假设已经下载好sbt-launch.jar在download目录下，执行如下命令，将sbt安装在 /usr/local/sbt 中 接着在 /usr/local/sbt 中创建 sbt 脚本（vim ./sbt），添加如下内容： 保存后 阅读全文
posted @ 2019-10-04 18:28 ZJdiem 阅读(729) 评论(0) 推荐(0)
安装Spark
摘要：假设已经下载好spark-2.3.3-bin-hadoop.tgz在download目录下 这里采用Local模式（单机模式）的 Spark安装。 安装后，还需要修改Spark的配置文件spark-env.sh 编辑spark-env.sh文件(vim ./conf/spark-env.sh)，在第 阅读全文
posted @ 2019-10-04 18:20 ZJdiem 阅读(124) 评论(0) 推荐(0)
启动YARN
摘要：启动 Hadoop，仅仅是启动了 MapReduce 环境，我们可以启动 YARN ，让 YARN 来负责资源管理与任务调度。 首先修改配置文件 mapred-site.xml，需要先进行重命名： 然后再进行编辑( gedit ./etc/hadoop/mapred-site.xml )： 接着修改 阅读全文
posted @ 2019-10-04 14:03 ZJdiem 阅读(1542) 评论(0) 推荐(0)
Ubuntu配置PATH环境变量
摘要：PATH 环境变量（可执行 echo $PATH 查看，当中包含了多个目录）。例如我们在主文件夹 ~ 中执行 ls 这个命令时，实际执行的是 /bin/ls 这个程序，而不是 ~/ls 这个程序。系统是根据 PATH 这个环境变量中包含的目录位置，逐一进行查找，直至在这些目录位置下找到匹配的程序（若 阅读全文
posted @ 2019-10-04 13:48 ZJdiem 阅读(893) 评论(0) 推荐(0)
安装hadoop
摘要：假设已经下载好hadoop-2.7.1在download目录下。 将 Hadoop 安装至 /usr/local/ 中： 输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息： Hadoop伪分布式配置 Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程 阅读全文
posted @ 2019-10-04 13:39 ZJdiem 阅读(213) 评论(0) 推荐(0)
安装SSH、配置SSH无密码登陆
摘要：集群、单节点模式都需要用到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机，并且在上面运行命令），Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH server： 安装后，可以使用如下命令登陆本机： 但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登 阅读全文
posted @ 2019-10-04 13:08 ZJdiem 阅读(283) 评论(0) 推荐(0)
ubuntu安装java环境
摘要：假设已经下载好JDK1.8的安装包jdk-8u162-linux-x64.tar.gz在Download目录下 设置环境变量，打开当前用户./bashrc环境变量配置文件 在这个文件的开头位置，添加如下几行内容（i插入）： 保存.bashrc文件并退出vim编辑器(编辑完后Esc退出编辑，再输入“: 阅读全文
posted @ 2019-10-04 13:03 ZJdiem 阅读(1561) 评论(0) 推荐(0)