2020 年 10月随笔档案 - kpwong

Scala idea eclipse 开发环境搭建

摘要：Windows下安装Scala: Scala是一种类似Java的纯面向对象的函数式编程语言，由于函数具有明确的确定输入对确定输出的关系，所以适合推理和计算，一切函数都可以看成一系列的计算组成，另外由于Scala函数是没有副作用和透明的，所以非常适合做多核并行计算和云计算，现在正被越来越多的应用到生产阅读全文

posted @ 2020-10-31 11:06 kpwong 阅读(311) 评论(0) 推荐(0)

Hadoop hdfs 访问权限问题

摘要：访问DFS时候。出现： Permission denied: user=dr.who, access=READ_EXECUTE, inode="/user":root:supergroup:drwx-wx-wx 问题. 二、分析在浏览器查看目录和删除目录及文件，为什么会是dr.who，dr.who 阅读全文

posted @ 2020-10-24 14:10 kpwong 阅读(5767) 评论(0) 推荐(0)

Spark history 配置

摘要：1：修改spark-defaults.conf文件。添加如下内容 spark.eventLog.enabled true spark.eventLog.dir hdfs://hadoop102:9000/sparklog spark.eventLog.compress truespark.yarn. 阅读全文

posted @ 2020-10-24 10:04 kpwong 阅读(1392) 评论(0) 推荐(0)

Log4J配置

摘要：1：在resources文件夹下添加log4j.properites文件。 2：编辑log4j.properites。添加如下代码. log4j.rootLogger=INFO, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppende 阅读全文

posted @ 2020-10-23 22:17 kpwong 阅读(120) 评论(0) 推荐(0)

maven 配置.

摘要：1：把zip文件解压缩到安装目录. 2：设置国内镜像.(修改conf/setting.xml文件) <mirrors> <!-- mirror | Specifies a repository mirror site to use instead of a given repository. The 阅读全文

posted @ 2020-10-23 22:12 kpwong 阅读(161) 评论(0) 推荐(0)

Hadoop WordCount Example For Mapper Reducer

摘要：Pom文件添加： <dependencies> <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-simple</artifactId> <version>1.7.25</version> <scope>compile</scop 阅读全文

posted @ 2020-10-15 20:59 kpwong 阅读(136) 评论(0) 推荐(0)

Vim命令

摘要：阅读全文

posted @ 2020-10-15 15:35 kpwong 阅读(80) 评论(0) 推荐(0)

ubuntu的docker镜像中安装ifconfig和ping命令

摘要：缺省的镜像系统中 ifconfig,ping 是没有安装的。需要自己安装 apt-get update apt-get install net-tools #安装ifconfig命令 apt-get install iputils-ping #安装ping命令阅读全文

posted @ 2020-10-14 09:07 kpwong 阅读(295) 评论(0) 推荐(0)

hadoop 再次格式化文件系统 bin/hdfs namenode -format

摘要：hadoop 系统第一次格式化系统运行 bin/hdfs namenode -format 完成后，运行一段时间。想重新格式化系统。需要注意。第一步：关停hadoop进程.NameNode,DataNode. 第二步：手动删除Data,logs目录。第三步：运行 bin/hdfs namenod 阅读全文

posted @ 2020-10-11 08:43 kpwong 阅读(3554) 评论(0) 推荐(0)

Hadoop 报 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 解决方案

摘要：运行 hadoop命令时候.出现错误。 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 阅读全文

posted @ 2020-10-11 08:05 kpwong 阅读(541) 评论(0) 推荐(0)

Hadoop集群环境搭建第六步：安装hadoop

摘要：1:安装hadoop到hadp201机器上 tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/ 2：编辑hadoop环境变量. export HADOOP_HOME=/opt/module/hadoop-2.7.2 export PATH=$PATH:$HAD 阅读全文

posted @ 2020-10-10 18:06 kpwong 阅读(101) 评论(0) 推荐(0)

Hadoop集群环境搭建第五步：安装zookeeper

摘要：阅读全文

posted @ 2020-10-10 18:05 kpwong 阅读(77) 评论(0) 推荐(0)

Hadoop集群环境搭建第四步：添加xcall xsync 集群脚本工(只需要在hadoop201上存放即可)

摘要：参考 xcall 集群脚本参考 xsync 集群同步脚本阅读全文

posted @ 2020-10-10 18:00 kpwong 阅读(141) 评论(0) 推荐(0)

Hadoop集群环境搭建第三步安装JDK1.8

摘要：在hadoop201 机器上创建 /opt/module , /opt/software 目录拷贝jdk 压缩文件包到 /opt/software.解压安装JDK1.8 tar -C 指定安装目录为/opt/module tar -zxvf jdk-8u144-linux-x64.tar.gz 阅读全文

posted @ 2020-10-10 17:09 kpwong 阅读(250) 评论(0) 推荐(0)

Hadoop集群环境搭建第二步：防火墙关闭，hostname修改，免密访问

摘要：1: 关闭防火墙(Centos6.5).集群中每台机器都要关闭 //临时关闭 service iptables stop //禁止开机启动 chkconfig iptables off 2.hostname 修改. vim /etc/sysconfig/networkvim /etc/hostssy 阅读全文

posted @ 2020-10-10 16:49 kpwong 阅读(799) 评论(0) 推荐(0)

Hadoop集群环境搭建第一步： VMWare 虚拟机中Centos6 系统静态IP配置

摘要：方法一：图形界面修改: 1：VMWare 打开Centos虚拟机镜像文件。重新命名为hadoop202.右键hadoop202虚拟机属性.改网络连接方式为桥接模式.点击高级按钮。在弹出的对话框中，重新生成新的Mac地址。记住这个MAC地址。 00:50:56:22:76:52 2：启动虚拟机。使用阅读全文

posted @ 2020-10-10 01:04 kpwong 阅读(273) 评论(0) 推荐(0)

Kafka 自定义拦截器ProducerInterceptor

摘要：案例：自定义两个Producer 连接器，一个在消息上添加时间戳，一个统计消息成功失败个数(当然这两个拦截器可以写在一块，我们现在分两个拦截器来实现)。 1：Pom文件添加如下代码.(slf4j 依赖是为了去编译警告的。可以不加) <dependencies> <!-- https://mvn 阅读全文

posted @ 2020-10-08 10:38 kpwong 阅读(275) 评论(0) 推荐(0)

kafka 集群启动脚本 xkafka

摘要：1: 在 /usr/local/bin 目录下touch xkafka.sh 2 : chmod 777 xkafka.sh 3 :编辑文件 #!/bin/bash #判断用户是否传参 if [ $# -ne 1 ];then echo "无效参数，用法为: $0 {start|stop}" exi 阅读全文

posted @ 2020-10-04 23:50 kpwong 阅读(688) 评论(0) 推荐(0)

zookeeper 集群启动脚本

摘要：1：在目录 /usr/local/bin下 touch xzk.sh 2: chmod 777 xzk.sh 3: 编辑 xzk.sh #判断用户是否传参 if [ $# -ne 1 ];then echo "无效参数，用法为: $0 {start|stop|restart|status}" exi 阅读全文

posted @ 2020-10-04 23:29 kpwong 阅读(1223) 评论(0) 推荐(0)

xcall 集群脚本

摘要：1: 在/usr/local/bin目录下 touch xcall （生成xcall 文件），编辑文件写入如下代码如果想在任何地方都能使用xcall命令，需要将xcall命令放到 /usr/local/bin/ 目录下 #!/bin/bash # 获取控制台指令 # 判断指令是否为空 pcount 阅读全文

posted @ 2020-10-04 19:11 kpwong 阅读(977) 评论(0) 推荐(1)

xsync 集群同步脚本

摘要：1：修改/etc/hosts文件:添加下面主机 192.168.3.44 hadoop101 192.168.3.43 hadoop102 192.168.3.45 hadoop103 2：编写xsync文件 #! /bin/bash #1 获取输入参数个数，如果没有参数，直接退出 pcount=$ 阅读全文

posted @ 2020-10-03 21:57 kpwong 阅读(1028) 评论(0) 推荐(0)

10 2020 档案

公告