05 2017 档案

linux shell 条件判断if else, if elif else....
摘要：在linux的shell中 if 语句通过关系运算符判断表达式的真假来决定执行哪个分支。Shell 有三种 if ... else 语句： 1) if ... else 语句 if ... else 语句的语法： 注意：如果 expression 返回 true，then 后边的语句将会被执行；如果 阅读全文
posted @ 2017-05-30 23:32 zhou_jun 阅读(10476) 评论(0) 推荐(0)
linux shell判断文件,目录是否存在或者具有权限
摘要：在linux中判断文件，目录是否存在或则具有的权限，根据最近的学习以及网上的资料，进行了以下的总结： #!/bin/sh myPath="/var/log/httpd/" myFile="/var /log/httpd/access.log" #这里的-x 参数判断$myPath是否存在并且是否具有可执行权限 if [ ! -x "$myPath"]; then ... 阅读全文
posted @ 2017-05-30 23:25 zhou_jun 阅读(2814) 评论(0) 推荐(0)
linux　shell 判断空字符串的几种方法！
摘要：在书写linux shell 脚本我们经常会遇到，对一个字符串是否为空进行判断，下面我对几种常用的方法进行了一个总结： 1.-z判断 2.加一个字符串再比较 3.直接使用变量判断 注意：都要代双引号，否则有些命令会报错，在实际使用linux命令的时候，一定要记得注意这些符号，及语法的规则！ 阅读全文
posted @ 2017-05-30 23:16 zhou_jun 阅读(13650) 评论(1) 推荐(2)
Spark运行程序异常信息： org.apache.spark.SparkException: Task not serializable 解决办法
摘要：错误信息：17/05/20 18:51:39 ERROR JobScheduler: Error running job streaming job 1495277499000 ms.0org.apache.spark.SparkException: Task not... 阅读全文
posted @ 2017-05-20 18:53 zhou_jun 阅读(4908) 评论(0) 推荐(0)
MapReduce编程练习（四），统计多个输入文件学生的平均成绩，
摘要：问题描述：在输入文件中，有多个，其中每个输入文件代表一个学生的各科成绩，其中每行的数据形式为，你需要将每个文件中的每科目的成绩进行统计，然后求平均值。输入文件格式：这里有三个学生：输出文件格式：实例代码：package com.test;import java.io.... 阅读全文
posted @ 2017-05-19 10:54 zhou_jun 阅读(1606) 评论(0) 推荐(0)
mapreduce编程练习（一）简单的练习 WordCount
摘要：入门训练：WordCount 问题描述：对一个或多个输入文件中的单词进行计数统计，比如一个文件的输入文件如下 输出格式：运行代码实例：package hadoopLearn;import java.io.IOException;import java.net.UR... 阅读全文
posted @ 2017-05-19 10:28 zhou_jun 阅读(890) 评论(0) 推荐(0)
eclipse下执行maprdeuc程序报错 java.lang.ClassNotFoundException
摘要：最近遇到一个问题，不知怎么突然运行hadoop的map程序报错，困扰了我很久，现在来给大家分享分享。。错误信息2017-05-18 21:34:22,104 INFO [main] client.RMProxy (RMProxy.java:createRMProxy... 阅读全文
posted @ 2017-05-18 21:33 zhou_jun 阅读(452) 评论(0) 推荐(0)
MapReduce编程练习（三），按要求不同文件名输出结果
摘要：问题：按要求文件名输出结果，比如这里我要求对一个输入文件中的WARN，INFO，ERROR，的信息项进行分析，并分别输入到对应的以WARN，INFO。ERROR和OTHER开头的结果文件中，其中结果文件包含对应的相关信息。输入文件： 输入文件为hadoop的一些... 阅读全文
posted @ 2017-05-14 17:24 zhou_jun 阅读(452) 评论(0) 推荐(0)
mapreduce编程练习（二）倒排索引 Combiner的使用以及练习
摘要：问题一：请使用利用Combiner的方式：根据图示内容编写maprdeuce程序示例程序package com.greate.learn;import java.io.IOException;import java.net.URI;import java.util.S... 阅读全文
posted @ 2017-05-14 17:15 zhou_jun 阅读(423) 评论(0) 推荐(0)
Zookeeper+Kafka+Spark streaming单机整合开发
摘要：环境准备： ubuntu 开发环境： jdk 1.8 scala：2.11.0 spark 2.0 zookeeper 3.4.6 kafka 2.12-0.10.2.0 开始整合： 1 zookeeper的安装，这里我使用的zookeeper版本为3.4.6 a， 下载zookeeper安装包zo 阅读全文
posted @ 2017-05-14 16:44 zhou_jun 阅读(875) 评论(0) 推荐(0)
学习笔记 Hadoop的job提交过程，shuffle过程以及HA机制的实现
摘要：一，在hadoop中的mapreduce的job提交过程比较繁琐，但掌握job的提交过程是我们进入深入学习的必要。 二，mapreduce的shuffle机制三，Hadoop的HA机制。 阅读全文
posted @ 2017-05-04 22:38 zhou_jun 阅读(215) 评论(0) 推荐(0)
ubuntu下scala下载+集成IDEA开发环境
摘要：环境须知： ubuntu 16.04 scala 2.11.0 jdk 1.8.0 Idea 2016.3 JDK环境安装 (1)安装jdk, 注意scala很好的支持jdk 1.8 的jvm 编译环境，最好安装jdk 1.8 如果软件源中没有jdk 1.8 可以去java的官网下载 点击打开链接 阅读全文
posted @ 2017-05-02 11:50 zhou_jun 阅读(460) 评论(0) 推荐(0)
Hadoop伪分布式环境搭建+Ubuntu:16.04+hadoop-2.6.0
摘要：Hello，大家好 !下面就让我带大家一起来搭建hadoop伪分布式的环境吧！不足的地方请大家多交流。谢谢大家的支持 准备环境： 1， ubuntu系统，（我在16.04测试通过。其他版本请自行测试，可参考官方文档！） 2，最好有网 下面就让我... 阅读全文
posted @ 2017-05-02 10:52 zhou_jun 阅读(276) 评论(0) 推荐(0)