爱生活，爱工作。

摘要： 1、Redis的官网：https://redis.io/ Redis的测试网站：http://try.redis.io/ 2、参考博客：https://www.cnblogs.com/mafly/p/redis_cluster.html http://blog.mayongfa.cn/258.htm 阅读全文

摘要： 1、今天启动启动spark的spark-shell命令的时候报下面的错误，百度了很多，也没解决问题，最后想着是不是没有启动hadoop集群的问题 ，可是之前启动spark-shell命令是不用启动hadoop集群也是可以启动起来的。今天突然报错了。 2、然后启动hadoop集群以后出现如下所示： 阅读全文

摘要： 1、python的官网：https://www.python.org/ Python简介： 1、Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。 2、Python 的设计具有很强的可读性，相比其他语言经常使用英文关键字，其他语言的一些标点符号，它具有比其他语言更有特色语 阅读全文

摘要： 1、刚才未启动zookeeper集群的时候，直接启动kafka脚本程序，kafka报错了，但是进程号启动起来来，再次启动出现如下所示的问题，这里先将进程号杀死，再启动脚本程序。 阅读全文

摘要： 1、启动kafka的脚本程序报如下所示的错误： 2、根据错误分析，说zookeeper的问题，之前我没有启动zookeeper集群，所以先启动zookeeper集群，然后启动kafka解决问题； 阅读全文

摘要： 1、执行脚本程序报如下所示的错误： 2、猛一看，WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applica 阅读全文

摘要： 1、使用sqoop技术将mysql的数据导入到Hive出现的错误如下所示： 第一次使用命令如下所示： 1 [hadoop@slaver1 sqoop-1.4.5-cdh5.3.6]$ bin/sqoop import --connect jdbc:mysql://localhost:3306/tes 阅读全文

摘要： 1、当时初学Sqoop的时候，mysql导入到hdfs导入命令执行以后，在hdfs上面没有找到对应的数据，今天根据这个bug，顺便解决这个问题吧，之前写的http://www.cnblogs.com/biehongli/p/8039128.html。 1 [hadoop@slaver1 sqoop- 阅读全文

摘要： 1、问题描述，启动azkaban的时候报如下所示的错误。之前使用azkaban是root用户，今天使用hadoop用户进行配置和使用，报这个错，说是root连接mysql拒绝了。 1 [hadoop@slaver1 azkaban-web-2.5.0]$ bin/azkaban-web-start. 阅读全文

摘要： 1、首先对linux操作系统的crontab命令进行熟悉和了解： 2、在/etc目录下有一个crontab文件，查看这个文件内容如下所示： 3、使用实例： 4、crontab配置 5、uploadFile2Hdfs.v2.sh 待续...... 阅读全文

摘要： 1、错误如下所示，启动flume采集文件到hdfs案例的时候，出现如下所示的错误： 大概是说No channel configured for sink，所以应该是sink哪里配置出现了错误，百度了一下，然后检查了一下自己的配置: 2、解决方法如下所示： 参考链接如https://stackover 阅读全文

摘要： 1、相信大家新建的maven项目，然后添加好依赖（即修改了pom.xml文件以后就会出现如下所示的错误）： 截图如下所示： 大致意思呢，读读英语还是挺有意思的，错误提示说，项目的配置没有及时更新with 这个pom.xml文件，所以更新一下配置文件即可。操作如下所示： 即鼠标右击错误，然后点击弹出的 阅读全文

摘要： 1、启动kafka的时候，报错如下所示： 2、原因分析，主要是自己是hadoop用户操作，期间无意登陆到root权限，启动了kafka,且启动成功了，创建了如下所示的目录，而且权限是root权限的，当我切换到hadoop用户的时候，启动kafka直接报如下所示的错误： 3、可以看到目录如下所示，解决 阅读全文

摘要： 1、启动hive的时候出现这个问题，报错如下所示： 2、具体原因是我配置hive的hive.site.sh的时候配置了如下所示的内容，注释了就不报错了，这里先注释了： 阅读全文

摘要： 1、针对国外的开源技术，还是学会看国外的英文说明来的直接，迅速，这里简单贴一下如何看： 2、进入到flume的conf目录，创建一个flume-spark-push.sh的文件： [hadoop@slaver1 conf]$ vim flume-spark-push.sh 配置一下这个文件，flum 阅读全文

摘要： 1、Spark Streaming是什么？ 2、Spark与Storm的对比 a、Spark开发语言：Scala、Storm的开发语言：Clojure。 b、Spark编程模型：DStream、Storm编程模型：Spout/Bolt。 c、Spark和Storm的对比介绍： Spark: Stor 阅读全文

摘要： 1、完全分布式 ./bin/run-example streaming.NetworkWordCount localhost 9999无法正常运行： 2、启动过程如上所示，下面就是问题，当在nc -lk 9999命令窗口，输入例如hello world hello world hadoop worl 阅读全文

摘要： 1、虽然，不是大错，还说要贴一下，由于我运行run-example streaming.NetworkWordCount localhost 9999的测试案例，出现的错误，第一感觉就是Spark没有启动导致的： 2、启动Spark的脚本命令： [hadoop@slaver1 spark-1.5.1 阅读全文

摘要： 1、执行Spark运行在yarn上的命令报错 spark-shell --master yarn-client，错误如下所示： 解决方法如下所示: 参考文章：https://blog.csdn.net/chengyuqiang/article/details/69934382 HADOOP_CONF 阅读全文

摘要： 1、官网下载maven：https://maven.apache.org/download.cgi 2、上传到虚拟机进行解压缩操作： [hadoop@slaver1 package]$ tar -zxvf apache-maven-3.5.3-bin.tar.gz -C /home/hadoop/s 阅读全文