11 2018 档案

SparkException: Could not find CoarseGrainedScheduler or it has been stopped.
摘要：解决办法： 阅读全文
posted @ 2018-11-23 06:54 秋风催落叶 阅读(5342) 评论(0) 推荐(0)
记录初学者学习Hive时踩过的坑
摘要：1. 缺少MySQL驱动包 1.1 问题描述 1.1 问题描述 1.2. 解决方案 1.2. 解决方案 上述问题很可能是缺少mysql的jar包，下载mysql-connector-java-5.1.32.tar.gz，复制到hive的lib目录下： 2. 元数据库mysql初始化 2.1 问题描述 阅读全文
posted @ 2018-11-16 09:57 秋风催落叶 阅读(3202) 评论(0) 推荐(0)
Kafka基础
摘要：kafka简介 kafka是分布式的消息发布和订阅系统（生产->消费） 特点： 消息持久化：通过o（1）的磁盘数据结构提供数据的持久化（拒绝写入内存操作，直接存入磁盘，小伙伴们都知道写入磁盘会速度会很慢，一定程度上受到了限制，那么kafka是如何操作的呢？kafka通过操作系统的预读、后写的机制进行 阅读全文
posted @ 2018-11-15 11:25 秋风催落叶 阅读(187) 评论(1) 推荐(2)
Linux基础命令
摘要：ls 显示文件或目录 -l 列出文件详细信息l(list) -a 列出当前目录下所有文件及目录，包括隐藏的a(all) mkdir 创建目录 -p 创建目录，若无父目录，则创建p(parent) cd 切换目录 touch 创建空文件 echo 创建带有内容的文件。 cat 查看文件内容 cp 拷贝 阅读全文
posted @ 2018-11-14 18:01 秋风催落叶 阅读(167) 评论(0) 推荐(2)
flume初识
摘要：一、flume特点 flume是目前大数据领域数据采集的一个利器，当然除了flume还有Fluentd和logstash，其他的目前来说并没有深入的了解，但是我觉得flume能够在大数据繁荣的今天屹立不倒，应该有以下几点： 1. Flume可以将应用产生的数据存储到任何集中存储器中，完美的介入HDF 阅读全文
posted @ 2018-11-12 15:32 秋风催落叶 阅读(327) 评论(0) 推荐(2)
linux乱码问题
摘要：一般情况下，我们在操作linux的时候都会通过一些工具来进行操作，目前比较流行的工具有SecureCRT和Xshell6，在远程访问linux系统中的文件，可能会遇到一些中文乱码的情况 在试用vi编辑文件的时候出现中文不识别的情况，一拿到这个问题之后我的思路是先直接在服务器上操作，进行查看中文文档， 阅读全文
posted @ 2018-11-12 11:50 秋风催落叶 阅读(204) 评论(0) 推荐(2)
博客初识
摘要：2018.02.28第一次遇见博客，但是从未在博客上面书写一些东西，学完spark之后，觉得自己有必要把自己踩过的一些坑记录下来，一方面是记录自己在大数据方面的成长经历，另一方面也是为了在博客上跟更多的前辈学习，当然，以前是做java web开发，要是什么心得之类的也会记录在此，谨以此篇记录作为博客 阅读全文
posted @ 2018-11-11 11:02 秋风催落叶 阅读(127) 评论(0) 推荐(0)