摘要：
安装jupyter_contrib_nbextensions库 安装该库的命令如下： python -m pip install jupyter_contrib_nbextensions 然后执行： jupyter contrib nbextension install --user --skip- 阅读全文
posted @ 2021-01-21 17:16
ziyuliu
阅读(510)
评论(0)
推荐(0)
摘要：
为什么要学习架构？之前，老师教我们软件架构的时候，就告诉我们，软件开发，先从架构入手。他说，弄清楚了架构，再来学习具体的语法和技术就很简单了。以前不懂，底层具体的细节都不了解，如何来构建一个系统呢？就像让我们去建造一栋大厦，刚开始想到的可能就是需要砖、砌墙的工具、、、、、这就像刚学习编程的自己，以为 阅读全文
posted @ 2021-01-19 19:57
ziyuliu
阅读(66)
评论(0)
推荐(0)
摘要：
3. 使用 netcat 数据源测试 Flume cd /usr/local/flume sudo vim ./conf/example.conf # example.conf: A single-node Flume configuration # Name the components on t 阅读全文
posted @ 2021-01-18 18:49
ziyuliu
阅读(674)
评论(0)
推荐(0)
摘要：
2. 使用 Avro 数据源测试 FlumeAvro 可以发送一个给定的文件给 Flume，Avro 源使用 AVRO RPC 机制。请对 Flume的相关配置文件进行设置，从而可以实现如下功能：在一个终端中新建一个文件helloworld.txt（里面包含一行文本“Hello World”），在另 阅读全文
posted @ 2021-01-18 18:09
ziyuliu
阅读(1581)
评论(0)
推荐(0)
运行项目连接Mysql时出现警告Establishing SSL connection without server‘s identity verification is not recommende
摘要：
解决： jdbc:mysql://localhost:3306/testdb?characterEncoding=utf-8&useSSL=false 阅读全文
posted @ 2021-01-18 17:24
ziyuliu
阅读(202)
评论(0)
推荐(0)
摘要：
2 ．编程实现将 RDD 转换为 DataFrame源文件内容如下（包含 id,name,age）： 请将数据复制保存到 Linux 系统中，命名为 employee.txt，实现从 RDD 转换得到DataFrame，并按“id:1,name:Ella,age:36”的格式打印出 DataFram 阅读全文
posted @ 2021-01-18 17:10
ziyuliu
阅读(2982)
评论(0)
推荐(0)
摘要：
Spark SQL 基本操作 将下列 JSON 格式数据复制到 Linux 系统中，并保存命名为 employee.json。 json数据 { "id":1 ,"name":"Ella","age":36} { "id":2,"name":"Bob","age":29 } { "id":3 ,"n 阅读全文
posted @ 2021-01-18 13:58
ziyuliu
阅读(3427)
评论(0)
推荐(0)
摘要：
2. 编写独立应用程序实现数据去重 对于两个输入文件 A 和 B，编写 Spark 独立应用程序，对两个文件进行合并，并剔除其 中重复的内容，得到一个新文件 C。下面是输入文件和输出文件的一个样例，供参考。 输入文件 A 的样例如下： 20170101 x 20170102 y 20170103 x 阅读全文
posted @ 2021-01-17 02:19
ziyuliu
阅读(5297)
评论(0)
推荐(0)
摘要：
安装过程参照： http://dblab.xmu.edu.cn/blog/1307-2/ 启动Spark： cd /usr/local/spark bin/spark-shell 运行例子： scala> 8*2+5 res0: Int = 21 退出： :quit 阅读全文
posted @ 2021-01-16 19:15
ziyuliu
阅读(911)
评论(0)
推荐(0)
浙公网安备 33010602011771号