西伯尔 - 博客园

2020年7月14日

摘要：参考： https://www.cnblogs.com/williamjie/p/9317565.html 刚开始建立新项目时，会出现缺包找不到类满篇红线等各种问题，要么换仓库，要么等，下载下来就OK了。阅读全文

posted @ 2020-07-14 19:50 西伯尔阅读(119) 评论(0) 推荐(0)

摘要：原Linux实验网址：http://dblab.xmu.edu.cn/blog/1757-2/ 实验一: spark的基础使用 1.数据载入部分在本地 (可以是虚拟机,也可以是真实操作系统,需要在包含spark-hadoop的环境下) 创建一个文本peopleinfo.txt 1 F 170 2 阅读全文

posted @ 2020-07-14 12:16 西伯尔阅读(843) 评论(0) 推荐(0)

Spark学习（二）win10部署Hadoop+Spark

摘要： 1.Hadoop （1）安装配置基础只需要配置core-site.xml和hdfs-site.xml就行。参考： https://www.jianshu.com/p/aa8cfaa26790【这个教程的core-site.xml和hdfs-site.xml的内容弄反了，交换一下就行】 http: 阅读全文

posted @ 2020-07-14 10:21 西伯尔阅读(554) 评论(0) 推荐(0)

Spark学习（一）Spark术语、概念理解

摘要： 1.RDD （1）RDD产生背景为了解决开发人员能在大规模的集群中以一种容错的方式进行内存计算，提出了 RDD 的概念，而当前的很多框架对迭代式算法场景与交互性数据挖掘场景的处理性能非常差, 这个是RDDs 的提出的动机。（2）什么是 RDD RDD 是 Spark 的计算模型。RDD（Resi 阅读全文

posted @ 2020-07-14 02:39 西伯尔阅读(401) 评论(0) 推荐(0)

2020年7月13日

Spark任务调度和资源分配

摘要： 1.Spark Context 向集群申请的资源具体有哪些? 内存和CPU。 2.Spark Context 通过什么配置方式向集群申请这些资源?或者说如何调节这些资源的数量? spark的分配资源主要就是 executor、cpu per executor、memory per executor、阅读全文

posted @ 2020-07-13 11:13 西伯尔阅读(379) 评论(0) 推荐(0)

2020年7月11日

python调用java代码

摘要：使用jpype，java导出jar包。参考：https://www.cnblogs.com/bandaobudaoweng/p/10785766.html 阅读全文

posted @ 2020-07-11 15:06 西伯尔阅读(145) 评论(0) 推荐(0)

2020年7月4日

python读文件，TypeError: a bytes-like object is required, not 'str'

摘要： 2种方法： 1.open文件设置encoding file = open(filename, 'r', encoding='UTF-8') 2.用encode方法 str = str.encode() 参考：https://www.fujieace.com/python/str-bytes.html 阅读全文

posted @ 2020-07-04 22:55 西伯尔阅读(785) 评论(0) 推荐(0)

python读文件UnicodeDecodeError: 'gbk' codec can't decode byte 0x9a in position 8: illegal multibyte sequence

摘要：参考：https://blog.csdn.net/zhang__shuang_/article/details/82527314 阅读全文

posted @ 2020-07-04 22:43 西伯尔阅读(611) 评论(0) 推荐(0)

2020年7月1日

java对象与Json互转

摘要： 1.各种json工具包比较四个JSON类库分别为：Gson，FastJson，Jackson，Json-lib。适用：使用FastJson进行JSON字符串解析，Jackson将集合转成JSON格式字符串。参考：https://blog.csdn.net/jiyueqianxue/articl 阅读全文

posted @ 2020-07-01 22:42 西伯尔阅读(273) 评论(0) 推荐(0)

method 'initializationError' not found: Opening the test classs

摘要： Junit4单元测试报错：method 'initializationError' not found: Opening the test classs 1.缺包除了junit还需要hamcrest-core和hamcrest-library。下载：https://mvnrepository.c 阅读全文

posted @ 2020-07-01 10:46 西伯尔阅读(464) 评论(0) 推荐(0)