会员
众包
新闻
博问
闪存
赞助商
Trae
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
Sun's Blog-专注于阅读
嘿,青年,你想成什么样的人?
博客园
首页
标签
归档
导航
谷歌
百度
码云
新随笔
联系
管理
随笔 - 233
文章 - 0
评论 - 11
阅读 -
19万
2021年7月14日
如何使用DBeaver连接hive
摘要: @ 1. 新建一个对hive的连接 2. 填写主机地址和登录信息 3. 最重要的一步,配置驱动 4. 点击进来后,会发现这里有一个默认的驱动,把它删掉 5. 使用hive自带的驱动,去到hive的安装目录下,有一个jdbc目录 使用sz命令把这个jar包下载到本地(rz命令是上传文件) sz hiv
阅读全文
posted @ 2021-07-14 15:23 孙晨c
阅读(1983)
评论(0)
推荐(0)
2021年6月7日
Spark报错:Caused by: java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo
摘要: 问题 在yarn集群上提交一个spark-submit的任务,最后抛出一个异常 解决 原因: 因为在之前的项目中,在hadoop中的core-site.xml 和mapred-site.xml文件配置了lzo格式的压缩,这就导致上传到hdfs 的文件自动被压缩为lzo了。所以当使用提交spark-s
阅读全文
posted @ 2021-06-07 20:09 孙晨c
阅读(309)
评论(0)
推荐(0)
2021年3月29日
Spark中普通集合与RDD算子的zip()拉链有什么区别
摘要: 集合中的zip: 如果两个集合的元素个数不相等,那么会将同等数量的数据进行拉链,多余的数据省略不用 RDD算子的zip: 该操作可以将两个RDD中的元素,以键值对的形式进行合并。其中,键值对中的Key为第1个RDD中的元素,vaue为第2个RDD中的元素。 不同于集合中的zip()方法,将两个RDD
阅读全文
posted @ 2021-03-29 13:12 孙晨c
阅读(198)
评论(0)
推荐(0)
Spark中普通集合与RDD算子的sortBy()有什么区别
摘要: 分别观察一下集合与算子的sortBy()的参数列表 普通集合的sortBy() RDD算子的sortBy() 结论:普通集合的sortBy就没有false参数,也就是说只能默认的升序排。 如果需要对普通集合中的元素需要升序排怎么办? 如图所示,我这调用的sortby()是List集合的方法了,不是算
阅读全文
posted @ 2021-03-29 12:33 孙晨c
阅读(143)
评论(0)
推荐(0)
2021年3月12日
如何使用python把json文件转换为csv文件
摘要: @ 了解json整体格式 这里有一段json格式的文件,存着全球陆地和海洋的每年异常气温(这里只选了一部分):global_temperature.json { "description": { "title": "Global Land and Ocean Temperature Anomalie
阅读全文
posted @ 2021-03-12 16:44 孙晨c
阅读(3003)
评论(0)
推荐(1)
2021年2月25日
scala:分别使用懒汉式和饿汉式实现单例模式
摘要: 在java中,单例模式需要满足以下要求: 构造方法私有化,使得本类之外的地方不能使用构造方法new出对象 提供私有静态属性,接收单例对象 公共的、静态的getInstance方法,便于外界拿到单例对象 想了解Java单例模式的请转到:Java单例模式-懒汉式、恶汉式、静态内部类、枚举以及线程安全问题
阅读全文
posted @ 2021-02-25 01:04 孙晨c
阅读(185)
评论(0)
推荐(0)
2021年2月24日
java创建对象的五种方式
摘要: new 反射:使用Class类的forName()方法得到指定类对象,然后使用类对象的newInstance()方法创建对象 克隆:实现Cloneable接口,需要已经有一个分配了内存的对象,使用这个已经创建的对象克隆新对象 反序列化:实现Serializable接口,将一个对象序列化到磁盘上,采用
阅读全文
posted @ 2021-02-24 23:59 孙晨c
阅读(132)
评论(0)
推荐(0)
scala:主构造方法和辅助构造方法
摘要: @ 构造器(构造方法) 作用: 构造对象 初始化属性(给对象的属性赋值) Java中构造器 方法名和类名保持一致 构造方法没有返回值类型 构造方法可以重载 Scala中构造器 主构造方法 在声明类的同时,就定义了主构造方法,换言之,类就是主构造方法 在一个类中,主构造方法只能有一个 辅助构造方法 方
阅读全文
posted @ 2021-02-24 14:45 孙晨c
阅读(535)
评论(0)
推荐(0)
java和scala的访问权限修饰符及其异同点
摘要: Java -private 只能在当前类中被访问 -default(默认) 当前类以及同包的其他类 -protected 当前类以及同包的其他类以及非同包的子类 -public 所有类 Scala -在scala中,类、方法、属性默认就是public修饰,但是没有public关键字 -private
阅读全文
posted @ 2021-02-24 12:43 孙晨c
阅读(114)
评论(0)
推荐(0)
2021年2月22日
scala:把函数作为值或参数进行传递、作为返回值进行返回,以及什么是闭包和柯里化
摘要: @ 函数可以作为值进行传递 语法var f = 函数名 _ 如果明确了变量的数据类型,那么下划线可以省略 //函数正常的声明与调用 def foo():Int={ println("foo...") 10 } //将foo函数的执行结果赋值给res变量 //val res: Int = foo()
阅读全文
posted @ 2021-02-22 17:43 孙晨c
阅读(787)
评论(0)
推荐(0)
下一页
公告
昵称:
孙晨c
园龄:
6年
粉丝:
15
关注:
1
+加关注
<
2025年7月
>
日
一
二
三
四
五
六
29
30
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
1
2
3
4
5
6
7
8
9
搜索
常用链接
我的随笔
我的评论
我的参与
最新评论
我的标签
最新随笔
1.如何使用DBeaver连接hive
2.Spark报错:Caused by: java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo
3.Spark中普通集合与RDD算子的zip()拉链有什么区别
4.Spark中普通集合与RDD算子的sortBy()有什么区别
5.如何使用python把json文件转换为csv文件
6.scala:分别使用懒汉式和饿汉式实现单例模式
7.java创建对象的五种方式
8.scala:主构造方法和辅助构造方法
9.java和scala的访问权限修饰符及其异同点
10.scala:把函数作为值或参数进行传递、作为返回值进行返回,以及什么是闭包和柯里化
我的标签
Hadoop
(52)
Java
(44)
数据结构与算法(C语言版)
(27)
python
(21)
Linux
(18)
Mysql
(14)
Hive
(10)
计算机网络
(10)
踩坑记录
(10)
scala
(6)
更多
积分与排名
积分 - 158142
排名 - 8741
随笔档案
(233)
2021年7月(1)
2021年6月(1)
2021年3月(3)
2021年2月(9)
2021年1月(11)
2020年12月(6)
2020年11月(1)
2020年10月(10)
2020年9月(20)
2020年8月(7)
2020年7月(48)
2020年5月(13)
2020年4月(2)
2020年3月(7)
2020年2月(4)
2019年12月(1)
2019年11月(2)
2019年10月(14)
2019年9月(23)
2019年8月(37)
2019年7月(13)
更多
阅读排行榜
1. IDEA/Pycharm的config目录以及插件的安装位置在哪里?(6962)
2. SQLServer中char、varchar、nchar、nvarchar的区别:(5333)
3. 数据库设计的六个阶段详解(5275)
4. JSP中引用CSS样式文件却无法显示的问题解决方案(5088)
5. VMnet1、VMnet8到底是什么?(4609)
评论排行榜
1. MapReduce之MapJoin案例(2)
2. 数据库系统概述(2)
3. VMware网络设置的三种方式(2)
4. SQL"已更新或者删除的行值要么不能使该行成为唯一行,要么改变了多个行(X行)“解决办法(2)
5. 树的存储、森林的存储(2)
推荐排行榜
1. Hive排序函数(2)
2. 使用MapReduce运行WordCount案例(2)
3. SQLServer中char、varchar、nchar、nvarchar的区别:(2)
4. 如何使用python把json文件转换为csv文件(1)
5. IDEA/Pycharm的config目录以及插件的安装位置在哪里?(1)
最新评论
1. Re:Hive排序函数
6
--pphboy
2. Re:MapReduce之MapJoin案例
@落叶翎飒 好的...
--孙晨c
3. Re:MapReduce之MapJoin案例
您好!我是51testing软件测试网编辑,您的这篇文章写得很好:我们想要转载让更多人看到,希望您能够同意,非常感谢!
--落叶翎飒
4. Re:数据库系统概述
@ 牛腩谢谢哈哈 我是自学的...
--孙小白😉
5. Re:数据库系统概述
支持支持
--牛腩
点击右上角即可分享