• 博客园logo
  • 会员
  • 众包
  • 新闻
  • 博问
  • 闪存
  • 赞助商
  • HarmonyOS
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录
 






守护式等待

 
 

Powered by 博客园
博客园 | 首页 | 新随笔 | 联系 | 订阅 订阅 | 管理
上一页 1 ··· 23 24 25 26 27 28 29 30 31 ··· 71 下一页

2020年8月20日

spark-shell和spark-sql
摘要: 1.启动spark-shell ./spark-shell --master local[2] --jars /usr/local/jar/mysql-connector-java-5.1.47.jar maste:制定运行模式 local[2]:local本地模式 [2]:2个CUP来运行spar 阅读全文
posted @ 2020-08-20 10:58 守护式等待 阅读(682) 评论(0) 推荐(0)
 
Spark中 RDD、DF、DS的区别与联系
摘要: RDD.DataFrame.DataSet的区别和联系 共性: 1)都是spark中得弹性分布式数据集,轻量级 2)都是惰性机制,延迟计算 3)根据内存情况,自动缓存,加快计算速度 4)都有partition分区概念 5)众多相同得算子:map flatmap 等等 区别: 1)RDD不支持SQL 阅读全文
posted @ 2020-08-20 10:53 守护式等待 阅读(3129) 评论(0) 推荐(0)
 
SparkSQL连接Hive
摘要: 1.将$HIVE_HOME/conf/hive-site.xml文件复制一份到$SPARK_HOME/conf/hive-site.xml cp $HIVE_HOME/conf/hive-site.xml $SPARK_HOME/conf 2.直接启动spark-shell就能帮我们自动连接 ./s 阅读全文
posted @ 2020-08-20 09:44 守护式等待 阅读(686) 评论(0) 推荐(0)
 
spark安装 centos7
摘要: 1.安装前准备 安装scala https://www.cnblogs.com/yoyo1216/p/13365935.html 安装java https://www.cnblogs.com/yoyo1216/p/12668926.html mkdir -p /usr/local/spark/dat 阅读全文
posted @ 2020-08-20 09:29 守护式等待 阅读(227) 评论(0) 推荐(0)
 

2020年8月12日

IPFS的Python API参考手册
摘要: ipfshttpclient安装 # 下载git上资源 git clone https://github.com/ipfs/py-ipfs-http-client.git cd py-ipfs-http-client # 将ipfs-api-client链接到你的Python路径 vim /etc/ 阅读全文
posted @ 2020-08-12 11:36 守护式等待 阅读(2307) 评论(0) 推荐(0)
 

2020年8月5日

Scala 数组
摘要: 数组 package com.imooc.bigdata.scala_test import Array._ object HelloWord { def main(args: Array[String]) { var myList = Array(1.9, 2.9, 3.4, 3.5) // 定义 阅读全文
posted @ 2020-08-05 20:08 守护式等待 阅读(130) 评论(0) 推荐(0)
 

2020年7月28日

scala数据类型
摘要: 1.字符串 package com.imooc.bigdata.scala_test object HelloWord { def main(args: Array[String]) { // 定义一个字符串 val 定义的不可变 var 可变 val greeting = "Hello,World 阅读全文
posted @ 2020-07-28 15:11 守护式等待 阅读(109) 评论(0) 推荐(0)
 

2020年7月25日

函数与方法
摘要: 1.方法定义和调用 object HelloWord { def main(args: Array[String]) { println("Returned Value : " + addInt(5, 7)); // addInt(5, 7)调用定义的addInt方法 } def addInt(a: 阅读全文
posted @ 2020-07-25 17:06 守护式等待 阅读(150) 评论(0) 推荐(0)
 
scala判断语句
摘要: 1.if 语句 object Test { def main(args: Array[String]) { var x = 10; if( x < 20 ){ println("x < 20"); } } } 结果 x < 20 2.if...else 语句 object Test { def ma 阅读全文
posted @ 2020-07-25 11:48 守护式等待 阅读(625) 评论(0) 推荐(0)
 
Scala 运算符
摘要: 算术运算符 运算符描述实例 + 加号 A + B 运算结果为 30 - 减号 A - B 运算结果为 -10 * 乘号 A * B 运算结果为 200 / 除号 B / A 运算结果为 2 % 取余 B % A 运算结果为 0 object Test { def main(args: Array[S 阅读全文
posted @ 2020-07-25 11:30 守护式等待 阅读(267) 评论(0) 推荐(0)
 
上一页 1 ··· 23 24 25 26 27 28 29 30 31 ··· 71 下一页