摘要：
scala> import org.apache.spark.sql.hive.HiveContextimport org.apache.spark.sql.hive.HiveContext scala> val hcon=new HiveContext(sc)warning: there was 阅读全文
posted @ 2018-07-19 16:11 打杂滴 阅读(482) 评论(0) 推荐(0)
2018年7月19日
2018年7月17日
摘要：
在使用SecureCRT上传下载之前需要给服务器安装lrzsz： yum -y install lrzsz rz中的r意为received（接收），输入rz时、意为服务器接收文件，既将文件从本地上传到服务器。sz中的s意为send（发送），输入sz时、意为服务器要发送文件，既从服务器发送文件到本地， 阅读全文
posted @ 2018-07-17 14:22 打杂滴 阅读(197) 评论(0) 推荐(0)
2018年7月12日
摘要：
导出数据： mysql> select host,user from user where host<>'localhost' into outfile '/root/aa.txt';ERROR 1290 (HY000): The MySQL server is running with the - 阅读全文
posted @ 2018-07-12 10:12 打杂滴 阅读(150) 评论(0) 推荐(0)
2018年7月11日
摘要：
语法 [root@VM_92_135_centos ~]# redis-cli -h localhost -p 6179 -a password [root@VM_92_135_centos ~]# redis-cli -p 6179 -a password Redis Info 命令 以一种易于理 阅读全文
posted @ 2018-07-11 17:27 打杂滴 阅读(228) 评论(0) 推荐(0)
摘要：
zip拉链操作 def zip[U](other: org.apache.spark.rdd.RDD[U])(implicit evidence$10: scala.reflect.ClassTag[U]): org.apache.spark.rdd.RDD[(String, U)] scala> 阅读全文
posted @ 2018-07-11 14:46 打杂滴 阅读(173) 评论(0) 推荐(0)
2018年7月9日
摘要：
sqlserver高级版本可以在 文件 目录生成数据库字典 早期的SQLSERVER版本可以通过SQLDOC生成html格式的数据库字典 MySQL可以通过sqlyog可以通过数据库字典：数据库菜单下，以html格式创建数据库架构 阅读全文
posted @ 2018-07-09 13:27 打杂滴 阅读(581) 评论(0) 推荐(0)
2018年6月29日
摘要：
解析url scala> import java.net.URLimport java.net.URL scala> val urlstr="http://www.baidu.com:8899/getUsername?userid=110&sysId=552" urlstr: String = ht 阅读全文
posted @ 2018-06-29 18:23 打杂滴 阅读(380) 评论(0) 推荐(0)
摘要：
启动spark-shell 如果你有一个Hadoop 集群， 并且Hadoop 版本支持YARN， 通过为Spark master 设定yarn-client 参数值，就可以在集群上启动Spark 作业：$ spark-shell --master yarn-client如果你是在自己的计算机上运行 阅读全文
posted @ 2018-06-29 16:22 打杂滴 阅读(178) 评论(0) 推荐(0)
2018年6月27日
摘要：
Spark 用来操作结构化和半结构化数据的接口——Spark SQL。结构化数据是指任何有结构信息的数据。所谓结构信息，就是每条记录共用的已知的字段集合。当数据符合这样的条件时，Spark SQL 就会使得针对这些数据的读取和查询变得更加简单高效。 Spark SQL 提供了以下三大功能： (1) 阅读全文
posted @ 2018-06-27 16:41 打杂滴 阅读(300) 评论(0) 推荐(0)
摘要：
使用SparkConf配置Spark 对Spark 进行性能调优，通常就是修改Spark 应用的运行时配置选项。Spark 中最主要的配置机制是通过SparkConf 类对Spark 进行配置。当创建出一个SparkContext 时，就需要创建出一个SparkConf 的实例. 在Scala 中使 阅读全文
posted @ 2018-06-27 14:56 打杂滴 阅读(304) 评论(0) 推荐(0)
浙公网安备 33010602011771号