信方互联网硬汉

摘要： 1.项目引入mysql和oracle驱动 2.将mysql和oracle驱动上传到hdfs 3.远程调试源代码如下： 阅读全文

摘要： 一、客户端进行操作 1、根据yarnConf来初始化yarnClient，并启动yarnClient2、创建客户端Application，并获取Application的ID，进一步判断集群中的资源是否满足executor和ApplicationMaster申请的资源，如果不满足则抛出IllegalA 阅读全文

摘要： 1.df -TH 查看挂载情况 2.fdisk -l 查看磁盘情况 3.blkid 查看磁盘文件系统 4.vim /etc/fstab 加入 /dev/xvdf ext4 defaults 0 0 5.保存重启，查看df -TH 阅读全文

摘要： 1.官网下载 下载地址：https://github.com/alibaba/DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、M 阅读全文

摘要： 1 概述（Overview） Spark SQL是Spark的一个组件，用于结构化数据的计算。Spark SQL提供了一个称为DataFrames的编程抽象，DataFrames可以充当分布式SQL查询引擎。 2 DataFrames DataFrame是一个分布式的数据集合，该数据集合以命名列的方 阅读全文

摘要： scala>val spark=new org.apache.spark.sql.SQLContext(sc) user.json {"age":"45","gender":"M","occupation":"7","userID":"4","zipcode":"02460"}{"age":"1", 阅读全文

摘要： 1.拷贝hive-site.xml到spark/conf下，拷贝mysql-connector-java-xxx-bin.jar到hive/lib下 2.开启hive元数据服务：hive --service metastore 3.开启hadoop服务：sh $HADOOP_HOME/sbin/st 阅读全文

摘要： $spark-sql --help 查看帮助命令 $设置任务个数，在这里修改为20个 spark-sql>SET spark.sql.shuffle.partitions=20; $选择数据库 spark-sql>use siat; $查询数据表 spark-sql>select * from te 阅读全文

摘要： object func { def main(args:Array[String]):Unit={ //函数赋值给变量时， 必须在函数后面加上空格和下划线。 def sayHello(name: String) { println("Hello, " + name) } val sayHelloFu 阅读全文

摘要： ①csd包：http://archive.cloudera.com/spark2/csd/ 下载SPARK2_ON_YARN-2.2.0.cloudera1.jar ②parcel包：http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera1 阅读全文