落霞与孤鹜齐飞

摘要： org.apache.hadoop.hbase.NotServingRegionException: SYSTEM.STATS,,1607503004410.334266e1a9b7d9859dbfbdd57285af67. is not online 是SYSTEM.STATS这个表not onl 阅读全文

摘要： 第二章 数据分析 wget https://archive.ics.uci.edu/ml/machine-learning-databases/00210/donation.zip 第三章 音乐推荐 wget http://www.iro.umontreal.ca/~lisa/datasets/pr 阅读全文

摘要： df.write .option("truncate", "true") .option("driver", mysqlDriver) .mode(SaveMode.Overwrite).jdbc(url, table, pro) 需要配置某个jdbc类型驱动driver,option("drive 阅读全文

摘要： 异常出现:spark读取hive表时,spark.read.table(hive.test) hdp版本的spark默认的catalog是spark，配置项 metastore.catalog.default 默认值是spark，即读取SparkSQL自己的metastore_db。所以才会出现上述 阅读全文

摘要： 一、需求:spark写入phoniex 二、实现方式 1.官网方式 dataFrame.write .format("org.apache.phoenix.spark") .mode("overwrite") .option("table", table) .option("zkUrl", zkUr 阅读全文

摘要： spark-submit的使用shell时时灵活性较低，livy作为spark提交的一种工具，是使用接口或者java客户端的方式提交，可以集成到web应用中 1.客户端提交的方式 http://livy.incubator.apache.org/docs/latest/programmatic-ap 阅读全文

摘要： class caseTest { def main(args: Array[String]): Unit = { val c = Person(Student(1),"a") c match { //匹配Person对象，但除了使用Person对象的两个构造参数stu, name外 //有时候还需要 阅读全文

摘要： 地址：https://bbs.huaweicloud.com/blogs/193398 阅读全文

摘要： 需求解决问题 当每次读取hive表或者其他数据源，获取数据，相对其进行rdd操作，遇到任何类都需要df.rdd(row>row.getstring(0))去获取，就很麻烦，所以可以实现个通用的转换方式 1.dataframe转为rdd通用方法 /** * df转为rdd 通用方法 * * @para 阅读全文

摘要： 一、问题需求: 近期需要做一个商品集合的相关性计算,需要将所有商品进行两两组合笛卡尔积，但spark自带的笛卡尔积会造成过多重复，而且增加join量 假如商品集合里面有： aa aa bb bb cc cc 两两进行组合会出现九种情况 aa,aa aa,bb aa,cc cc,aa bb,aa bb 阅读全文