生心无住

摘要： 一.批量添加分区： use bigdata; alter table siebel_member add if not exists partition(dt='20180401') location '20180401' partition(dt='20180402') location '201 阅读全文

摘要： 今日焦点 Just the check 买单吧 split it 平分 leave a tip 留小费 词汇实践 hey. Can I get you anything else today? 您好.您两位今天还需要什么吗? How about some dessert? 要不要甜点? No we' 阅读全文

摘要： 1.先上代码，存入mysql 参数解释 url： 连接mysql 的url user：登陆mysql的用户 password ：登陆密码 dbtable: 要访问的数据库 点 表 batchsize ： 当条数达到batchsize时会往mysql插入一次数据 truncate ： 当savemod 阅读全文

摘要： 1.mysql 管理语句 1)展示数据库列表 2）进入到相应数据库 3）显示表 4）显示表中的列信息 5）显示表中的索引信息 6）显示表状态 2.创建数据库 mysql> drop database test;Query OK, 0 rows affected (0.01 sec) 3.MySQL 阅读全文

摘要： 1.链接mongo 2.查看有collections 阅读全文

摘要： 1.dataframe 基本操作 2.用sql 访问dataframe 3.创建dataset 4.反射推断模式 5.通过编程指定schema来创建DF 6.直接从file执行sql 7.合并schema 8.dataframe 字符串拼接 阅读全文

摘要： 关于spark 的详细操作请参照spark官网 scala 版本：2.11.8 1.添加spark maven依赖，如需访问hdfs，则添加hdfs依赖 2.sparkcontext 的创建 sc 使用结束，记得关闭 3.创建rdd 1）parallelized 方法 2）读取外部数据 一个放重要的 阅读全文

摘要： win10 重装了系统，在idea 中运行spark 往本地写文件时报上述错误，解决方法 官网下载 hadoop 在本地解压，然后下载hadooponwindows-master.zip ,解压，用其中的 bin 和 etc 替换hadoop 中的bin 和etc ，为hadoop配置环境变量， 重 阅读全文

摘要： 4.0.0 ocm.jason xxxxtest 1.0-SNAPSHOT jar xxxxtest http://www.example.com UTF-8 1.7 1.7 com.abcd.xxx... 阅读全文

摘要： 1.mvn dependency:list 列出项目用到的依赖 2.查看依赖树 mvn dependency:tree 3.mvn dependency:analyze Used undeclared 表示用到了但没有显示声名的依赖(可能是递归依赖),这些依赖最好显示声名一下 Unused decl 阅读全文