摘要: 一.批量添加分区: use bigdata; alter table siebel_member add if not exists partition(dt='20180401') location '20180401' partition(dt='20180402') location '201 阅读全文
posted @ 2018-11-11 21:31 言下忘言 阅读(16130) 评论(0) 推荐(0)
摘要: 今日焦点 Just the check 买单吧 split it 平分 leave a tip 留小费 词汇实践 hey. Can I get you anything else today? 您好.您两位今天还需要什么吗? How about some dessert? 要不要甜点? No we' 阅读全文
posted @ 2018-11-09 09:19 言下忘言 阅读(332) 评论(0) 推荐(0)
摘要: 1.先上代码,存入mysql 参数解释 url: 连接mysql 的url user:登陆mysql的用户 password :登陆密码 dbtable: 要访问的数据库 点 表 batchsize : 当条数达到batchsize时会往mysql插入一次数据 truncate : 当savemod 阅读全文
posted @ 2018-11-07 15:36 言下忘言 阅读(2453) 评论(0) 推荐(0)
摘要: 1.mysql 管理语句 1)展示数据库列表 2)进入到相应数据库 3)显示表 4)显示表中的列信息 5)显示表中的索引信息 6)显示表状态 2.创建数据库 mysql> drop database test;Query OK, 0 rows affected (0.01 sec) 3.MySQL 阅读全文
posted @ 2018-11-03 21:08 言下忘言 阅读(188) 评论(0) 推荐(0)
摘要: 1.链接mongo 2.查看有collections 阅读全文
posted @ 2018-11-02 14:06 言下忘言 阅读(170) 评论(0) 推荐(0)
摘要: 1.dataframe 基本操作 2.用sql 访问dataframe 3.创建dataset 4.反射推断模式 5.通过编程指定schema来创建DF 6.直接从file执行sql 7.合并schema 8.dataframe 字符串拼接 阅读全文
posted @ 2018-10-28 11:46 言下忘言 阅读(715) 评论(0) 推荐(0)
摘要: 关于spark 的详细操作请参照spark官网 scala 版本:2.11.8 1.添加spark maven依赖,如需访问hdfs,则添加hdfs依赖 2.sparkcontext 的创建 sc 使用结束,记得关闭 3.创建rdd 1)parallelized 方法 2)读取外部数据 一个放重要的 阅读全文
posted @ 2018-10-27 10:31 言下忘言 阅读(942) 评论(0) 推荐(0)
摘要: win10 重装了系统,在idea 中运行spark 往本地写文件时报上述错误,解决方法 官网下载 hadoop 在本地解压,然后下载hadooponwindows-master.zip ,解压,用其中的 bin 和 etc 替换hadoop 中的bin 和etc ,为hadoop配置环境变量, 重 阅读全文
posted @ 2018-10-22 22:13 言下忘言 阅读(1580) 评论(0) 推荐(0)
摘要: 4.0.0 ocm.jason xxxxtest 1.0-SNAPSHOT jar xxxxtest http://www.example.com UTF-8 1.7 1.7 com.abcd.xxx... 阅读全文
posted @ 2018-10-17 14:21 言下忘言 阅读(1161) 评论(0) 推荐(0)
摘要: 1.mvn dependency:list 列出项目用到的依赖 2.查看依赖树 mvn dependency:tree 3.mvn dependency:analyze Used undeclared 表示用到了但没有显示声名的依赖(可能是递归依赖),这些依赖最好显示声名一下 Unused decl 阅读全文
posted @ 2018-10-11 22:28 言下忘言 阅读(581) 评论(0) 推荐(0)