Terry's blog

Focus on bigdata and cloud.

博客园 首页 新随笔 联系 订阅 管理
  383 Posts :: 1 Stories :: 256 Comments :: 51 Trackbacks

2018年10月26日 #

摘要:工作中处理数据时,发现某个表的数据达近亿条,所以要为表建索引提高查询性能,以下两篇文章总结的很好,记录一下,以备后用。 数据库建立索引常用的规则如下: 1、表的主键、外键必须有索引; 2、数据量超过300的表应该有索引; 3、经常与其他表进行连接的表,在连接字段上应该建立索引; 4、经常出现在Whe 阅读全文
posted @ 2018-10-26 11:46 王晓成 阅读(10561) 评论(1) 推荐(3) 编辑

摘要:问题描述: 1. 使用spark sql处理数据逻辑,逻辑处理后使用 df.write.mode(saveMode).jdbc(url, tableName, connectionProperties)将数据写入mysql,创建的数据结构为: CREATE TABLE `userinfo` ( `u 阅读全文
posted @ 2018-10-26 11:29 王晓成 阅读(4152) 评论(0) 推荐(0) 编辑