Terry's blog

Focus on bigdata and cloud.

博客园 首页 新随笔 联系 订阅 管理

2018年10月26日 #

摘要: 工作中处理数据时,发现某个表的数据达近亿条,所以要为表建索引提高查询性能,以下两篇文章总结的很好,记录一下,以备后用。 数据库建立索引常用的规则如下: 1、表的主键、外键必须有索引; 2、数据量超过300的表应该有索引; 3、经常与其他表进行连接的表,在连接字段上应该建立索引; 4、经常出现在Whe 阅读全文
posted @ 2018-10-26 11:46 王晓成 阅读(20237) 评论(3) 推荐(4) 编辑

摘要: 问题描述: 1. 使用spark sql处理数据逻辑,逻辑处理后使用 df.write.mode(saveMode).jdbc(url, tableName, connectionProperties)将数据写入mysql,创建的数据结构为: CREATE TABLE `userinfo` ( `u 阅读全文
posted @ 2018-10-26 11:29 王晓成 阅读(13165) 评论(0) 推荐(0) 编辑