08 2017 档案

mysql调优小记
摘要：对于INNODB,主键就是聚集索引,如果没有主键定义,则第一个唯一非空索引被作为聚集索引.如果没有主键也没有合适的唯一索引,那么innodb内部会生成一个隐藏的主键作为聚集索引,这个隐藏的主键类似一个自增的id(int).删除与重新添加主键alter table tbname drop primar 阅读全文

posted @ 2017-08-25 21:16 tneduts 阅读(228) 评论(1) 推荐(0)

CDH5离线安装简记
摘要：CDH,hadoop 阅读全文

posted @ 2017-08-19 18:11 tneduts 阅读(241) 评论(1) 推荐(0)

httpfs的使用
摘要：在项目中使用到hdfs作为存储，为了在不同的节点加载hdfs上的数据，我们使用nfsv3服务，在客户端使用 root来mount hdfs上的数据到本地，然后把本地的数据发到hdfs上，因为这个我们的集群namenode是HA的， 所以在mount前，需要确认active的namenode,而且比较不爽的事，如果客户端的机器/etc/hosts中需要配置所有的datanodes机器信息。 后来找到... 阅读全文

posted @ 2017-08-13 21:13 tneduts 阅读(2659) 评论(0) 推荐(0)

spark-sql做ETL时遇到的两个问题
摘要：项目中使用spark-sql来作ETL，遇到两个问题，记录一下。 问题1： spark-sql –master yarn –hiveconf load_date=`date –d ..` -e ‘insert overwrite table tbl(.) select distinct * from tbl” 在hdfs上这个表所在的目录下面会产生很多的类似.hive-s... 阅读全文

posted @ 2017-08-10 13:41 tneduts 阅读(1296) 评论(0) 推荐(0)

导航