05 2017 档案

spark中saveAsTextFile如何最终生成一个文件
摘要:原文地址: http://www.cnblogs.com/029zz010buct/p/4685173.html 一般而言,saveAsTextFile会按照执行task的多少生成多少个文件,比如part-00000一直到part-0000n,n自然就是task的个数,亦即是最后的stage的分区数 阅读全文

posted @ 2017-05-31 09:54 Angry_Panda 阅读(29670) 评论(0) 推荐(0)

sparksql与hive整合
摘要:参考文献: http://blog.csdn.net/stark_summer/article/details/48443147 hive配置 编辑 $HIVE_HOME/conf/Hive-site.xml,增加如下内容: 启动hive metastore 启动 metastore: hive - 阅读全文

posted @ 2017-05-29 16:14 Angry_Panda 阅读(424) 评论(0) 推荐(0)

Ubuntu16.04 和 hadoop2.7.3环境下 hive2.1.1安装部署
摘要:参考文献: http://blog.csdn.NET/reesun/article/details/8556078 http://blog.csdn.Net/zhongguozhichuang/article/details/52702476 http://blog.csdn.net/huoyuya 阅读全文

posted @ 2017-05-27 17:08 Angry_Panda 阅读(636) 评论(0) 推荐(0)

Ubuntu 16.04 LTS安装 cuda8.0
摘要:参考文献: http://blog.csdn.net/autocyz/article/details/52299889 http://blog.csdn.net/lixintong1992/article/details/51156368 http://blog.csdn.net/baiyu9821 阅读全文

posted @ 2017-05-17 20:35 Angry_Panda 阅读(2869) 评论(0) 推荐(0)

ubuntu16.04 下 NVIDIA GTX1050ti 显卡驱动 PPA安装
摘要:本文参考资料链接: http://blog.csdn.net/10km/article/details/61191230 前几天在京东商城上花了6999元买了台笔记本(惠普(HP)暗影精灵II代Pro 精灵绿 15.6英寸游戏笔记本(i7-7700HQ 8G 128GSSD+1T GTX1050Ti 阅读全文

posted @ 2017-05-17 15:24 Angry_Panda 阅读(16558) 评论(5) 推荐(3)

Linux环境下 多线程下载 (Python 实现版)
摘要:本文是多年前学习编程时参照一个网友程序的基础之上改写的, 采用Python语音编写, 多线程下载功能, 可以有效提高Linux下原有下载工具中的一些不足,以下给出具体代码。 阅读全文

posted @ 2017-05-15 10:13 Angry_Panda 阅读(471) 评论(0) 推荐(0)

导航