随笔档案「2016年8月」 - xtfge0915

摘要：今天使用sublime发现导入第三方库的时候死活找不到，而我在REPL 中则完全没有问题，最终发现两个用的不是同一个解释器，也就是说我要用自己安装的python解释器而不是sublime默认的，那么如何修改就成了问题了，查找资料发现下面方法，经测试没有问题T... 阅读全文

posted @ 2016-08-30 13:07 xtfge0915 阅读(189) 评论(0) 推荐(0)

摘要：今天刚搭建好spark的集群环境，在打开本地文件的时候遇到下面这样的错误 Lost task 0.0 in stage 10.0 (TID 17, slave1): java.io.FileNotFoundException程序都能运行出结果，但就是会报错... 阅读全文

posted @ 2016-08-16 22:43 xtfge0915 阅读(1066) 评论(0) 推荐(0)

摘要：2016.8.10其实北京一年，我也一直在考虑我回所到底研究什么方向，但都只是停留在想想的层次，最终也没什么结果，回来老师问了我的想法说，学分布式计算吧，读博也可以，找工作也好找，文章也好发，我一想，这感情好啊，既符合我搞开发的兴趣，文章也不难发，毕业了还有... 阅读全文

posted @ 2016-08-10 23:38 xtfge0915 阅读(195) 评论(0) 推荐(0)

摘要：最近在用Docker布署hadoop，要将文件上传到HDFS首先文件得在Docker容器中吧，网上提供的方法差不多有三种1.用-v挂载主机数据卷到容器内2.直接在主机上拷贝到容器物理存储系统3.用输入输出符具体方法这篇文章写的很详细：http://blog.... 阅读全文

posted @ 2016-08-10 11:00 xtfge0915 阅读(125) 评论(0) 推荐(0)

摘要：接着上一次的操作，我们来继续配置hadoop前面的操作请看这儿5.hadoop配置（1）core-site.xml配置打开core-site.xml文件(nano core-site.xml) hadoop.tmp.dir ... 阅读全文

posted @ 2016-08-05 15:16 xtfge0915 阅读(218) 评论(0) 推荐(0)

摘要：1.安装Docker 安装Docker的方法这里不再详述，根据自己的操作系统在网上有一大堆教程。今天我们的主要任务是在DOCKER上布署HADOOP。 2.下载 ubutun镜像docker pull ubuntu:14.04这条命令的作用是从Docker仓... 阅读全文

posted @ 2016-08-04 14:01 xtfge0915 阅读(354) 评论(0) 推荐(0)

xtfge0915