摘要: / 合并本地文件流到hdfs上 / public static void write() { Configuration conf = new Configuration(); Path localDir = new Path("/test"); Path hdfsDir = new Path("/ 阅读全文
posted @ 2018-08-22 13:52 爪哇岛求生记 阅读(431) 评论(0) 推荐(0) 编辑
摘要: 一.前置环境准备 1.下载一份hadoop本地解压,配置HADOOP_HOME的环境变量 idea运行时会读这个环境变量然后找到他里面的bin文件,其实不需要启动 只要有bin这个目录就行,不然会报错 找不到HADOOP_HOME这个环境变量 2.bin里面缺少了winutils.exe和hadoo 阅读全文
posted @ 2018-08-21 18:01 爪哇岛求生记 阅读(12665) 评论(1) 推荐(0) 编辑
摘要: 默认当前位置是hadoop安装包位置 jar包:share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar 一 前置准备 因为这个需要hdfs中的文件,需要掌握基本的hdfs命令 hdfs当前默认位置是在user/当前用户 文件夹 ,有些版本 阅读全文
posted @ 2018-08-21 15:37 爪哇岛求生记 阅读(374) 评论(0) 推荐(0) 编辑
摘要: 一.环境配置 jdk1.8 centos7 二.环境搭建 1.安装jdk 这个不用怎么说了吧,可以直接yum安装或者自己下载tar包。yum安装不用配置javahome,但是需要知道javahome位置,因为hadoop是java项目,运行需要jdk环境。通过yum安装查找javahome如下: 可 阅读全文
posted @ 2018-08-21 14:08 爪哇岛求生记 阅读(1565) 评论(0) 推荐(0) 编辑
摘要: 1.什么是线程安全 一个实例或这一个方法在多线程使用中不会出现任何问题。 2.产生线程不安全的原因 多个线程访问同一相同资源,并且有线程执行了写操作,可能会出现线程安全问题。 2.怎样做到类线程安全 无状态 :没有成员变量的类,也就不存在共享同一资源了。 让类不可变:所有成员变量定义为final v 阅读全文
posted @ 2018-06-14 16:08 爪哇岛求生记 阅读(131) 评论(0) 推荐(0) 编辑
摘要: idea内置了代码提示,对一些常见的代码块都默认了代码提示,如psvm插入主函数,souf插入换行打印等等。 但是对于习惯了eclipse开发的人来说还是喜欢用main和syso。这种情况下idea也可以对这些代码提示进行修改,或者新增,为了不破坏原有功能,我选择新增 首先打开菜单: setting 阅读全文
posted @ 2018-05-22 23:01 爪哇岛求生记 阅读(4815) 评论(1) 推荐(0) 编辑
摘要: 1.root修改普通用户密码 passwd 用户名 2.禁用root远程连接 a.首先创建普通用户,并保证普通用户能登录上去。 创建用户 useradd test 修改用户密码 passwd test Changing password for user test. New password: Re 阅读全文
posted @ 2018-05-22 21:44 爪哇岛求生记 阅读(170) 评论(0) 推荐(0) 编辑
摘要: 一.分类 redis有五种数据类型:String,map,list,set,zset(set 的有序集合) 二.String 存:set 语法:set key value [EX seconds] [PX milliseconds] [NX|XX] redis set myStr test OK 取 阅读全文
posted @ 2018-05-18 00:23 爪哇岛求生记 阅读(139) 评论(0) 推荐(0) 编辑
摘要: 一.安装 参考 https://redis.io/download $ wget http://download.redis.io/releases/redis 4.0.9.tar.gz $ tar xzf redis 4.0.9.tar.gz $ cd redis 4.0.9 $ make 小贴士 阅读全文
posted @ 2018-05-17 17:11 爪哇岛求生记 阅读(124) 评论(0) 推荐(0) 编辑