上一页 1 2 3 4 5 6 ··· 10 下一页
摘要: Ambari是apache下面的开源项目,主要通过web UI方式对Hadoop集群进行统一创建和管理,以节省Hadoop集群的运维成本。本文通过安装过程中的截图简要介绍一下相关步骤供需要的朋友参考。 阅读全文
posted @ 2017-11-07 15:52 Sea_Sky 阅读(660) 评论(0) 推荐(0) 编辑
摘要: Part I:词频统计并返回topN 统计的文本数据: Part II:调用排序算法并返回topN 样本数据 numbers_data.txt: 注:若出现并列时,返回多个并列的数 阅读全文
posted @ 2017-10-31 17:38 Sea_Sky 阅读(3030) 评论(0) 推荐(0) 编辑
摘要: 前言: 对于现有的企业接口服务实现方式来说,Java比较适用于大型的并发式的业务场景;而对一些低IO的且功能简单的数据接口来说,Python似乎更合适。近几年流行的Flask可以说是专为接口式开发而生。如果你想使用python进行快捷式接口开发,那么下面的一个简单的入门实例或许可以让你快速着手开发( 阅读全文
posted @ 2017-10-21 10:37 Sea_Sky 阅读(540) 评论(0) 推荐(0) 编辑
摘要: 准备: windows环境说明:Python2.7 + pipspark版本:spark-1.6.1-bin-hadoop2.6 step1: 下载并解压tar包到自定义的路径。(下载链接 https://d3kbcqa49mib13.cloudfront.net/spark-1.6.1-bin-h 阅读全文
posted @ 2017-10-19 23:49 Sea_Sky 阅读(1992) 评论(0) 推荐(0) 编辑
摘要: 前言: Python的文件操作跟Java存在部分差异。由于项目需要,近期使用python进行模块开发时遇到一些常见的文件操作便上网搜罗了一番,感觉众说纷纭。因此,结合自身的使用场景,贴一段python代码供后续查阅。 准备一个测试文件 “c://test/a.txt”。 控制台输出如下: curre 阅读全文
posted @ 2017-10-19 19:08 Sea_Sky 阅读(622) 评论(0) 推荐(0) 编辑
摘要: step1:配置本地 yum库,保存 $vi /etc/yum.repos.d/nginx.repo [nginx] name=nginx repo baseurl=http://nginx.org/packages/OS/OSRELEASE/$basearch/ gpgcheck=0 enable 阅读全文
posted @ 2017-08-17 11:21 Sea_Sky 阅读(184) 评论(0) 推荐(0) 编辑
摘要: 环境准备 junhongdeMacBook-Air:site-packages junhongchen$ python -V Python 2.7.10 junhongdeMacBook-Air:site-packages junhongchen$ pip --version pip 9.0.1 f 阅读全文
posted @ 2017-06-28 15:03 Sea_Sky 阅读(212) 评论(0) 推荐(0) 编辑
摘要: 前言:EMR的集群使用越来越普遍,但是每一次的集群释放到集群的重新创建,期间总有一些反复的工作需要查询与配置。为方便后续工作查阅,现在对集群初始化后的工作进行大概的梳理如下。 step1: 登录阿里云查看集群主节点分配的公网IP step2: 若之前有进行外网访问权限的设置,设置安全组白名单 (wh 阅读全文
posted @ 2017-05-20 16:28 Sea_Sky 阅读(1463) 评论(0) 推荐(0) 编辑
摘要: step1:增加依赖 pom.xml ... <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common --> <dependency> <groupId>org.apache.hadoop</groupId> < 阅读全文
posted @ 2017-05-19 08:38 Sea_Sky 阅读(858) 评论(0) 推荐(0) 编辑
摘要: #查询磁盘当前容量信息 $df -h #查询当前目录下所有文件的大小 $du -m . #两种方式查询 仅当前目录下的子文件(文件夹)大小 $du -sh /cloud/* $du -h --max-depth=1 /cloud/ 阅读全文
posted @ 2017-05-19 08:35 Sea_Sky 阅读(455) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 10 下一页

转载请注明出处! About me