摘要：
这里介绍两种方法 第一种深度优先，即先遍历当前目录下的第一个目录里面的第一个目录，以此类推，然后再逐层向上遍历。代码如下： import os def gci(filepath): #遍历filepath下所有文件，包括子目录 files = os.listdir(filepath) for fi 阅读全文
posted @ 2018-02-05 16:03
朝阳的向日葵
阅读(1293)
评论(0)
推荐(0)
摘要：
本文介绍Linux下tail命令的使用方法。linux tail命令用途是依照要求将指定的文件的最后部分输出到标准设备，通常是终端，通俗讲来，就是把某个档案文件的最后几行显示到终端上，假设该档案有更新，tail会自己主动刷新，确保你看到最新的档案内容。 一、tail命令语法 tail [ -f ] 阅读全文
posted @ 2018-02-02 10:52
朝阳的向日葵
阅读(212)
评论(0)
推荐(0)
摘要：
Python使用openpyxl读写excel文件 这是一个第三方库，可以处理xlsx格式的Excel文件。pip install openpyxl安装。如果使用Aanconda，应该自带了。 读取Excel文件 需要导入相关函数。 from openpyxl import load_workboo 阅读全文
posted @ 2018-02-01 10:36
朝阳的向日葵
阅读(2026)
评论(0)
推荐(0)
摘要：
先出一个题目：1.有一 list= [1, 2, 3, 4, 5, 6] 请打印输出：0, 1 1, 2 2, 3 3, 4 4, 5 5, 6 打印输出， 2.将 list 倒序成 [6, 5, 4, 3, 2, 1] 3.将a 中的偶数挑出 *2 ，结果为 [4, 8, 12] 这个例子用到了p 阅读全文
posted @ 2018-01-23 18:19
朝阳的向日葵
阅读(3663)
评论(0)
推荐(0)
摘要：
前言 上一篇我们讲解了Hadoop单节点的安装，并且已经通过VMware安装了一台CentOS 6.8的Linux系统，咱们本篇的目标就是要配置一个真正的完全分布式的Hadoop集群，闲言少叙，进入本篇的正题。 技术准备 VMware虚拟机、CentOS 6.8 64 bit 安装流程 我们先来回顾 阅读全文
posted @ 2017-12-20 19:07
朝阳的向日葵
阅读(407)
评论(0)
推荐(0)
摘要：
26 集群使用初步 HDFS的设计思路 l 设计思想 分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析； l 在大数据系统中作用： 为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务 l 重点概念：文件切块 阅读全文
posted @ 2017-12-20 19:04
朝阳的向日葵
阅读(485)
评论(0)
推荐(0)
摘要：
首先运行bin/start-all.sh发现namenode没有启动 只有它们 9428 DataNode 9712 JobTracker 9626 SecondaryNameNode 9983 Jps 9915 TaskTracker 遇到问题要学会翻看日志 cd /usr/local/hadoo 阅读全文
posted @ 2017-12-20 18:59
朝阳的向日葵
阅读(2376)
评论(0)
推荐(0)
摘要：
端口 用途 9000 fs.defaultFS，如：hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address，DataNode会连接这个端口 50070 dfs.namenode.http-address 50470 dfs.namenode.h 阅读全文
posted @ 2017-12-20 18:57
朝阳的向日葵
阅读(17841)
评论(0)
推荐(2)
摘要：
1.hadoop3: mkdir: cannot create directory `/usr/local/hadoop/bin/../logs': Permission denied把所有Datanode节点执行下面命令[hadoop@hadoop3 local]$ chown -R hadoop 阅读全文
posted @ 2017-12-19 17:01
朝阳的向日葵
阅读(3831)
评论(0)
推荐(0)
摘要：
Hadoop on Ubuntu 14.04 In this chapter, we'll install a single-node Hadoop cluster backed by the Hadoop Distributed File System on Ubuntu. Installing 阅读全文
posted @ 2017-12-19 16:56
朝阳的向日葵
阅读(243)
评论(0)
推荐(0)
浙公网安备 33010602011771号