摘要： 下载 地址：http://archive.apache.org/dist/hadoop/common/ 准备 官网文档：http://hadoop.apache.org/docs/r2.6.5/hadoop project dist/hadoop common/SingleCluster.html 阅读全文

摘要： MapReduce 离线计算框架 分而治之 input map shuffle reduce output 分布式并行的计算框架 将计算过程分为两个阶段，Map和Reduce Map阶段并行处理输入数据 Reduce阶段对Map结果进行汇总 Shuffle链接Map和Reduce两个阶段 Map T 阅读全文

摘要： HDFS 架构图 HDFS 服务功能 NameNode NameNode是主节点，存储文件的元数据如文件名，文件目录，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。 DataNode DataNode在本地文件系统存储文件块数据，以及块数据的校验和。 Se 阅读全文

摘要： Hadoop官网 http://hadoop.apache.org/ Hadoop来源 GFS HDFS MapReduce MapReduce BigTable HBase Common The common utilities that support the other Hadoop modu 阅读全文

摘要： 文件类型判断 ：该文件名是否存在 ：该文件名是否存在且为文件（file） ：该文件名是否存在且为目录（directory） 文件权限判断 ：该文件名是否存在且有==可读==的权限 ：该文件名是否存在且有==可写==的权限 ：该文件名是否存在且==有可执行==的权限 两个整数之间的判定，例如 数值相等 阅读全文

摘要： shell程序 以文件形式存放==批量的Linux命令集合==，该文件能够被Shell解释执行，这种文件就是Shell脚本程序 通常由一段Liunx命令、Shell命令、控制语句以及注释语句构成 Shell脚本的编写 Shell脚本是纯文本文件，可以使用任何文本编辑器编写 Shell脚本通常是以.s 阅读全文

摘要： 一、开放API接口定义 顾名思义，开放出来给其他人调用的API接口就是开放API接口。例如，短信接口、邮件接口。 二、开放API的弱点 1. 数据窃取 用户的密码等信息被不轨之人窃取，登录账号发布敏感信息，盗刷等。 2. 数据篡改 提交的数据被抓包后进行篡改后再提交。 3. 数据泄露 爬虫将业务数据 阅读全文

摘要： Base64是编码方式不是加密方式 标准的ASCII码 128个中96个可见字符，其余为不可见字符，为了避免不可见字符 使用了64个可见字符进行编码 （1）原理 例如：Hello 1. 先转成二进制 2. 打乱重编码，以6个一组进行重编码，不满足的需要补0 注意：为什么要6个一组，因为一共64个可见 阅读全文

摘要： 在Linux中，自带调度工具功能crontab，针对用户（每个用户都可以调度自己的任务） 创建定时任务 1. ：创建一个定时任务 2. 添加内容 crontab基本定义 语法： 说明： ：1 59，每十分钟 /10 ：0 23， /2 ：1 31 ：1 12 ：0 6，星期天0 1 2 3 4 5 阅读全文

摘要： 防火墙 ：查看防火墙是否关闭 ：关闭防火墙 ：开启防火墙 ：永久关闭/开启防火墙 selinux 禁用步骤 1. 2. 3. ：重启机器 阅读全文