11 2015 档案

HDFS操作
摘要：HDFS操作1.shell 1.1 创建目录 hadoop fs -mkdir 目录名(其中/为根目录) 1.2 遍历目录 hadoop fs -ls 目录名 1.3 删除目录 hadoop fs -rmr 目录名 1.4 修改目录 hadoop fs -mv 原目录 目标目录 1.... 阅读全文
posted @ 2015-11-30 13:41 ciade 阅读(321) 评论(0) 推荐(0)
YARN-MR 大数据第二天
摘要：大数据第二天1.YARN(管理和调度集群中的各类资源) 1.1 产生的背景： 1.直接源于MR版本1的缺陷(如：单点故障、难以支持MR之外的计算框架等) 2.多计算框架各自为站，数据共享困难(如：MR离线计算框架 Storm实时计算框架 Spark内存计算框架) 1.2 架构(采用mas... 阅读全文
posted @ 2015-11-25 10:29 ciade 阅读(577) 评论(0) 推荐(0)
Hadoop Linux安装
摘要：Hadoop Linux安装步骤流程 1.硬件准备 2.软件准备（推荐CDH） 3.将Hadoop安装包分发到各个节点下 4.安装JDK 5.修改/etc/hosts配置文件 6.设置SSH免密码登陆 7.修改配置文件 8.启动服务 9.验证 1.下载软件 1.1 apache版本 下载链接：h... 阅读全文
posted @ 2015-11-24 14:08 ciade 阅读(305) 评论(0) 推荐(0)
Hadoop 大数据第一天
摘要：大数据第一天1.Hadoop生态系统 1.1 Hadoop v1.0 架构 MapReduce(用于数据计算) HDFS(用于存储数据) 1.2 Hadoop v2.0 架构 MapReduce(用于数据计算，Hadoop提供计算框架) 其他非Hadoop计算框架 YARN(用户管理... 阅读全文
posted @ 2015-11-24 14:07 ciade 阅读(453) 评论(0) 推荐(0)
Log4j框架
摘要：一、Log4j基本使用方法 Log4j由三个重要的组件构成：日志信息的优先级 Loggers，日志信息的输出目的地 Appenders，日志信息的输出格式 Layouts。日志信息的优先级从高到低RROR、WARN、INFO、DEBUG，分别用来指定这条日志信息的重要程度；日志信息的输出目的地指定... 阅读全文
posted @ 2015-11-22 14:50 ciade 阅读(331) 评论(0) 推荐(0)
Structs框架
摘要：一、准备工作及实例1.解压struts-2.1.6-all.zip(structs网上下载)apps目录:struts2自带的例子程序docs目录：官方文档。lib目录：存放所有jar文件。Src目录：源文件存放地2.六个基本包struts2-core-2.1.6.jar：开发的核心类库 freem... 阅读全文
posted @ 2015-11-22 11:54 ciade 阅读(1201) 评论(0) 推荐(0)
Oracle 第一天
摘要：Oracle 第一天1.oracle数据库下载、安装和配置 1.1 下载压缩包后解压并将压缩包2里面的文件覆盖至压缩包1中 1.2 按照步骤逐步安装 1.3 设置管理员密码时，默认情况下四个管理员是相同密码 1.4 scott用户默认禁用状态（需启用），且密码为tiger 1.5 安装完毕后最好重启... 阅读全文
posted @ 2015-11-14 18:37 ciade 阅读(197) 评论(0) 推荐(0)
Linux 第06天
摘要：Linux 第06天1.SAMBA服务器————（linux和windows的文件共享） 1.1 安装 yum install samba -yum 1.2 配置文件 /etc/samba/smb.conf（具体参数可度娘） 1.3 具体服务 nmbd————提供旧系统服务（可启动也可以不启动... 阅读全文
posted @ 2015-11-12 13:00 ciade 阅读(131) 评论(0) 推荐(0)
Linux 第05天
摘要：Linux 第05天1.连接到Internet 1.1 配置网络信息 dmesg命令————查看网卡信息 dmesg | grep -i net ifconfig命令————查看IP、网关等相关信息 ifconfig（可查看活跃的网卡） ifconfig -a (查看所有的... 阅读全文
posted @ 2015-11-10 10:03 ciade 阅读(150) 评论(0) 推荐(0)
Linux 第04天
摘要：Linux 第04天1.系统设置工具（网络和打印机）和硬件检测 1.1 setup工具 1.1.1 用户身份验证设置 1.1.2 网络配置 1.1.3 防火墙设置 1.1.4 键盘形式设置 1.1.5 时区设置 1.1.6 系统服务设置 1.1.7 X界面设置 1.2 设置打印机 l... 阅读全文
posted @ 2015-11-09 10:48 ciade 阅读(180) 评论(0) 推荐(0)
Linux第03天
摘要：Linux 第03天1.Linux帐号和ACL权限管理 1.帐号和用户组 1.1 用户标识符————UID(root为0 系统用户为1~499 普通用户为500~65535) 1.2 用户组标识符————GID() 1.3 用户帐号信息文件————/etc/passwd hadoop:x:... 阅读全文
posted @ 2015-11-08 09:21 ciade 阅读(224) 评论(0) 推荐(0)
Linux第02天
摘要：Linux 第02天1.Linux磁盘和文件系统 VFS————虚拟文件系统 df命令————查看已挂载的分区 df 分区名 du命令————查看文件夹大小 du 文件夹名 ln命令————符号链接 fdisk命令————分区命令 fdisk 硬盘名 partprobe命令————更新分区表... 阅读全文
posted @ 2015-11-05 22:46 ciade 阅读(162) 评论(0) 推荐(0)
Linux第01天
摘要：Linux第01天1.虚拟机安装linux（centos 32bit） 1.1 虚拟机安装前置工作的准备，如内存。硬盘。CPU分配。镜像下载等 1.2 安装方式（图形界面或者命令行 推荐图形界面即直接回车） 1.3 安装过程默认，如默认语言、键盘式等 1.4 安装分区 1.4.1 在选定磁盘上删... 阅读全文
posted @ 2015-11-04 20:57 ciade 阅读(169) 评论(0) 推荐(0)