摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、[Hadoop完全分布式集群搭建之集群启动] ### 启动集群注意事项 ~~~ # 注意：如果集群是第一次启动，需要在Namenode所在节点格式化NameNode， ~~~ # 非第一次不用执行格式化Namenode操作！！ 二、单节点启动 ### 所有节点执行 ~~~ 输出这句内容说明格式化 阅读全文

摘要： 一、集群测试 ### HDFS 分布式存储初体验 ~~~ 从linux本地文件系统上传下载文件验证HDFS集群工作正常 ~~~ # 本地hoome目录创建一个文件 [root@linux121 ~]# vim test.txt hello hdfs ~~~ # 创建一个目录 [root@linux1 阅读全文

摘要： 一、[Hadoop完全分布式集群搭建之历史日志服务器配置] ### 在Yarn中运行的任务产生的日志数据不能查看， ~~~ 为了查看程序的历史运行情况，需要配置一下历史日志服务器。具体配置步骤如下： ### 配置mapred-site.xml [root@linux121 hadoop]# pwd 阅读全文

摘要： 一、[Hadoop完全分布式集群搭建之编写分发脚本] ### 分发配置：rsync-script命令详解 ### 编写集群分发脚本rsync-script ~~~ rsync 远程同步工具 ~~~ rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 ~~~ rsync和 阅读全文

摘要： 一、[Hadoop完全分布式集群搭建值环境变量配置]：集群规划 框架 linux121 linux122 linux123 HDFS NameNode、DataNode DataNode SecondaryNameNode、DataNode YARN NodeManager NodeManager 阅读全文

摘要： 一、[Hadoop完全分布式集群搭建值集群规划实施]：集群配置 ### Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 + Yarn集群配置 ### HDFS集群配置 ~~~ 将JDK路径明确配置给HDFS（修改hadoop-env.sh） ~~~ 指定NameNode节 阅读全文

摘要： 一、Apache Hadoop 完全分布式集群搭建 ### 软件和操作系统版本 ~~~ Hadoop框架是采用Java语言编写，需要java环境（jvm） ~~~ JDK版本：JDK8版本 ### 集群： ~~~ 知识点学习：统一使用vmware虚拟机虚拟三台linux节点，linux操作系统：Ce 阅读全文

摘要： 一、[Hadoop重要组成之HAFS/MapReduce/YARN框架] ### Hadoop重要组成之HAFS框架 ~~~ 1、Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算框架)+Yarn(资源协调框架)+Common模块 ~~~ 2、Hadoop HDFS：（Hado 阅读全文

摘要： 一、配置环境规划 ### vmware、linux版本 ~~~ vmware版本：VMware-workstation-full-15.5.5-16285975.exe ~~~ Linux版本：CentOS-7-x86_64-DVD-1810.iso ### Linux主机配置参数 ~~~ CPU： 阅读全文

摘要： 一、[大数据发展趋势及从业人员发展路线] ### 大数据发展趋势 ~~~ # 1、2015年党的十八届五中全会提出“实施国家大数据战略”， ~~~ 国务院印发《促进大数据发展行动纲要》，大数据技术和应用处于创新突破期， ~~~ 国内市场需求处于爆发期，我国大数据产业面临重要的发展机遇。 ~~~ # 阅读全文

摘要： 一、什么是Hadoop ### Hadoop 是一个适合大数据的分布式存储和计算平台。 ~~~ 如前所述，狭义上说Hadoop就是一个框架平台， ~~~ 广义上讲Hadoop代表大数据的一个技术生态圈，包括很多其他软件框架 Hadoop生态圈技术栈 Hadoop（HDFS + MapReduce + 阅读全文

摘要： 附录一：报错处理一： ### 报错现象： [root@linux121 lib64]# hadoop checknative -a 21/08/12 22:00:29 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native- 阅读全文

摘要： 一、大数据的定义 ### 大数据定义 ~~~ 大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合， ~~~ 是需要新处理模式才能具有更强的决策力、 ~~~ 洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 二、大数据的特点 ### 大数据的特点 ~~~ 大数据的特 阅读全文

摘要： 一、大数据解决的是什么问题 ### 大数据技术解决的是什么问题？ ~~~ 大数据技术解决的主要是海量数据的存储和计算。 ### Hadoop的广义和狭义之分 ~~~ # 狭义的Hadoop:指的是一个框架，Hadoop是由三部分组成： ~~~ HDFS：分布式文件系统--》存储：MapReduce: 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、MySQL高可用集群方案 ### 主从复制+读写分离 ~~~ 此种架构，一般初创企业比较常用，也便于后面步步的扩展, ~~~ 客户端通过Master对数据库进行写操作， ~~~ slave端进行读操作，并可进行备份。Master出现问题后，可以手动将应用切换到slave端。 ### 主从复制的优 阅读全文

摘要： 一、行锁测试 ### 更新时的行锁测试：数据准备 ~~~ # 创建表 CREATE TABLE innodb_lock( id INT PRIMARY KEY AUTO_INCREMENT, NAME VARCHAR(20), age INT, INDEX idx_name(NAME) ); ~~~ 阅读全文