张冲andy

摘要：我在公司的数据部门工作，每天的订单类数据处理流程大致如下： 还有日志类的数据，这里不是重点，就不介绍了！这么干了一年，发现有如下问题： 业务变化很快，比如业务数据表经常变化字段含义、增加各种逻辑数据等 业务数据源越来越多，随着品类越来越多，新部门逐步成立，数据源也就越来越多样化 需求越来越多，越来越 阅读全文

摘要：在Oracle中，数据一般是存放在数据文件中，不过数据库与Oracle最大的区别之一就是数据库可以在数据出错的时候进行恢复。这个也就是我们常见的Oracle中的重做日志(REDO FILE)的功能了。在重做日志分成2部分，一个是在线重做日志文件，另外一个就是归档日志文件。 这里不详细说明在线重做日志 阅读全文

摘要：一、什么是多路径 普通的电脑主机都是一个硬盘挂接到一个总线上，这里是一对一的关系。而到了有光纤组成的SAN环境，或者由iSCSI组成的IPSAN环境，由于主机和存储通过了光纤交换机或者多块网卡及IP来连接，这样的话，就构成了多对多的关系。也就是说，主机到存储可以有多条路径可以选择。主机到存储之间的I 阅读全文

摘要：Deprecated Properties 弃用属性 The following table lists the configuration property names that are deprecated in this version of Hadoop, and their replace 阅读全文

摘要：MapReduce相关配置参数分为两部分，分别是JobHistory Server和应用程序参数，Job History可运行在一个独立节点上，而应用程序参数则可存放在mapred-site.xml中作为默认参数，也可以在提交应用程序时单独指定，注意，如果用户指定了参数，将覆盖掉默认参数。 以下这些 阅读全文

摘要：参数均需要在yarn-site.xml中配置： 1. ResourceManager相关配置参数 （1） yarn.resourcemanager.address 参数解释：ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序，杀死应用程序等。 默认值：${yarn 阅读全文

摘要：一、JVM结构 根据《java虚拟机规范》规定，JVM的基本结构一般如下图所示： 从左图可知，JVM主要包括四个部分： 1.类加载器（ClassLoader）:在JVM启动时或者在类运行时将需要的class加载到JVM中。（右图表示了从java源文件到JVM的整个过程，可配合理解。 关于类的加载机制 阅读全文

摘要：HDFS2.0之HA 主备NameNode： 1、主NameNode对外提供服务，备NameNode同步主NameNode元数据，以待切换； 2、主NameNode的信息发生变化后，会将信息写到共享数据存储系统中让备NameNode合并到自己的内存中； 3、所有DataNode同时向两个NameNo 阅读全文

摘要：Hadoop1.x构成： HDFS、MapReduce(资源管理和任务调度)；运行时环境为JobTracker和TaskTracker； Hadoop2.0构成：HDFS、MapReduce/其他计算框架、YARN； 运行时环境为YARN 1、HDFS：HA、NameNode Federation 阅读全文

摘要：环境：[root@hadp-master hadoop-2.7.4]# hadoop versionHadoop 2.7.4 Hadoop的日志大致可以分为两类： （1）、Hadoop系统服务输出的日志； （2）、Mapreduce程序输出来的日志。这两类的日志存放的路径是不一样的。本文基于Hado 阅读全文

摘要：一、zkServer.sh 1、查看 zkServer.sh 帮助信息[root@bigdata05 bin]# ./zkServer.sh helpZooKeeper JMX enabled by defaultUsing config: /bigdata/zookeeper-3.4.10/bin 阅读全文

摘要：下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：名称命令表达式创建表create '表名称', '列名称1','列名称2','列名称N'添加记录 put '表名称', '行名称', '列名称:', '值'查看记录get '表名称', '行名称 阅读全文

摘要：问题： hadoop启动的时候报错 HTTP ERROR 500 Problem accessing /nn_browsedfscontent.jsp. Reason: Cannot issue delegation token. Name node is in safe mode. The rep 阅读全文

摘要：1.背景 Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快；同时，如果整个机架的网络出现异常，也能保 阅读全文

摘要：一. 官方说明 Oracle 11gR2 文档： LOB Storage http://download.oracle.com/docs/cd/E11882_01/appdev.112/e18294/adlob_tables.htm#ADLOB45267 Oracle 10gR2 文档： LOBs 阅读全文

摘要：来源：http://www.cnblogs.com/shishanyuan/p/4700615.html 1、简介 1.1 Spark简介Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发通用内存并行计算框架。Spark在201 阅读全文

摘要：[root@zk01 ~]# ssh localhost@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! @@@@@@@@@@@@ 阅读全文

摘要：1、firewalld的基本使用 启动： systemctl start firewalld 查看状态： systemctl status firewalld 停止： systemctl disable firewalld 禁用： systemctl stop firewalld 2.systemc 阅读全文

摘要：声明： 在安装和使用Telnet之前，需要记住以下几点。 在公网(WAN)中使用Telnet是非常不好的想法。它会以明文的格式传输登入数据。每个人都可以看到明文。如果你还是需要Telnet，强烈建议你只在局域网内部使用。你可以使用SSH作为替代方法。但是确保不要用root用户登录。 Telnet是什 阅读全文