程序优化 - 博客园

摘要：原文见:http://kafka.apache.org/documentation.html#semanticskafka在生产者和消费者之间的传输是如何保证的，我们可以知道有这么几种可能提供的delivery guarantee：At most once 消息可能会... 阅读全文

posted @ 2015-12-15 07:52 程序优化阅读(546) 评论(0) 推荐(0)

摘要：深度分析Java的ClassLoader机制（源码级别）写在前面：Java中的所有类，必须被装载到jvm中才能运行，这个装载工作是由jvm中的类装载器完成的，类装载器所做的工作实质是把类文件从硬盘读取到内存中，JVM在加载类的时候，都是通过ClassLoader的lo... 阅读全文

posted @ 2015-12-13 15:41 程序优化阅读(379) 评论(0) 推荐(0)

摘要：如果mysql正在运行，/etc/init.d/mysqld stop启动mysql(无需输入密码)：bin/safe_mysqld –skip-grant-tables &在bin目录下执行mysql，此时无需输入密码即可进入# /usr/bin/mysql >us... 阅读全文

posted @ 2015-12-06 17:55 程序优化阅读(296) 评论(0) 推荐(0)

摘要：抛出的异常信息如下：java.lang.OutOfMemoryError: PermGen spaceat java.lang.ClassLoader.defineClass1(Native Method)at java.lang.ClassLoader.define... 阅读全文

posted @ 2015-12-02 15:40 程序优化阅读(390) 评论(0) 推荐(0)

摘要：概述HDFS中的集中化缓存管理是一个明确的缓存机制，它允许用户指定要缓存的HDFS路径。NameNode会和保存着所需快数据的所有DataNode通信，并指导他们把块数据缓存在off-heap缓存中。HDFS集中化缓存管理具有许多重大优势：1.明确的锁定可以阻止频繁使... 阅读全文

posted @ 2015-11-25 12:13 程序优化阅读(319) 评论(0) 推荐(0)

摘要：异常堆栈如下：2015-11-24 16:49:11,495 ERROR org.apache.hive.service.cli.operation.Operation: Error running hive query:org.apache.hive.service... 阅读全文

posted @ 2015-11-24 19:06 程序优化阅读(1015) 评论(0) 推荐(0)

摘要：一、引言最近在整理理大数据模式下的数据仓库数据模型，资料来自互联网和读过的数据仓库理论和实践相关。二、3NF（1）1NF-无重复的列数据库表的每一列都是不可分割的基本数据项，同一列中不能有多个值，即实体中的某个属性不能有多个值或者不能有重复的属性。如果出现... 阅读全文

posted @ 2015-11-23 17:49 程序优化阅读(479) 评论(0) 推荐(0)

摘要： TCP之close_wait浏览:3697次出处信息/* * @author: ahuaxuan * @date: 2010-4-30 */ 查看各状态连接数：netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S)... 阅读全文

posted @ 2015-11-23 00:16 程序优化阅读(625) 评论(0) 推荐(0)

摘要： authentification验证 - 是指验证who you are(你是谁), 所以需要用到username和password进行身份验证。authorization授权 - 是指what can you do(你可以做什么), 而且这个发生在验证通过后。比如对... 阅读全文

posted @ 2015-11-23 00:02 程序优化阅读(194) 评论(0) 推荐(0)

摘要： Before performing any upgrades or uninstalling software, stop all of the Hadoop services in the following order:RangerKnoxOozieWebHCat... 阅读全文

posted @ 2015-11-20 17:56 程序优化阅读(388) 评论(0) 推荐(0)

DolphinScheduler(海豚调度)