Fork me on GitHub

12 2015 档案

统计中纬度与指标的区别
摘要：在统计分析系统中，维度：指人们分析事物的角度。比如，分析活跃用户，可以从时间的维度，也可以从地域的维度去看，也可以时间、地域两个维度组合去分析。不同维度有的是相互独立的，比如时间维度和地域维度；但有些维度是有层次关系的，比如省份维度和城市维度。有层次关系的维度，就可以... 阅读全文
posted @ 2015-12-28 00:02 程序优化 阅读(1192) 评论(0) 推荐(0)
ClusterId read in ZooKeeper is null 处理
摘要：ClusterId read in ZooKeeper is null.Re-running the program after fixing issue 1 will result in the following error in the log file (Od... 阅读全文
posted @ 2015-12-22 17:34 程序优化 阅读(4778) 评论(0) 推荐(0)
千万级规模高性能、高并发的网络架构经验分享
摘要：千万级规模高性能、高并发的网络架构经验分享主 题 ：INTO100沙龙时间 ：2015年11月21日下午地点 ：梦想加联合办公空间分享人：卫向军（毕业于北京邮电大学，现任微博平台架构师，先后在微软、金山云、新浪微博从事技术研发工作，专注于系统架构设计、音视频通讯系统、... 阅读全文
posted @ 2015-12-21 23:03 程序优化 阅读(334) 评论(0) 推荐(0)
数据集市
摘要：1. 什么是数据集市？数据集市与数据仓库的区别？ 数据仓库(Data Warehouse) 是一个面向主题的(Subject Oriented) 、集成的( Integrate ) 、相对稳定的(Non -Volatile ) 、反映历史变化( Time... 阅读全文
posted @ 2015-12-21 01:21 程序优化 阅读(1467) 评论(0) 推荐(0)
支付宝数据建模介绍
摘要：支付宝数据建模介绍 阅读全文
posted @ 2015-12-21 00:43 程序优化 阅读(253) 评论(0) 推荐(0)
hive executeTask被interrupt处理
摘要：异常信息如下：java.io.IOException: Failed on local exception: java.nio.channels.ClosedByInterruptException; Host Details : local host is: "ha... 阅读全文
posted @ 2015-12-20 11:23 程序优化 阅读(743) 评论(0) 推荐(0)
Linux网络监控工具nethogs
摘要：Linux网络监控工具nethogs标签： 监控工具linux2015-12-17 22:06 448人阅读 评论(0) 收藏 举报 分类：linux（40） 版权声明：本文为博主原创文章，未经博主允许不得转载。Nethogs 是一个终端下的网络流量监控工具，它的特... 阅读全文
posted @ 2015-12-19 09:20 程序优化 阅读(486) 评论(0) 推荐(0)
linux系统关闭IPv6的方式
摘要：云服务器 ECS > Linux操作运维问题 > 应用配置 > linux系统关闭IPv6的方式linux系统关闭IPv6的方式IPv6被认为是IPv4的替代产品，它用来解决现有IPv4地址空间即将耗尽的问题。但目前，开启IPv6可能会导致一些问题。因此有时我们需要关... 阅读全文
posted @ 2015-12-17 19:05 程序优化 阅读(28545) 评论(1) 推荐(1)
DataXceiver error processing unknown operation src: /127.0.0.1:36479 dst: /127.0.0.1:50010处理
摘要：异常信息如下： 2015-12-09 17:39:20,310 ERROR datanode.DataNode (DataXceiver.java:run(278)) - hadoop07:50010:DataXceiver error processingunkno... 阅读全文
posted @ 2015-12-17 18:06 程序优化 阅读(1720) 评论(1) 推荐(0)
构建企业级数据仓库五步法
摘要：在上一期的专栏文章中，我们曾经提到：数据分析系统的总体架构分为四个部分 —— 源系统、数据仓库、多维数据库、客户端（图一：pic1.bmp）其中，数据仓库（DW）起到了数据大集中的作用。通过数据抽取，把数据从源系统源源不断地抽取出来，可能每天一次，或者每3个小时一次（... 阅读全文
posted @ 2015-12-17 08:24 程序优化 阅读(670) 评论(0) 推荐(0)
数据仓库建设步骤
摘要：数据仓库建设步骤Posted on 2015-03-04 10:18 xuzhengzhu 阅读(1164) 评论(0) 编辑 收藏1.系统分析，确定主题确定一下几个因素： ·操作出现的频率，即业务部门每隔多长时间做一次查询分析。 ·在系统中需要保存多久的... 阅读全文
posted @ 2015-12-17 08:21 程序优化 阅读(341) 评论(0) 推荐(0)
数据仓库建模：定义事实表的粒度
摘要：数据仓库建模：定义事实表的粒度Posted on 2015-08-25 09:03 xuzhengzhu 阅读(28) 评论(0) 编辑 收藏维度建模中一个非常重要的步骤是定义事实表的粒度。定义了事实表的粒度，则事实表能表达数据的详细程度就确定了。定义粒度的例子如下：... 阅读全文
posted @ 2015-12-17 08:20 程序优化 阅读(448) 评论(0) 推荐(0)
BI在连锁零售业应用
摘要：BI案例：BI在连锁零售业应用（ZT）Posted on 2015-08-25 09:31 xuzhengzhu 阅读(42) 评论(0) 编辑 收藏第一部分：连锁零售企业上BI的必要性． 目前国内的连锁零售行业的发展趋势，呈现出产业规模化，经营业态多样化，管理精细... 阅读全文
posted @ 2015-12-17 08:09 程序优化 阅读(293) 评论(0) 推荐(0)
分布式数据仓库设计
摘要：做大做强事实表，做小做弱维表；分布式模式-维度建模新原则 （1）以值代键：针对键值唯一的维表，除非必要，否则不引入维表，如IP地址维表，采用IP作为维表的主键，事实表中存储IP值； （2）合理分表：传统关系型数据仓库存在多表整合的冲动，如上图Event事实... 阅读全文
posted @ 2015-12-15 08:12 程序优化 阅读(275) 评论(0) 推荐(0)
多维数据模型
摘要：一、概述 多维数据模型是最流行的数据仓库的数据模型，多维数据模型最典型的数据模式包括星型模式、雪花模式和事实星座模式，本文以实例方式展示三者的模式和区别。二、星型模式（star schema） 星型模式的核心是一个大的中心表（事实表），一组小的附属表（维表）。星型... 阅读全文
posted @ 2015-12-15 08:10 程序优化 阅读(788) 评论(0) 推荐(0)
Kafka消息delivery可靠性保证(Message Delivery Semantics)
摘要：原文见:http://kafka.apache.org/documentation.html#semanticskafka在生产者和消费者之间的传输是如何保证的，我们可以知道有这么几种可能提供的delivery guarantee：At most once 消息可能会... 阅读全文
posted @ 2015-12-15 07:52 程序优化 阅读(548) 评论(0) 推荐(0)
深度分析Java的ClassLoader机制（源码级别）
摘要：深度分析Java的ClassLoader机制（源码级别）写在前面：Java中的所有类，必须被装载到jvm中才能运行，这个装载工作是由jvm中的类装载器完成的，类装载器所做的工作实质是把类文件从硬盘读取到内存中，JVM在加载类的时候，都是通过ClassLoader的lo... 阅读全文
posted @ 2015-12-13 15:41 程序优化 阅读(387) 评论(0) 推荐(0)
忘记mysq rootl密码后解决办法
摘要：如果mysql正在运行，/etc/init.d/mysqld stop启动mysql(无需输入密码)：bin/safe_mysqld –skip-grant-tables &在bin目录下执行mysql，此时无需输入密码即可进入# /usr/bin/mysql >us... 阅读全文
posted @ 2015-12-06 17:55 程序优化 阅读(301) 评论(0) 推荐(0)
ambari server内存溢出
摘要：抛出的异常信息如下：java.lang.OutOfMemoryError: PermGen spaceat java.lang.ClassLoader.defineClass1(Native Method)at java.lang.ClassLoader.define... 阅读全文
posted @ 2015-12-02 15:40 程序优化 阅读(391) 评论(0) 推荐(0)