11 2015 档案

GP DBA基本操作
摘要：1、查看队列情况SELECT * FROM gp_toolkit.gp_resqueue_status;如果出现了资源占用大于1.1 e+11SQL，则可能存在不合理执行计划的SQL， 基本跑不出来， 库也会很卡。2、查看用户归属的队列select * from gp_toolkit.gp_resq... 阅读全文
posted @ 2015-11-27 12:00 开心玩数据 阅读(2858) 评论(0) 推荐(0)
浅谈数据仓库建设中的数据建模方法
摘要：所谓水无定势，兵无常法。不同的行业，有不同行业的特点，因此，从业务角度看，其相应的数据模型是千差万别的。目前业界较为主流的是数据仓库厂商主要是 IBM 和 NCR，这两家公司的除了能够提供较为强大的数据仓库平台之外，也有各自的针对某个行业的数据模型。 例如，在银行业，IBM 有自己的 BDWM(B... 阅读全文
posted @ 2015-11-23 16:35 开心玩数据 阅读(550) 评论(0) 推荐(0)
机器学习算法之:KNN
摘要：基于实例的学习方法中，最近邻法和局部加权回归法用于逼近实值或离散目标函数，基于案例的推理已经被应用到很多任务中，比如，在咨询台上存储和复用过去的经验；根据以前的法律案件进行推理；通过复用以前求解的问题的相关部分来解决复杂的调度问题。基于实例方法的一个不足是，分类新实例的开销可能很大。这是因为几乎所... 阅读全文
posted @ 2015-11-10 20:40 开心玩数据 阅读(496) 评论(0) 推荐(0)
大数据架构之:Storm
摘要：Storm是一个免费开源、分布式、高容错的实时计算系统，Twitter开发贡献给社区的。Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。 Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。特点1、Storm这是一个分布式的、容错... 阅读全文
posted @ 2015-11-09 19:44 开心玩数据 阅读(2317) 评论(0) 推荐(0)
大数据架构之:Spark
摘要：Spark是UC Berkeley AMP 实验室基于map reduce算法实现的分布式计算框架，输出和结果保存在内存中，不需要频繁读写HDFS，数据处理效率更高Spark适用于近线或准实时、数据挖掘与机器学习应用场景Spark和HadoopSpark是一个针对超大数据集合的低延迟的集群分布式计算... 阅读全文
posted @ 2015-11-09 19:30 开心玩数据 阅读(2187) 评论(0) 推荐(0)
大数据架构之:Kafka
摘要：Kafka 是一个高吞吐、分布式、基于发布订阅的消息系统，利用Kafka技术可在廉价PC Server上搭建起大规模消息系统。Kafka具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费Kakfa特点：解耦：消息系统在处理过程中插入一个隐含、基于数据的接口层。冗余... 阅读全文
posted @ 2015-11-09 19:21 开心玩数据 阅读(7749) 评论(1) 推荐(1)
大数据架构之:Flume
摘要：1、 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。2、一个独立的Flume进程称之为Agent,包含组件Source、Channel、Sink SourceFl... 阅读全文
posted @ 2015-11-09 19:04 开心玩数据 阅读(3571) 评论(2) 推荐(0)
大数据架构之:流式计算数据流向
摘要：整体数据流图 阅读全文
posted @ 2015-11-09 18:58 开心玩数据 阅读(1493) 评论(0) 推荐(1)
建议10：numpy使用基础
摘要：# -*- coding: utf-8 -*-import numpy as np#----------------------------------------#-- 定义 ndarray#-- 先申明为python的序列，再转化为numpy的数组#--------------------... 阅读全文
posted @ 2015-11-04 14:59 开心玩数据 阅读(398) 评论(0) 推荐(0)
建议42：使用pandas处理大型CSV文件
摘要：# -*- coding:utf-8 -*-'''CSV 常用API1）reader(csvfile[, dialect='excel'][, fmtparam])，主要用于CSV 文件的读取，返回一个reader 对象用于在CSV 文件内容上进行行迭代。 参数： ... 阅读全文
posted @ 2015-11-04 14:51 开心玩数据 阅读(22680) 评论(0) 推荐(1)
建议51：函数式编程实战
摘要：# -*- coding:utf-8 -*-#不要在lists上迭代。使用map和reduce。#Map接受一个方法和一个集合作为参数。它创建一个新的空集合，以每一个集合中的元素作为参数调用这个传入的方法，#然后把返回值插入到新创建的集合中。最后返回那个新集合。name_lengths = map... 阅读全文
posted @ 2015-11-04 14:49 开心玩数据 阅读(269) 评论(0) 推荐(0)
建议50：Python中的高级数据结构
摘要：# -*- coding:utf-8 -*-'''Collection、Array、Heapq、Bisect、Weakref、Copy以及Pprintcollections模块包含了内建类型之外的一些有用的工具，例如Counter、defaultdict、OrderedDict、deque以及na... 阅读全文
posted @ 2015-11-04 14:47 开心玩数据 阅读(325) 评论(0) 推荐(0)
建议47：使用logging记录日志信息
摘要：# -*- coding:utf-8 -*-'''Python中自带的logging 模块提供了日志功能，它将logger 的level 分为5 个级别DEBUG 详细的信息，在追踪问题的时候使用INFO 正常的信息WARNING 一些不可预见的问题发生，或... 阅读全文
posted @ 2015-11-04 14:46 开心玩数据 阅读(328) 评论(0) 推荐(0)
建议44：理解模块pickle优劣
摘要：# -*- coding:utf-8 -*-'''pickle 估计是最通用的序列化模块了，它还有个C 语言的实现cPickle，相比pickle 来说具有较好的性能，其速度大概是pickle 的1000 倍，因此在大多数应用程序中应该优先使用cPickle（注：cPickle 除了不能被继承之外... 阅读全文
posted @ 2015-11-04 14:45 开心玩数据 阅读(655) 评论(0) 推荐(0)
建议41：使用argparse处理命令行参数
摘要：# -*- coding:utf-8 -*-'''以现阶段最好用的参数处理标准库是argparse'''import argparseparser = argparse.ArgumentParser()parser.add_argument('-o', '--output')parser.add_... 阅读全文
posted @ 2015-11-04 14:44 开心玩数据 阅读(499) 评论(0) 推荐(0)
建议40：深入掌握ConfigParser
摘要：# -*- coding:utf-8 -*-'''1、getboolean() 根据一定的规则将配置项的值转换为布尔值getboolean() 的真值规则： 0、no、false 和off 都会被转义为False 1、yes、true 和on则都被转义为True ... 阅读全文
posted @ 2015-11-04 14:43 开心玩数据 阅读(418) 评论(0) 推荐(0)
建议37：按需选择sort或sorted
摘要：# -*- coding:utf-8 -*-'''用法： sorted(iterable[, cmp[, key[, reverse]]]) s.sort([cmp[, key[, reverse]]]) ‰‰cmp 为用户定义的任何比较函数，函数的参数为两个可比较的元素（来自i... 阅读全文
posted @ 2015-11-04 14:42 开心玩数据 阅读(244) 评论(0) 推荐(0)
建议13：使用Python模块re实现解析小工具
摘要：# -*- coding:utf-8 -*-#'''Python re 的主要功能：re.compile(pattern[, flags])把正则表达式的模式和标识转化成正则表达式对象，供 match() 和 search() 这两个函数使用。re 所定义的 flag 包括：re.I 忽略大小写r... 阅读全文
posted @ 2015-11-04 14:41 开心玩数据 阅读(273) 评论(0) 推荐(0)
greenplum日常维护手册
摘要：1.数据库启动：gpstart常用可选参数： -a : 直接启动，不提示终端用户输入确认 -m:只启动master 实例，主要在故障处理时使用2.数据库停止：gpstop：常用可选参数：-a：直接停止，不提示终端用户输入确认 -m：只停止master 实例，与gpstart –m 对应使用 -... 阅读全文
posted @ 2015-11-04 14:34 开心玩数据 阅读(2016) 评论(0) 推荐(0)