Oracle之：Function ：numberToDate()
摘要：
create or replace function numberToDate(i_date in number)return dateis v_date number; result date ;begin v_date :=... 阅读全文
Oracle之：Function ：dateToNumber()
摘要：
create or replace function dateToNumber(i_date in date)return numberis result number ;begin result := TO_NUMBER(NVL(TO_... 阅读全文
Oracle之：Function ：getcurrdate()
摘要：
getdate()函数连接请戳这里create or replace function getcurrdate(i_date date)return date is v_date date; v_datestr varchar2(10);begi... 阅读全文
Oracle之：Function ：getdate()
摘要：
create or replace function getdate(sp_date varchar) return date is Result date;begin if LENGTH(sp_date) =10 then Result:=to_... 阅读全文
Hadoop-No.15之Flume基于事件的数据收集和处理
摘要：
Flume是一种分布式的可靠开源系统,用于流数据的高效收集,聚集和移动.Flume通常用于移动日志数据.但是也能移动大量事件数据.如社交媒体订阅,消息队列事件或者网络流量数据. Flume架构Flume的数据源使用来自外部数据源的时间,然后转发到Chann... 阅读全文
Hadoop-No.14之文件传输的特点
摘要：
文件传输特点这是一种all-or-nothing批处理方法,所以如果文件传输过程中出现错误,则不会写入或读取任何数据.这种方法与Flume,Kafka之类的采集方法不同,后者提供一定程度的错误处理功能.并且有传输保障文件传输默认为单线程,不能并行文件传输... 阅读全文
Hadoop-No.13之数据源系统以及数据结构
摘要：
文件系统中采集数据时,应该考虑以下内容.数据源系统设备的读取速率在所有处理流水线中,磁盘I/O通常都是主要瓶颈.但是优化采集流程时通常要看一下检索数据的系统系统.一般来说,Hadoop的读取速度在20MB/s到100MB/s之间,而且主板或者控制器从系统所有... 阅读全文
Hadoop-No.12之数据采集的时效性
摘要：
数据采集的时效性,指的是可进行数据采集的时间与Hadoop中工具可访问数量的时间之间的间隔.采集架构的时间分类会对存储媒介和采集方法造成很大的影响.一般来说,在设计应用的采集构架之前建议使用以下分类中的一种.大型批处理通常指15分钟到数小时的任务,有时可... 阅读全文
Hadoop-No.11之元数据
摘要：
元数据的重要性三个重要理由,让我们不得不在意元数据元数据允许用户通过一张表的高一级逻辑抽象,而不是HDFS中文件的简单几何,或者HBase中的表来与数据交互.这意味着用户不比关心数据是如何存储的,存储到了什么地方元数据允许用户提供数据的信息(如分区或者排... 阅读全文
Hadoop-No.10之列簇
摘要：
HBase中包含列簇(column family)的概念.列簇本质上是列的存储容器.一张表可以有一个或多个列簇.每个列簇都有自己的HFile结婚,而且在执行合并操作时,同一个表的其他列簇不受影响在很多实用案例中,一张表不需要多个列簇.如果一张标中国的一部分列... 阅读全文
Hadoop-No.9之表和Region
摘要：
影响性能与数据分布的一个因素是HBase中表的数量以及每个表的Region的数量.如果分配的不合理,集群一个节点活多个节点的负载会出现显著的不均衡.其中比较注意的几点: - 每个节点包含一个Region服务器 - 每个Region服务器包含多个Region ... 阅读全文
Hadoop-No.8之时间戳
摘要：
要获得良好的HBase的模式设计,要正确的理解和使用时间错.在HBase中,时间戳的作用如下所述.时间戳决定了在put请求修改记录时那些记录更新时间戳决定了一条记录的多个版本在返回时的排序时间戳还用于大合并(Major Compaction)过程,决定是否移... 阅读全文
Hadoop-No.7之行键
摘要：
和哈希表类比,HBase中的行键类似于哈希表中的键.要构造一个良好的HBase模式,关键之一就是选择一个合适的行键. 1 记录检索行键是HBase中检索记录所使用的键.HBase记录含有的列在数量上没有限制,但是只能有一个行键.这一点同关系型数据库有所不同... 阅读全文
Hadoop-No.6之文件在HDFS中的位置
摘要：
在设计一种HDFS模式时,首先应该决定文件的位置.标准化的位置会使得团队之间更容易查找和共享数据. 推荐HDFS目录结构实例.目录结构简化了不同组和用户的权限分配/user/{username}只属于特定用户的数据,JAR包和配置文件.通常是用户在试验中使用... 阅读全文
Hadoop-No.5之压缩
摘要：
Hadoop存储数据时需要着重考虑的一个因素就是压缩.这里不仅要满足节省存储空间的需求,也要提升数据处理性能.在处理大量数据时,消耗最大的是磁盘和网络的I/O,所以减少需要读取或者写入磁盘的数据量就能大大缩短整体处理时间.这包括数据源的压缩,它也包括数据处理... 阅读全文
Hadoop-No.4之列式存储格式
摘要：
列式系统可提供的优势对于查询内容之外的列,不必执行I/O和解压(若适用)操作非常适合仅访问小部分列的查询.如果访问的列很多,则行存格式更为合适相比由多行构成的数据块,列内的信息熵更低,所以从压缩角度来看,列式存储通常会非常高效.换句话说,同一列中的数据比... 阅读全文
Hadoop-No.3之序列化存储格式
摘要：
序列化存储指的是将数据结构转化为字节流的过程,一般用于数据存储或者网络传输.与之相反, 反序列化是将字节流转化为数据结果的过程.序列化是分布处理系统(比如Hadoop)的核心,原因在于他能对数据进行转化,形成一种格式.使用了这样的格式之后,数据可以有效的... 阅读全文
Hadoop-No.2之标准文件格式
摘要：
标准文件格式可以指文本格式,也可以指二进制文件类型.前者包括逗号分隔值(Comma-Separated Value,CSV和可扩展的标记语言文本(Extensible Markup Language. XML)格式 , 后者包括图像. Hadoop... 阅读全文
Hadoop-No.1之数据存储选型
摘要：
文件格式Hadoop支持多种面向数据存储的文件格式,包括纯文本和Hadoop特有的格式,如SequenceFile.还有一些更加复杂但功能更加丰富的格式可供选择,如Avro与Parquet.不同的格式具有不同的优势.任何一种格式都有适合的应用或者数据源类型.... 阅读全文
JAVA之StringUtils工具类
摘要：
StringUtils 方法的操作对象是 java.lang.String 类型的对象，是对 JDK 提供的 String 类型操作方法的补充，并且是 null 安全的(即如果输入参数 String 为 null 则不会抛出 NullPointerExce... 阅读全文
Java之ExceptionHelper工具类
摘要：
import java.util.Map;import org.apache.commons.lang3.StringUtils;import org.apache.commons.lang3.exception.ExceptionUtils;public ... 阅读全文
Python之PyLint自动检查代码
摘要：
PyLint的下载地址：https://pypi.python.org/pypi/pylintPyLint的官网：http://www.pylint.org/ 从源码发行版安装，解压文件包并且运行python setup.py install 快速安装方... 阅读全文
Python之windows锁屏
摘要：
简单粗暴,三行代码搞定from ctypes import *user32 = windll.LoadLibrary('user32.dll')user32.LockWorkStation()上述代码同win+L 锁屏功能相同 阅读全文
Python之文字转图片
摘要：
Pygame模块一览表： 引入pygame模块 ,若本机没有请自行pip install pygame#载入必要的模块import pygame#pygame初始化pygame.init()# 待转换文字text = u"文字转图片"#设置字体和字号f... 阅读全文
Python之阿姆斯特朗数
摘要：
# Python 检测用户输入的数字是否为阿姆斯特朗数# 如果一个n位正整数等于其各位数字的n次方之和,则称该数为阿阿姆斯特朗数while True: # 获取用户输入的数字 num = int(input("请输入一个数字：")) # 初... 阅读全文
Js之DateFormat工具类
摘要：
/** * 对Date的扩展,将Date转化为指定格式的String * 年(y)、季度(q)、月(M)、日(d)、小时(h)、分(m)、秒(s)可以用1-2个占位符 * 示例: * FormatDateCNT(new Date(),"yyyy-MM-dd ... 阅读全文
Python3之threading模块
摘要：
import threading# Tips:一个ThreadLocal变量虽然是全局变量，# 但每个线程都只能读写自己线程的独立副本，互不干扰。# ThreadLocal解决了参数在一个线程中各个函数之间互相传递的问题。# 创建全局ThreadLocal对... 阅读全文
JAVA-产生唯一32位GUID
摘要：
import java.net.*;import java.util.*;import java.security.*;import org.apache.log4j.Logger;/** * 產生唯一GUID */public class RandomGU... 阅读全文
Python-multiprocessing-Pool模块
摘要：
from multiprocessing import Poolimport osimport timeimport randomdef long_time_task(name): print('Run task %s (%s)...' % (name... 阅读全文
Python-multiprocessing-Process模块
摘要：
获取当前执行该文件的进程IDimport os# 获取当前执行该文件的进程IDprint("Process (%s) start..." % os.getpid()) multiprocessing：跨平台版本的多进程模块 # multiprocess... 阅读全文