夏至冬末 - 博客园

2013年8月15日

摘要： Hessian是一个轻量级的remoting onhttp工具，使用简单的方法提供了RMI的功能。相比WebService，Hessian更简单、快捷。采用的是二进制RPC协议，因为采用的是二进制协议，所以它很适合于发送二进制数据.这两天有空把hessian接口也学习一下。由于学习是为了以后测试工... 阅读全文

posted @ 2013-08-15 11:45 夏至冬末阅读(266) 评论(0) 推荐(0)

2013年8月14日

Hive内表和外表的区别

摘要：本文以例子的形式介绍一下Hive内表和外表的区别。例子共有4个：不带分区的内表、带分区的内表、不带分区的外表、带分区的外表。1 不带分区的内表#创建表create table innerTable(id int,name string) row format delimited fields ter... 阅读全文

posted @ 2013-08-14 16:48 夏至冬末阅读(1811) 评论(0) 推荐(1)

hive中简单介绍分区表

摘要：所介绍内容基本上是翻译官方文档，比较肤浅，如有错误，请指正！hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。分区列也不是表中的一个实际的字段，而是一个或者多个伪列。意思是说在表的数据文件中实际上并不保存分区列的信息与数据。下面的语句创建了一个简单的分区表：... 阅读全文

posted @ 2013-08-14 16:43 夏至冬末阅读(250) 评论(0) 推荐(0)

对现有Hive的大表进行动态分区

摘要：分区是在处理大型事实表时常用的方法。分区的好处在于缩小查询扫描范围，从而提高速度。分区分为两种：静态分区static partition和动态分区dynamic partition。静态分区和动态分区的区别在于导入数据时，是手动输入分区名称，还是通过数据来判断数据分区。对于大数据批量导入来说，显然采... 阅读全文

posted @ 2013-08-14 15:48 夏至冬末阅读(384) 评论(0) 推荐(0)

Hive表分区

摘要：必须在表定义时创建partitiona、单分区建表语句：create table day_table (id int, content string) partitioned by (dt string);单分区表，按天分区，在表结构中存在id，content，dt三列。以dt为文件夹区分b、双分... 阅读全文

posted @ 2013-08-14 15:34 夏至冬末阅读(209) 评论(0) 推荐(0)

2013年8月13日

Hive常用的SQL命令操作

摘要：创建表hive> CREATE TABLE pokes (foo INT, bar STRING);创建表并创建索引字段dshive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING);显示所有表hive> S... 阅读全文

posted @ 2013-08-13 15:14 夏至冬末阅读(3380) 评论(0) 推荐(0)

Hadoop分布式安装

摘要：一、安装准备 1、下载hadoop，地址：http://hadoop.apache.org/,下载相应版本 2、下载JDK版本：Hadoop只支持1.6以上，地址：http://www.oracle.com/technetwork/java/javase/downloads/index.... 阅读全文

posted @ 2013-08-13 15:01 夏至冬末阅读(164) 评论(0) 推荐(0)

Hadoop命令摘录

摘要：一：文件操作1、建立目录[hadoop@hadoop1:hadoop]$bin/hadoop dfs -mkdir testdir在HDFS中建立一个名为testdir的目录2、上传文件到HDFS[hadoop@hadoop1:hadoop]$bin/hadoop dfs -put /home/ha... 阅读全文

posted @ 2013-08-13 14:39 夏至冬末阅读(146) 评论(0) 推荐(0)

HDFS基本知识整理

摘要：设计理念： 1、超大文件 2、流式数据访问 3、商用普通硬件不适合场景： 1、低时间延迟的数据访问 2、大量的小文件 3、多用户写入，任意修改文件一、HDFS的基本概念1.1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的... 阅读全文

posted @ 2013-08-13 14:29 夏至冬末阅读(238) 评论(0) 推荐(0)

Hive基本命令整理

摘要：创建表：hive> CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, the first being an integer and the other a string创建... 阅读全文

posted @ 2013-08-13 14:10 夏至冬末阅读(256) 评论(0) 推荐(0)

2013年8月8日

Hadoop

摘要：最近想学习Hadoop，但苦于不知道怎么入门，有懂的，传授一下学习经验阅读全文

posted @ 2013-08-08 09:57 夏至冬末阅读(84) 评论(0) 推荐(0)

2013年7月25日

Storm集群安装详解

摘要： storm有两种操作模式: 本地模式和远程模式。本地模式：你可以在你的本地机器上开发测试你的topology，一切都在你的本地机器上模拟出来;远端模式：你提交的topology会在一个集群的机器上执行。本文以Twitter Storm官方Wiki为基础，详细描述如何快速搭建一个Storm集群，其中... 阅读全文

posted @ 2013-07-25 19:58 夏至冬末阅读(966) 评论(0) 推荐(0)

2013年7月12日

淘宝数据魔方技术架构解析

摘要：淘宝网拥有国内最具商业价值的海量数据。截至当前，每天有超过30亿的店铺、商品浏览记录，10亿在线商品数，上千万的成交、收藏和评价数据。如何从这些数据中挖掘出真正的商业价值，进而帮助淘宝、商家进行企业的数据化运营，帮助消费者进行理性的购物决策，是淘宝数据平台与产品部的使命。为此，我们进行了一系列数... 阅读全文

posted @ 2013-07-12 11:05 夏至冬末阅读(266) 评论(0) 推荐(0)

2013年7月7日

Eclipse 下 opennms 开发环境搭建

摘要： 1.eclipse3.5或更高版本，并且使用纯净的java版。下载地址：Eclipse for Java Developers。2.安装需要的插件。通过Help/Install New Software... 输入以下地址来完成安装。(1)安装Spring IDE，更新地址: http://dist... 阅读全文

posted @ 2013-07-07 18:15 夏至冬末阅读(298) 评论(0) 推荐(0)

OpenNMS架构介绍

摘要：一、OpenNMS简介OpenNMS的开发基于TMN及FCAPS这两个模型。电信管理网络（TMN）是由 ITU-T 推荐 M.3000于1985年提出作为一种应用于电信服务供应商所持有的运营支持系统（OSS）的参考模型。就概念而言，TMN 是一种相互连接不同类型OSS 组成部分和网络元素的结构体系。... 阅读全文

posted @ 2013-07-07 18:08 夏至冬末阅读(847) 评论(0) 推荐(0)

OpenNMS界面图 .

摘要： http://demo.opennms.org/opennms/login.jsp;jsessionid=zibykal1cw4b1cir8wgn0a8b0这个是opennms的demo website,可以先感受一下.http://sourceforge.jp/projects/sfnet_ope... 阅读全文

posted @ 2013-07-07 17:45 夏至冬末阅读(475) 评论(0) 推荐(0)

2013年7月6日

系统架构师JD

摘要： ########################################################################################################################国内大型的物流企业，专业从事国内公路运输和航空运输代理职责：... 阅读全文

posted @ 2013-07-06 12:24 夏至冬末阅读(696) 评论(0) 推荐(0)

synchronized关键字使用剖析

摘要： synchronized关键字，代表这个方法加锁,相当于不管哪一个线程（例如线程A），运行到这个方法时,都要检查有没有其它线程B（或者C、 D等）正在用这个方法，有的话要等正在使用synchronized方法的线程B（或者C 、D）运行完这个方法后再运行此线程A,没有的话,直接运行。它包括两种用法：... 阅读全文

posted @ 2013-07-06 10:41 夏至冬末阅读(184) 评论(0) 推荐(0)

关于一道简单的Java 基础面试题的剖析： short s1=1;s1 = s1 +1会报错吗？

摘要： package common;public class ShortTypeTest { /* * @param args */ public static void main(String[] args) { // TODO Auto-generated method stub sho... 阅读全文

posted @ 2013-07-06 10:16 夏至冬末阅读(276) 评论(0) 推荐(0)

2013年7月4日

Java从入门到精通——技巧篇之利用dom4j取出XML文件中的数据

摘要：在我们做项目的时候会经常用到XML文件用来配置系统，XML让系统更加的具有了灵活性，Java如何从XML中取出我们想要的数据呢？下面是我利用DOM4J来实现取出XML文件中的数据。 XML文件 oracle.jdbc.driver.OracleDriver jdbc:oracle:thin:@... 阅读全文

posted @ 2013-07-04 18:06 夏至冬末阅读(246) 评论(0) 推荐(0)