摘要：转自：http://blog.chinaunix.net/uid-22414998-id-3263551.html《OpenStack Starter Guide for Ubuntu 12.04 -Compute, Object Storage (all-in-one), Image, and Identity services plus Dashboard》官方教程翻译版OpenStack云计算快速入门（1） 该教程基于Ubuntu12.04版，它将帮助读者建立起一份OpenStack最小化安装。我是五岳之巅，翻译中多采用意译法，所以个别词与原版有出入，请大家谅解。我不是英语专业，我觉.. 阅读全文
hive动态分区与静态分区
2013-02-26 15:39 by java20130722, 916 阅读, 1 推荐, 收藏,
摘要：HIVE分区，实际上是通过一个路径来标识的，而不是在物理数据中。比如每天的数据，可能分区是pt=20121023这样，那么路径中它就会变成：/hdfs/path/pt=20121023/data_files。通过路径来标识的好处是，如果我们需要取特定分区的数据，只需要把这个路径下的数据取出来就可以了，不用扫描全部的数据。HIVE默认是静态分区。但是有时候可能需要动态创建不同的分区，比如商品信息，我想根据它是否在线分成两个分区，这样后续如果要取在线商品，就只需要从在线的分区获取即可。动态分区可以通过下面的设置来打开：[sql]view plaincopysethive.exec.dynamic. 阅读全文
hive知识
2013-02-26 14:49 by java20130722, 190 阅读, 0 推荐, 收藏,
摘要：Hive常用的SQL命令操作创建表hive> CREATE TABLE pokes (foo INT, bar STRING);创建表并创建索引字段dshive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING);显示所有表hive> SHOW TABLES;查看表结构hive> describe tablename;按正条件（正则表达式）显示表，hive> SHOW TABLES '.*s';表添加一列hive> ALTER TABLE pokes A 阅读全文
[置顶] 面向领域概念：流的思考
2013-02-25 20:31 by java20130722, 234 阅读, 0 推荐, 收藏,
摘要：PCAP是一种经常在计算机网络研究中被使用的文件格式。其按时间先后顺序记录了经过某条链路的数据报文。PCAP文件格式较为简单，主要有三个组成部分：PCAP文件头部、PCAP数据包头部以及数据包数据。在PCAP中，数据包是按照时间先后顺序存储的。而已有的如libpcap和WinPcap等程序库也是基于数据包为单元对象进行封装的。而在PCAP中，并没有“流”（具有相同五元组：源IP地址，目的IP地址，源端口，目的端口和协议的数据包串）这个概念。在捕获报文得到的PCAP文件中，绝大多数情况都同时存在着不止一条流，而PCAP是按照包的到达时间顺序记录报文的。所以，流在PCAP文件中的存储顺序是分隔的， 阅读全文
Top JavaScript MVC Frameworks
2013-02-22 09:13 by java20130722, 215 阅读, 0 推荐, 收藏,
摘要：As more and more logic ends up being executed in the browser, JavaScript front-end codebases grow larger and more difficult to maintain. As a way to solve this issue developers have been turning to MVC frameworks which promise increased productivity and maintainable code. As part of the new communit 阅读全文
Hive原理与不足
2013-02-21 14:47 by java20130722, 273 阅读, 0 推荐, 收藏,
摘要：转自：http://blog.csdn.net/wind5shy/article/details/8560059架构UI：用户提交查询请求与获得查询结果。包括三个接口：命令行（CLI）、Web GUI（Hue）和客户端。Driver：接受查询请求与返回查询结果。实现了session的概念，以处理和提供基于JDBC/ODBC执行以及颉取的API。Compiler: 编译器，分析查询SQL语句，在不同的查询块和查询表达式上进行语义分析，并最终通过从metastore中查找表与分区的元信息生成执行计划。Metastore：元数据储存，元数据存储在MySQL或derby等数据库中。元数据包括Hive各 阅读全文
hive 三种启动方式及用途
2013-02-21 14:34 by java20130722, 695 阅读, 0 推荐, 收藏,
摘要：1， hive命令行模式，直接输入/hive/bin/hive的执行程序，或者输入 hive –service cli 用于linux平台命令行查询，查询语句基本跟mysql查询语句类似2，hiveweb界面的启动方式，hive –service hwi 用于通过浏览器来访问hive，感觉没多大用途3， hive远程服务 (端口号10000) 启动方式， hive –service hiveserver& 用java等程序实现通过jdbc等驱动的访问hive就用这种起动方式了，这个是程序员最需要的方式了 也可以自己指定端口 hive --service hiveserver -... 阅读全文
hive中UDF和UDAF使用说明
2013-02-21 14:26 by java20130722, 364 阅读, 0 推荐, 收藏,
摘要：Hive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。一、背景：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括：a）文件格式：Text File，Sequence Fileb）内存中的数据格式：Java Integer/String, Hadoop IntWritable/Textc）用户提供的map/reduce脚本：不管什么语言，利用stdin/stdout传输数据d）用户自定义函数: Substr, Trim, 1 – 1e）用 阅读全文
Nodejs根据字符串调用对象方法
2013-02-19 20:13 by java20130722, 509 阅读, 0 推荐, 收藏,
摘要：根据字符串动态调用方法是一个很有用的技巧，在nodejs中：var kiwi = { name:'kiwi', say:function () { console.log("my name is" + this.name); }
} kiwi['say'](); // => my name is kiwi 阅读全文
java连接access数据库----简单demo
2013-02-19 15:41 by java20130722, 392 阅读, 0 推荐, 收藏,
摘要：用户java访问access2007 不需要配置数据源！public static void main(String[] args) throws SQLException, UnsupportedEncodingException { // --Access 数据库路径 String dbpath = "C:\\Users\\hlu\\Desktop\\hua\\hua_dic_db.mdb"; //路劲最好不要出现中文，本人测试过程中中文报错！ // --连接字符串 String url = "jdbc:odbc:DRIVER={Microsoft Acces 阅读全文
浙公网安备 33010602011771号