摘要：前言： 这些天一直奔波于长沙和武汉之间，忙着腾讯的笔试、面试，以至于对hadoop RPC（Remote Procedure Call Protocol ，远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。可以参考：http://baike.baidu.com/view/32726.htm）机制分析的博客一直耽搁了下来。昨天晚上胡老大和我抱怨说：最近乱的很。呵呵，老是往武汉跑，能不乱嘛。不过差不多腾讯面试的事就该告一段落了。五一期间，云计算小组的成员们，我们再搞起来吧。记住，我们还有一本hadoop的手册没出来呢。胡老大已经答应给我们写提纲了，在这期 阅读全文
轻松使用Hadoop RPC
2013-07-02 16:52 by java20130722, 174 阅读, 0 推荐, 收藏,
摘要：Hadoop RPC是Hadoop的一个重要部分，提供分布式环境下的对象调用功能，源码在org.apache.hadoop.ipc中。而HBase也几乎完全copy了这部分的源码，只是在配置项上面有所改动。关于Hadoop RPC的机制分析和源码解读，网上已经有许多资料，一搜一大把，这里就不在描述了。本文通过一个小例子，介绍如何调用Hadoop RPC。1. 应用场景Hadoop RPC在整个Hadoop中应用非常广泛，Client、DataNode、NameNode之间的通讯全靠它了。举个例子，我们平时操作HDFS的时候，使用的是FileSystem类，它的内部有个DFSClient对象，这 阅读全文
makfile中.PHONY的认识
2013-07-02 16:12 by java20130722, 4349 阅读, 1 推荐, 收藏,
摘要：install:foo install -m 644 foo /usr/bin.PHONY: install看以上makefile的片段,使用了.PHONY这个目标,下面详细介绍她的用法.来源:点击打开链接.PHONY是一个特殊工作目标（special target) 它用来指定一个假想的工作目标，也就是说它后面的并不是一个实际文件，而且肯定要视为未更新（也就是说条件总是满足，需要处理） PHONY 目标并非实际的文件名：只是在显式请求时执行命令的名字。有两种理由需要使用PHONY 目标：避免和同名文件冲突(防止存在和PHONY执行目标的名称相同的文件,虽然在写比较小的makefile工程的. 阅读全文
SqlDataAdapter的使用注意事项
2013-07-02 10:12 by java20130722, 433 阅读, 0 推荐, 收藏,
摘要：转自：http://tankywang.iteye.com/blog/1195910(向原作者致敬)如果使用SqlDataAdapter来查询数据返回给DataSet或者DataTable时需要注意以下几点:1、如果SqlDataAdapter的SelectCommand的连接并没有打开，使用SqlDataAdapter的Fill方法时会自动打开数据库连接，并在方法执行完毕自动关闭连接。如果连接在使用Fill方法之前已经打开，方法执行结束后会保持连接的现有状态，不会关闭连接。2、如果你在同一个Connection上有一系列的连续操作，例如执行多个Fill操作，你应该在最开始使用Connecti 阅读全文
Win7主机下的虚拟机桥接方式上网
2013-06-30 11:30 by java20130722, 638 阅读, 0 推荐, 收藏,
摘要：环境说明：主机是win7系统，目的是让virtualbox中虚拟机用桥接方式上网。转自：http://www.renhaibo.com/archives/136.htmlstep 1)在win7系统中进入网络连接的属性配置，选择“Microsoft网络客户端”，点击“安装（N）…”step 2)选择网络功能类型：服务step 3)“选择网络服务”à“从磁盘安装”à“浏览”à选择virtualbox的安装目录VirtualBox\drivers\network\netflt\VBoxNetFltM.inf。然后就进入到如下界面，再按“确定”step 4)“本地连接属 阅读全文
Linq to DataSet
2013-06-29 17:29 by java20130722, 307 阅读, 0 推荐, 收藏,
摘要：本文来自《Pro LINQ IN C# 2010》(Adam Freeman and Joseph C.Rattz, Jr.)的第十章，算是自己学习LINQ的笔记，书上说Linq to SQL 只支持 MS SQL Server 数据库， 而Linq to Dataset，由于是针对Dataset操作，所以没有数据库平台的限制。下面用代码示例讲解了DataSet的几个操作，代码全部来自于《Pro LINQ IN C# 2010》。为方便实践，DataTable数据不是直接来自于数据库，而是由一个Student数据转化而来。//Student 类的定义
classStudent
{
public 阅读全文
MySQL数据库定义 function、procedure、trigger报错:syntax error, unexpected end_of_input, expecting
2013-06-29 09:48 by java20130722, 844 阅读, 0 推荐, 收藏,
摘要：按照一些教程尝试在 MySQL 的 workbench 写函数，按照例子输入代码老是报错：“syntax error, unexpected end_of_input, expecting ';' ”.google之，从官网上得到答案：http://dev.mysql.com/doc/refman/5.1/zh/stored-procedures.html#create-procedure 【出错原因】：默认情况下，mysql是以分号“;”作为一条SQL语句的提交标识符。当我们在编写Function，Store-Procedure，或者触发器的过程中，其中会含有分号“;”；这样 阅读全文
MySQL Workbench: mysqldump version mismatch
2013-06-28 19:38 by java20130722, 882 阅读, 0 推荐, 收藏,
摘要：用MySQL的workbench导入导出备份文件时，出现如上警示框。解决办法提示框已经给出，就是设定正确的myslqdump路径Windows7 64bit系统下，步骤就是：Edit --> preferences --> Administrator --> Path to mysqldump tool: 将其路径设为：C:\Program Files\MySQL\MySQL Server 5.6\bin\mysqldump.exe参看网址：http://bugs.mysql.com/bug.php?id=68328 阅读全文
Hadoop程序打印调试
2013-06-28 18:11 by java20130722, 665 阅读, 0 推荐, 收藏,
摘要：转载 Hadoop程序打印调试1. System.out 和 System.errMain在Main函数里使用System.out标准输出和System.err标准错误输出，输出定向到执行程序节点的终端上。即在完全分布的Hadoop部署中，输出会定向到启动程序的节点的终端上。Mapper针对每个split，会实例化一个Mapper对象作为一个task，在Hadoop集群中的某个机器中的某个Map槽上执行。Mapper对象中的map函数和configure函数会被主程序以RPC方式调用。因此，在Mapper对象中System.out和System.err输出的结果并不会定向到执行程序节点的终端. 阅读全文
HUE beeswax中文显示问题的解决方案
2013-06-28 17:17 by java20130722, 1271 阅读, 0 推荐, 收藏,
摘要：HUE是Cloudera推出的Hadoop生态系统的Web访问接口，基于Python Django开发。在使用过程中发现，如果提交的SQL语句中有中文的注释，提交之后，整个语句将会保存在后端的MySQL历史表中，但是再次去查看历史记录的时候，其中的中文却显示成一串问号。显然，这种问题是因为数据库编码问题导致的。为了解决这个问题，可以做如下的操作：1。 修改MySQL的配置文件(/etc/my.cnf)，将默认编码设置成utf8：[plain] view plaincopyprint?[root@reporthue]#cat/etc/my.cnf[mysqld]datadir=/data/mys 阅读全文
浙公网安备 33010602011771号