我的空中楼阁

摘要：import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; ... 阅读全文

摘要：4月份有些冲动，想报名考个CCDH证书，一直没有找到合适的付款方式，因为自己没有外币信用卡，后来受到朋友的帮助，22号付了款，26号就去考了试，不是很满意，如果少冲动一下，多看两天书，效果会更好。 阅读全文

摘要：1.我们在开发普通的web app的时候，总会用到orm框架，如hibernates ,ibates等，在hadoop中我们一直使用writable对象，当然如果我们想实现自己的对象类，需要继承这个writable 对象，实现自己的某些实义，就可以使用record啦，这是一种思路。另外一种思路是使用... 阅读全文

摘要：The fundamental idea of YARN is to split the two major responsibilities of the JobTracker—that is, resource management and job scheduling/monitoring—... 阅读全文

摘要：http://www.aiopass4sure.com/cloudera-exams/ccd-410-exam-questions/which-process-describes-the-lifecycle-of-a-mapper.htmlhttp://4hadooper.blogspot.tw/2... 阅读全文

摘要：Error: Could not find or load main class 我在尝试使用hadoop definitive guide的代码做练习时，遇到一个问题， hadoop URLCat hdfs://namenode/data/input/test.txt 报找不到URLCat的错误 这种类型的错误造成的原因是要找到的类不在hadoop的 classpath中。 你可以使... 阅读全文

摘要：项目中需要比对两种方法计算生成的数据情况，需要做两件事情，比对生成的中间表的行数是否相同，比对最后一张表的数据是否一致。在获取表的数据量是一条一条地使用select count(*) from table来获取等待结果比较烦人，所以就写了一个bash shell来做这件事。但一开始是这样的：for ... 阅读全文

摘要：一In cases where the last record in a block is incomplete, the input split includes location information for the next block and the byte offset of the data needed to complete the record. 假如我们有一个12... 阅读全文

摘要：为什么需要结构体类型？ 一种语言本身往往会提供一些最基本的数据类型，比如数字型（int,bigint,float,double等），字符型，日期型，布尔型等。但现实世界中，我们面对的对象总是非常复常，不仅仅是一个数字或一个字符串就能够表达的，所以在现代的语言中，如java,C#等OO的语言，有一个class对象，来封装这些。 举一个简单的场景，如果我们有一个函数，处理的对象是学生对象，则每一次... 阅读全文

摘要：the Shell Profile: When a new interactive shell is started, /etc/profile, followed by /etc/bash.bashrc(if a bash shell), ~/.profile, and finally ~... 阅读全文

摘要：shell practice 1 1.require A B C D 1 2 3 4 5 6 7 8 3 5 8 0 1 2 4 3 after handling: T A B C D A 1 2 3 4 B 5 6 7 8 C 3 5 8 0 D 1 2 4 3 1.first need read the firs... 阅读全文

摘要：sometimes you will write shell in windows platform, be careful for this, adjust the notepad plus plus information. /etc/profile A global configuration script that applies to all users. ~/.bas... 阅读全文

摘要：#read one file line by linefor line in $(cat test1.txt); do echo $line ;done;#while read split line by spacewhile read line do for word in $lin... 阅读全文

摘要：Storm并发配置的优先级： defaults.yaml < storm.yaml < topology-specific configuration < internal component-specific configuration < external component-specific configuration 通过下图来理解并行度的一些配置： 消息的可靠处理机制... 阅读全文

摘要：Storm，核心代码使用clojure书写，实用程序使用python开发，使用java开发拓扑。 Nimbus节点接收到请求，对提交的拓扑进行分片，分成一个个的task,并将task和supervisor相关的信息提交到zookeeper集群上，supervisor会去zookeeper集群上领自己的task,通知自己的worker进程进行Task的处理。 Spout的主要方法： op... 阅读全文

摘要：分布式的实时计算框架，storm对于实时计算的意义类似于hadoop对于批处理的意义。 Storm的适用场景： 1.流数据处理：storm可以用来处理流式数据，处理之后将结果写到某个存入中去。 2.持续计算：连续发送数据到客户端，使它们能够实时更新并显示结果，如网站指标 3.分布式RPC：由于storm的处理组件是分布式的，而且处理延迟极低，所以可以作为一个通用的分布式rpc框架来使用。... 阅读全文

摘要：函数的多线程安全性在内核编程中比用户态应用程序的编程更常见。 调用源 运行环境 原因 driverEntry,DriverUnload 单线程 这两个函数由系统进程的单一线程调用，不会出现多线程同时调用 的情况 各种分发函数 多线程 ... 阅读全文

摘要：1.返回状态 绝大部分的内核api返回值都是一个返回状态，也就是一个错误代码。这个类型为NTSTATUS.我们自己写的函数也大部分这样做。 NTSTATUS MyFunction() { NTSTATUS status; …. return status; } 如果碰到一个函数返回了奇特的NTSTATUS值，正确的方法是在WDK的头文件比如(NTSTATUS.h)中... 阅读全文

摘要：A Hadoop job may consist of many map tasks and reduce tasks. Therefore, debugging a Hadoop job is often a complicated process. It is a good practice to first test a Hadoop job using unit tests ... 阅读全文

摘要：Often Hadoop jobsare executed through a command line. Therefore, each Hadoop job has to support reading, parsing, and processing command-line arguments. To avoid each developer having to rewrit... 阅读全文

摘要：source data:accountleg year_month amount acc1A 2010-01 100 acc1A 2010-02 100 acc1A 2010-03 100 acc1A 2010-04 100 acc1A 2010-06 100 ... 阅读全文

摘要：当处理器读或写入内存位置时，它会使用虚拟地址。作为读或写操作的一部分，处理器将虚拟地址转换为物理地址。通过虚拟地址访问内存有以下优势： 程序可以使用一系列相邻的虚拟地址来访问物理内存中不相邻的大内存缓冲区。 程序可以使用一系列虚拟地址来访问大于可用物理内存的内存缓冲区。当物理内存的供应量变小时，内存管理器会将物理内存页（通常大小为 4 KB）保存到磁盘文件。... 阅读全文

摘要：https://msdn.microsoft.com/zh-cn/library/windows/hardware/ff554836 运行 Windows 的计算机中的处理器有两个不同模式：“用户模式”和“内核模式”。根据处理器上运行的代码的类型，处理器在两个模式之间切换。应用程序在用户模式下运行，核心操作系统组件在内核模式下运行。多个驱动程序在内核模式下运行，但某些驱动程序在用户模式下运行。 ... 阅读全文

摘要：http://www.microsoft.com/en-us/download/details.aspx?id=11800 可以下载此驱动开发包，《寒江独钓WINDOWS内核安全编程》这本书的代码就可以 使用这个版本的WDK进行编译。 驱动程序是一个软件组件，可让操作系统和设备彼此通信。 扩大定义： 并非所有驱动程序都必须由设计该设备的公司编写。在多种情形下，设备根据已发布的硬件标... 阅读全文