摘要：
1.在Hive里面创建一个表： hive> create table wyp(id int, > name string, > age int, > tele string) > ROW FORMAT DELIMITED > FIELDS TERMINATED BY '\t' > STORED AS 阅读全文
阅读排行榜
Kafka的特点及使用场景
2016-03-01 09:38 by Mandylover, 10106 阅读, 收藏,
摘要：
Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低 阅读全文
mapreduce优化总结
2016-03-03 23:21 by Mandylover, 7711 阅读, 收藏,
摘要：
集群的优化 1、合理分配map和reduce任务的数量（单个节点上map任务、reduce任务的最大数量） 2、其他配置 io.file.buffer.size hadoop访问文件的IO操作都需要通过代码库。因此，在很多情况下，io.file.buffer.size都被用来设置缓存的大小不论是对硬 阅读全文
JVM的GC机制及JVM的调优方法
2016-02-22 20:04 by Mandylover, 6172 阅读, 收藏,
摘要：
内存管理和垃圾回收是JVM非常关键的点，对Java性能的剖析而言，了解内存管理和垃圾回收的基本策略非常重要。 1.在程序运行过程当中，会创建大量的对象，这些对象，大部分是短周期的对象，小部分是长周期的对象，对于短周期的对象，需要频繁地进行垃圾回收以保证无用对 象尽早被释放掉，对于长周期对象，则不需要 阅读全文
org.apache.hadoop.io.LongWritable cannot be cast to org.apache.hadoop.io.Text
2016-01-12 09:02 by Mandylover, 3353 阅读, 收藏,
摘要：
代码缺少这一行：job.setInputFormatClass(KeyValueTextInputFormat.class); 阅读全文
浙公网安备 33010602011771号