摘要：
Android 自定义组件Android 提供了非常精致的和非常强大的组件化模型，能够更加方便的构建UI,这些UI组件都是基于基本的layout类:View 和 ViewGroup。部分能够用的widgets包括：Button，TextView,EditText,ListView,CheckBox，RadioButton,Gallery,Spinner,和一些比较特殊用途的widgets（AutoCompleteTextView,ImageSwitcher, andTextSwitcher.）布局组件有LinearLayout,FrameLayout,RelativeLayout,absolu 阅读全文
随笔档案-2013年3月31日
hive大数据倾斜总结
2013-03-31 19:39 by java20130722, 162 阅读, 收藏,
摘要：
在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage的reduce输出，所以如何将数据均匀的分配到各个reduce中，就是解决数据倾斜的根本所在。规避错误来更好的运行比解决错误更高效。在查看了一些资料后，总结如下。1数据倾斜的原因1.1操作：关键词情形后果Join其中一个表较小，但是key集 阅读全文
Hadoop Job Tuning
2013-03-31 16:16 by java20130722, 155 阅读, 收藏,
摘要：
Hadoop平台已经成为了大多数公司的分布式数据处理平台，随着数据规模的越来越大，对集群的压力也越来越大，集群的每个节点负担自然就会加重，而且集群内部的网络带宽有限，数据交换吞吐量也在面临考验，由此引发了人们对大规模数据处理进行优化的思考。本文仅从实践经验出发，针对Hadoop Job优化提出了一些观点，不包含HDFS的优化。Job Tracker Related严格来说，下面这个配置项，是决定HDFS文件block数量的多少(也就是文件个数)，但是它会间接的影响Job Tracker的调度和内存的占用(其实更能影响name node内存的使用)。dfs.block.size这个配置项定义了在 阅读全文
hive 配置参数说明
2013-03-31 14:26 by java20130722, 344 阅读, 收藏,
摘要：
hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小，在本地运行（在GateWay运行） true hive.exec.mode.local.auto.inputbytes.max 如果 hive.exec.mode.local.auto 为 true，当输入文件大小小于此阈值时可以自动在本地模式运行，默认是 128兆。 134217728L hive.exec.mode.local.auto.tasks.max 如果 hive.exec.mode.local.a... 阅读全文
Hadoop 性能调优 重要参数设置技巧
2013-03-31 12:12 by java20130722, 461 阅读, 收藏,
摘要：
这一两个月在做mapreduce的性能调优，有些心得，还是要记下来的，以郷后人~这里主要涉及的参数包括：HDFS：dfs.block.sizeMapredure：io.sort.mbio.sort.spill.percentmapred.local.dirmapred.map.tasks & mapred.tasktracker.map.tasks.maximummapred.reduce.tasks & mapred.tasktracker.reduce.tasks.maximummapred.reduce.max.attemptsmapred.reduce.parallel 阅读全文
浙公网安备 33010602011771号