摘要：Android 自定义组件Android 提供了非常精致的和非常强大的组件化模型，能够更加方便的构建UI,这些UI组件都是基于基本的layout类:View 和 ViewGroup。部分能够用的widgets包括：Button，TextView,EditText,ListView,CheckBox，RadioButton,Gallery,Spinner,和一些比较特殊用途的widgets（AutoCompleteTextView,ImageSwitcher, andTextSwitcher.）布局组件有LinearLayout,FrameLayout,RelativeLayout,absolu 阅读全文
hive大数据倾斜总结
2013-03-31 19:39 by java20130722, 160 阅读, 0 推荐, 收藏,
摘要：在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage的reduce输出，所以如何将数据均匀的分配到各个reduce中，就是解决数据倾斜的根本所在。规避错误来更好的运行比解决错误更高效。在查看了一些资料后，总结如下。1数据倾斜的原因1.1操作：关键词情形后果Join其中一个表较小，但是key集 阅读全文
Hadoop Job Tuning
2013-03-31 16:16 by java20130722, 148 阅读, 0 推荐, 收藏,
摘要：Hadoop平台已经成为了大多数公司的分布式数据处理平台，随着数据规模的越来越大，对集群的压力也越来越大，集群的每个节点负担自然就会加重，而且集群内部的网络带宽有限，数据交换吞吐量也在面临考验，由此引发了人们对大规模数据处理进行优化的思考。本文仅从实践经验出发，针对Hadoop Job优化提出了一些观点，不包含HDFS的优化。Job Tracker Related严格来说，下面这个配置项，是决定HDFS文件block数量的多少(也就是文件个数)，但是它会间接的影响Job Tracker的调度和内存的占用(其实更能影响name node内存的使用)。dfs.block.size这个配置项定义了在 阅读全文
hive 配置参数说明
2013-03-31 14:26 by java20130722, 338 阅读, 0 推荐, 收藏,
摘要：hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小，在本地运行（在GateWay运行） true hive.exec.mode.local.auto.inputbytes.max 如果 hive.exec.mode.local.auto 为 true，当输入文件大小小于此阈值时可以自动在本地模式运行，默认是 128兆。 134217728L hive.exec.mode.local.auto.tasks.max 如果 hive.exec.mode.local.a... 阅读全文
Hadoop 性能调优 重要参数设置技巧
2013-03-31 12:12 by java20130722, 459 阅读, 0 推荐, 收藏,
摘要：这一两个月在做mapreduce的性能调优，有些心得，还是要记下来的，以郷后人~这里主要涉及的参数包括：HDFS：dfs.block.sizeMapredure：io.sort.mbio.sort.spill.percentmapred.local.dirmapred.map.tasks & mapred.tasktracker.map.tasks.maximummapred.reduce.tasks & mapred.tasktracker.reduce.tasks.maximummapred.reduce.max.attemptsmapred.reduce.parallel 阅读全文
MySQL创建用户与授权
2013-03-30 10:50 by java20130722, 203 阅读, 0 推荐, 收藏,
摘要：在linux 上的新装的mysql 需要修改root 密码set password for 'root'@'localhost' =password('root');一,创建用户:命令:CREATEUSER'username'@'host'IDENTIFIEDBY'password';说明:username-你将创建的用户名,host-指定该用户在哪个主机上可以登陆,如果是本地用户可用localhost,如果想让该用户可以从任意远程主机登陆,可以使用通配符%.password-该用户的登陆密码,密码 阅读全文
linux 不能执行ifconfig
2013-03-29 17:35 by java20130722, 326 阅读, 0 推荐, 收藏,
摘要：最近在用虚拟机安装linux 版本：[root@localhost network-scripts]# lsb_release -a LSB Version: :core-3.1-ia32:core-3.1-noarch:graphics-3.1-ia32:graphics-3.1-noarchDistributor ID: RedHatEnterpriseServerDescription: Red Hat Enterprise Linux Server release 5.1 (Tikanga)Release: 5.1Codename: Tikanga新安装的系统执行 ifconfig 的 阅读全文
抽象工厂 abstractFactory
2013-03-28 17:50 by java20130722, 163 阅读, 0 推荐, 收藏,
摘要：AbstractFactory模式就是用来解决这类问题的：要创建一组相关或者相互依赖的对象。AbstractFactory模式典型的结构图：假设：有若干骨头和鱼残渣， 需要狗和猫处理。 因此这种情况下，猫和狗是一起协同工作。 AbstractFactory模式关键就是将这一组对象的创建封装到一个用于创建对象的类中，维护这样一个创建类总比维护n多相关对象的创建过程要简单的多。代码：IAbstractFactory：public interface IAbstractFactory { Dog createDog() ; Cat createCat() ;
}
CreateFactory... 阅读全文
android animator 动画
2013-03-28 15:35 by java20130722, 264 阅读, 0 推荐, 收藏,
摘要：animator 动画动画的作用是让UI有动感， 看上去时尚。Android中动画分两种方式：一种方式是补间动画Tween Animation，就是说你定义一个开始和结束，中间的部分由程序运算得到。另一种叫逐帧动画Frame Animation，就是说一帧一帧的连起来播放就变成了动画。动画可以实现的效果：1. 移动(Translation)2. 透明度(alpha)3. 旋转（rotate）4. 缩放 (scale)现在分别用例子来讲解：以下的实现都是用代码实现的(ObjectAnimator)1. 移动(Translation) 主要代码AnimatorSet set = new An... 阅读全文
linux 常用命令
2013-03-28 12:28 by java20130722, 113 阅读, 0 推荐, 收藏,
摘要：1. 复制一个文件到另外一个文件中example1 文件中内容 ： test1example2 文件中内容 ： test2 复制example1 的内容到example2 中 cat example1 >> example2 结果:example2文件中的内容:test1test22. 查找文件例如查找文件c.c仅仅在当前目录下查找: find c.c当前目录以及当前目录下的目录递归查找 find . -name c.c3. 切换登陆用户su - {username} 例如：su - root 切换到root用户4. 查看PATH, CLASSPATHenv $PATH ... 阅读全文
浙公网安备 33010602011771号