摘要:
Sqlite 分页查询有张表为T_user; T_user 里面有二十条数据。id(1-20)sqlite 分页查询语句:查询前五条:select * from T_user limit 5 offset 0; 或者select * from T_user limit 0,5; 阅读全文
随笔档案-2013年04月
Hadoop JVM复用配置
2013-04-27 17:33 by java20130722, 267 阅读, 收藏,
摘要:
Hadoop默认为每个task(map task 或者 reduce task) 启动一个jvm。鉴于目前小文件过多的问题,设置了jvm复用,即一个job内,多个task共享jvm,避免多次启动jvm,浪费资源和时间。测试Job信息:map:4715个reduce:20个input: 34Goutput: 25G优化前:1464 s优化后:1375 sJob运行时间减少 6%CPU使用率情况:*注意: mapred.job.reuse.jvm.num.tasks这个参数是客户端参数,修改不需要重启tasktracker,可以在提交job的shell或者代码中设置。 阅读全文
hive一些参数
2013-04-27 15:37 by java20130722, 238 阅读, 收藏,
摘要:
Group ByMap 端部分聚合:并不是所有的聚合操作都需要在 Reduce 端完成,很多聚合操作都可以先在 Map 端进行部分聚合,最后在 Reduce 端得出最终结果。基于 Hash参数包括:hive.map.aggr = true是否在 Map 端进行聚合,默认为 Truehive.groupby.mapaggr.checkinterval = 100000在 Map 端进行聚合操作的条目数目有数据倾斜的时候进行负载均衡hive.groupby.skewindata = false当选项设定为 true,生成的查询计划会有两个 MR Job。第一个 MR Job 中,Map 的输出结果 阅读全文
关于几种压缩算法以及hadoop和hbase中的压缩配置说明
2013-04-27 15:15 by java20130722, 434 阅读, 收藏,
摘要:
Hadoop中常用的压缩算法有bzip2、gzip、lzo、snappy,其中lzo、snappy需要操作系统安装native库才可以支持下面这张表,是比较官方一点的统计,不同的场合用不同的压缩算法。bzip2和GZIP是比较消耗CPU的,压缩比最高,GZIP不能被分块并行的处理;Snappy和LZO差不多,稍微胜出一点,cpu消耗的比GZIP少。通常情况下,想在CPU和IO之间取得平衡的话,用Snappy和lzo比较常见一些。Comparison between compression algorithmsAlgorithm% remainingEncodingDecodingGZIP13. 阅读全文
从一个经典案例看优化mapred.map.tasks的重要性
2013-04-27 09:52 by java20130722, 541 阅读, 收藏,
摘要:
我所在公司所使用的生产Hive环境的几个参数配置如下:dfs.block.size=268435456hive.merge.mapredfiles=truehive.merge.mapfiles=truehive.merge.size.per.task=256000000mapred.map.tasks=2因为合并小文件默认为true,而dfs.block.size与hive.merge.size.per.task的搭配使得合并后的绝大部分文件都在300MB左右。CASE 1:现在我们假设有3个300MB大小的文件,那么goalsize = min(900MB/2,256MB) = 256MB 阅读全文
hiveQL 本地mapreduce
2013-04-26 15:42 by java20130722, 286 阅读, 收藏,
摘要:
如果在hive中运行的sql本身数据量很小,那么使用本地mr的效率要比分布式的快很多。。比如:Sql代码hive>select1fromdual;TotalMapReducejobs=1LaunchingJob1outof1Numberofreducetasksissetto0sincethere'snoreduceoperatorStartingJob=job_201208151631_2040444,TrackingURL=http://jt.dc.sh-wgq.sdo.com:50030/jobdetails.jsp?jobid=job_201208151631_20404 阅读全文
hive并行执行job
2013-04-26 15:10 by java20130722, 868 阅读, 收藏,
摘要:
用过oracle rac的应该都知道parallel的用途。并行执行的确可以大的加快任务的执行速率,但不会减少其占用的资源。在hive中也有并行执行的选项。set hive.exec.parallel=true; //打开任务并行执行set hive.exec.parallel.thread.number=16; //同一个sql允许最大并行度,默认为8。对于同一个SQL产生的JOB,如果不存在依赖的情况下,将会并行启动JOB,比如:Sql代码from(selectphone,to_phone,substr(to_phone,-1)askeyfromyouni_contact4_lxwwher 阅读全文
记录一下Hive中间和最终结果压缩
2013-04-26 15:08 by java20130722, 487 阅读, 收藏,
摘要:
中间Lzo,最终GzipJava代码setmapred.output.compress=true;setmapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;setmapred.output.compression.type=BLOCK;setmapred.compress.map.output=true;setmapred.map.output.compression.codec=org.apache.hadoop.io.compress.LzoCodec;sethive.exec.compress.o 阅读全文
map和reduce 个数的设定 (Hive优化)经典
2013-04-25 14:44 by java20130722, 357 阅读, 收藏,
摘要:
一、 控制hive任务中的map数:1. 通常情况下,作业会通过input的目录产生一个或者多个map任务。主要的决定因素有: input的文件总个数,input的文件大小,集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到,该参数不能自定义修改);2. 举例:a) 假设input目录下有1个文件a,大小为780M,那么hadoop会将该文件a分隔成7个块(6个128m的块和1个12m的块),从而产生7个map数b) 假设input目录下有3个文件a,b,c,大小分别为10m,20m,130m,那么hadoop会分隔成4个块(10m,20 阅读全文
Nutch 运行错误
2013-04-25 09:07 by java20130722, 124 阅读, 收藏,
摘要:
Exception in thread "main" java.io.IOException: Job failed! at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1252) at org.apache.nutch.crawl.Injector.inject(Injector.java:217) at org.apache.nutch.crawl.Crawl.main(Crawl.java:124) 解决办法:在cygwin中输入:export LANG="zh_CN.GBK" 阅读全文
Level List
2013-04-24 14:02 by java20130722, 200 阅读, 收藏,
摘要:
Level List用户管理图片需要相互切换显示。文件存放位置:res/drawable/语法: 用法:level_list_button_checkable.xml layout_level_list.xml: LevelListActivity.java:package com.hualu.animation.levellist; import com.hualu.animation.R; import android.app.Activity;
import android.os.Bundle;
import android.view.V... 阅读全文
android popup
2013-04-23 23:21 by java20130722, 376 阅读, 收藏,
摘要:
android popupandroid popup 有两种类型:1. popup window2. popup menuPOPUP WINDOWpopup window 和 popup menu 都是显示在其他的空间的上面(z轴)。下面举例实现的例子;例子:package com.hualu.popup; import java.util.ArrayList;
import java.util.List; import android.app.Activity;
import android.content.Context;
import android.content.Intent;
.. 阅读全文
[置顶] Clean Talk
2013-04-23 19:30 by java20130722, 167 阅读, 收藏,
摘要:
我一直很重视各种形式的演讲,因为演讲是非常好的锻炼思考、检验学习成果的机会。我也一直在思考怎么样能够讲的更好,怎么样能够用最短的语言表达想法。上周我讲pecha kucha,想通过对比用lisp和java实现链表翻转,说明编程语言会影响人的思考。下来以后,刘同学跟我说我没有讲清楚。我自己也不满意。但有一点我觉得自己做的比较好,我请人用mini把我讲的过程完整的录下来了。当我回去以后,我会分析我演讲存在的问题,像语言组织,手势动作,重点是否突出等等。看的时候,我自己都想把视频关了,觉得讲的真烂。回去的路上跟刘同学聊了很多,我给他推荐了大前研一的《思考的技术》,他给我推荐了《暗时间》。现在,我看了 阅读全文
Layer List
2013-04-23 13:26 by java20130722, 203 阅读, 收藏,
摘要:
Layer List管理一组drawable object, 最后一个在最上面。文件存放位置:res/drawable/filename.xml语法: 用法:bt_layer.xml 效果: 阅读全文
XML Bitmap
2013-04-23 13:00 by java20130722, 228 阅读, 收藏,
摘要:
XML BitmapXML Bitmap 是一个用XML定义的文件放在资源目录,定义的对象是图片,为bitmap定义别名,这个文件可以给bitmap定义一些额外的属性。例如:抖动。文件存放位置:res/drawable/filename.xml语法:
例子: 效果图:默认(@drawable/btn_default_pressed_holo_light):引用(@drawable/bm):从截图上就可以看出来差别。titileMode="repeat": 阅读全文
Resource-type-->Color State List Resource
2013-04-22 11:16 by java20130722, 169 阅读, 收藏,
摘要:
Color State List ResourceColorStateList可以用XML定义,并且可以用到View文字上。文件存放位置:res/color/filename.xml语法:
例子:定义,/res/color/button_text_color.xml
应用: 阅读全文
hadoop hdfs 上传下载文件
2013-04-22 11:02 by java20130722, 619 阅读, 收藏,
摘要:
上传文件:package uploadfile;import java.io.*;import java.net.URI;import java.util.Date;import org.apache.hadoop.fs.*;import org.apache.hadoop.io.IOUtils;import org.apache.hadoop.conf.Configuration;public class UploadFile { public static void main(String[] args) { try{ long begin = System.current... 阅读全文
Hadoop中自定义计数器
2013-04-22 11:01 by java20130722, 237 阅读, 收藏,
摘要:
一、环境1、hadoop 0.20.22、操作系统Linux二、背景1、最近写MR的代码,总在想统计一些错误的数据出现的次数,发现如果都写在reduce的输出里太难看了,所以想找办法专门输出一些统计数字。2、翻看《hadoop权威指南》第8章第1节的时候发现能够自定义计数器,但都是基于0.19版本写的,好多函数都不对,改动相对较大。3、基于上面2个理由,写个文档,记录一下。三、实现1、前提:写入一个文件,规范的是3个字段,“/t”划分,有2条异常,一条是2个字段,一条是4个字段,内容如下:jim 1 28 kate 0 26 tom 1 kaka ... 阅读全文
android 照相
2013-04-20 00:06 by java20130722, 187 阅读, 收藏,
摘要:
android 照相在android中,照相功能系统已经提供,在app中可以直接使用。当手机从android play里面下载有照相功能的应用时, 会判断手机是否支持。不支持,不给予下载。照相有几个步骤:1. 声明权限2. 使用Camera照相3. 显示图片1. 声明权限在manifest里面声明使用Camera:2. 使用Camera照相在Activity中,调用Camera应用private void dispatchTakePictureIntent(int actionCode) { Intent takePictureIntent = new Intent(MediaStor... 阅读全文
android xml 解析
2013-04-19 23:45 by java20130722, 152 阅读, 收藏,
摘要:
android xml 解析在android开发中,经常用到去解析xml文件,常见的解析xml的方式有一下三种:SAX、Pull、Dom解析方式。SAX特点:解析方式是一种基于事件驱动的,消耗的内存少Pull特点:解析方式是一种基于事件驱动的,消耗的内存少,在android系统内部的xml解析都是用这种方式Dom特点:dom是把全部文件读入到内存中,这种方式很消耗内存,对于内存资源本来就很少的android手机,这种 方式不太建议使用。个人建议: SAX和pull都比较适合mobile,Dom适合服务器解析,随着mobile手机的内存增加,Dom也许可以使用。SAX解析例子:XML: roo. 阅读全文
Wine QQ 最新解决方案:WineQQ2012 Beta2
2013-04-19 18:16 by java20130722, 174 阅读, 收藏,
摘要:
转自:http://www.longene.org/forum/viewtopic.php?f=6&t=4700 和 http://www.lupaworld.com/article-218727-1.html,必须致敬WineQQ 最新解决方案:WineQQ2012 Beta2 摘要: 在腾讯一天不发布新的可用的QQ for Linux 前,Linuxer 对QQ 在Linux 下的挣扎与尝试都不会放弃。继DeepWine计划的WineTMQQ2009后,又一稳定好用的Wine QQ 方案诞生,来自龙井Longene 论坛的wine qq 2012 for linux U ...在腾 阅读全文
hive文件存储格式
2013-04-19 15:45 by java20130722, 253 阅读, 收藏,
摘要:
hive在建表是,可以通过‘STORED AS FILE_FORMAT’ 指定存储文件格式例如:[plain] view plaincopy>CREATEEXTERNALTABLEMYTEST(numINT,nameSTRING)>ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t'>STOREDASTEXTFILE>LOCATION'/data/test';指定文件存储格式为“TEXTFILE”。hive文件存储格式包括以下几类:TEXTFILESEQUENCEFILERCFILE自定义格式TEXTFIEL默 阅读全文
涉密科研项目参研学生管理信息系统分析与设计
2013-04-18 21:13 by java20130722, 129 阅读, 收藏,
摘要:
《涉密科研项目参研学生管理信息系统分析与设计》程序代写,但是不用什么文件加密,其实就是学生做科研项目一些的操作和信息的查询,分为管理员和学生两个角色,管理员可以对学生的基本信息进行增删改,可以记录每次学生做保密培训的的记录,可以对学生的脱密申请进行审核(是or否),还有一些查询功能;学生可以添加自己的项目进程,可以上传自己的论文,可以提出脱密申请。这是主要的一些流程:对于在校涉密学生要进行一系列的... 阅读全文
yum 安装使用 mysql
2013-04-18 18:06 by java20130722, 142 阅读, 收藏,
摘要:
设置好/etc/yum.conf (需要设置代理的完成这里的设置) proxy=http://IP:端口 proxy_username=XXXX proxy_password=1987@qwe开始安装:[root@sample ~]# yum -y install mysql-server ← 安装MySQL[root@sample ~]# yum -y install php-mysql ← 安装php-mysql配置MySQL[root@sample ~]#vim /etc/my.cnf ← 编辑MySQL的配置文件[mysqld]datadir=/var/lib/mysqlso... 阅读全文
设计模式-适配器模式(adapter)
2013-04-18 13:49 by java20130722, 210 阅读, 收藏,
摘要:
设计模式-适配器模式(adapter)适配器模式定义 将两个不兼容的类合在一起使用,属于结构型模式,需要有Adaptee(被适配者)和Adapter(适配器)两个身份。为何使用适配器模式 经常碰到要将两个没有关系的类组合在一起使用,第一解决方案是:修改各自类的接口,但是我们没有代码,或者不愿意为一个应用修改各自的接口。那么这种Case下,Adapter可以很好的解决这个问题。使用这两个接口的合体。如何使用适配器模式 适配器模式有类的适配器模式和对象的适配器模式两种不同的形式。 对象的适配器模式:结构图:上图中Adaptee中没有sampleOperation2()这个方法,然而... 阅读全文
hadoop eclipse 运行报错
2013-04-18 11:40 by java20130722, 489 阅读, 收藏,
摘要:
最近安装了hadoop的0.20.2 版本,然后再eclipse中安装了 对应的插件,在运行 示例中的 程序 WordCount.java 的时候,出现了很多错误:1. 配置连接的 hadoop Location name(取个名字) Map/Reduce Master(Job Tracker的IP和端口,根据mapred-site.xml中配置的mapred.job.tracker来填写) DFS Master(Name Node的IP和端口,根据core-site.xml中配置的fs.default.name来填写)2. 首次运行报错: 2010-07-17 16:56:14,968 WA 阅读全文
在eclipse中配置hadoop插件
2013-04-17 18:32 by java20130722, 173 阅读, 收藏,
摘要:
1.安装插件准备程序:eclipse-3.3.2(这个版本的插件只能用这个版本的eclipse)hadoop-0.20.2-eclipse-plugin.jar (在hadoop-0.20.2/contrib/eclipse-plugin目录下)将hadoop-0.20.2-eclipse-plugin.jar 复制到eclipse/plugins目录下,重启eclipse。2.打开MapReduce视图Window -> Open Perspective -> Other 选择Map/Reduce,图标是个蓝色的象。3.添加一个MapReduce环境在eclipse下端,控制台旁 阅读全文
Win下Eclipse提交hadoop程序出错:org.apache.hadoop.security.AccessControlException: Permission denied: user=D
2013-04-17 16:59 by java20130722, 143 阅读, 收藏,
摘要:
描述:在window下使用Eclipse进行hadoop的程序编写,然后Run on hadoop 后,出现如下错误:11/10/28 16:05:53 INFO mapred.JobClient: Running job: job_201110281103_000311/10/28 16:05:54 INFO mapred.JobClient: map 0% reduce 0%11/10/28 16:06:05 INFO mapred.JobClient: Task Id : attempt_201110281103_0003_m_000002_0, Status : FAILEDorg.a 阅读全文
android 输入框自动匹配-AutoCompleteTextView
2013-04-17 16:46 by java20130722, 305 阅读, 收藏,
摘要:
android 输入框自动匹配-AutoCompleteTextView封装自动适配的adapter可以监听,并且可以监听自动匹配输入框的输入事件。package com; import java.util.List; import android.app.Activity;
import android.text.Editable;
import android.text.TextUtils;
import android.text.TextWatcher;
import android.view.View;
import android.view.View.OnClickListene.. 阅读全文
SimpleDateFormat 日期格式化
2013-04-17 14:09 by java20130722, 147 阅读, 收藏,
摘要:
SimpleDateFormat 日期格式化SimpleDateFormat format = new SimpleDateFormat("yyyyMMdd") ; String s = format.format(new Date()) ; System.out.println(s); format = new SimpleDateFormat("yyyy-MM-dd'T'HH:mm:ss.SSSZ") ; System.out.println(format.format(new Date()));在Android中都是可以运行的。 阅读全文
设计模式-builder(构造器模式)
2013-04-16 21:54 by java20130722, 335 阅读, 收藏,
摘要:
设计模式-builder(构造器模式)Bilder模式定义: 将一个复杂对象的构建和表示分离,是同样的创建构建过程可以创造不同的表示。 Builder模式是一步一步创建一个复杂的对象,它允许用户可以只通过指定复杂对象的类型和内容就可以构建它们。用用不知道内部的具体构建细节。Builder模式是非常类似抽象工厂模式,细微的区别大概只是在反复使用中才能体会到。为何使用建造者模式 是为了将复杂对象的构建过程与它的部件分离。注意: 是解耦过程和部件。 因为一个复杂的对象,不但有很多大量组成部分。例如汽车,有很多部件:车轮、方向盘、发动机,还有各种小零件等等,部件很多,但远不止这些,如何将这些部... 阅读全文
Hadoop源码 – ipc.Server
2013-04-16 18:15 by java20130722, 298 阅读, 收藏,
摘要:
1、前言昨天分析了ipc包下的RPC、Client类,今天来分析下ipc.Server。Server类因为是Hadoop自己使用,所以代码结构以及流程都很清晰,可以清楚的看到实例化、停止、运行等过程。2、Server类结构上面是Server的五个内部类,分别介绍一下:1)Call用以存储客户端发来的请求,这个请求会放入一个BlockQueue中;2)Listener监听类,用以监听客户端发来的请求。同时Listener下面还有一个静态类,Listener.Reader,当监听器监听到用户请求,便用让Reader读取用户请求。3)Responder响应RPC请求类,请求处理完毕,由Respond 阅读全文
phpHiveAdmin 软件开发和知识整理 (hive 读取后台log)
2013-04-15 14:44 by java20130722, 388 阅读, 收藏,
摘要:
访问Hive接口有thrift,这没有太多可说的,只要调用封装好的方法就行了。之前因为Socket的阻塞问题,经常会发生Hive接口读取超时,修改一下Thrift里面的TSocket.php就好了。修改方法参看之前的php开发Hive web查询,跟网上的其他相关文章还是略有区别。数据库的管理方面主要就是获取网页变量,然后拼sql字符串,这好像也没啥可讲的。多看Hive手册就会了。核心内容是查询部分,这个是比较有趣的地方,最早的一版查询是完全用thrift完成的,查询特别慢不说,关键是没有进度返回,而且如果中间关闭窗口就彻底找不到任务了。当时十分羡慕淘宝的Hive界面,有map/reduce进 阅读全文
Android BroadcastReceiver(一)
2013-04-15 11:36 by java20130722, 163 阅读, 收藏,
摘要:
Android BroadcastReceiver介绍: broadcastReceiver是android的四大组件之一,大部分的广播是系统发出来的。例如,屏幕关闭,电池电量不足等等。应用同样可以创建广播,例如:当下载完成的时候,要让其他的应用知道这个情况,需要用到broadcastreceiver,receiver没有界面,它可能会创建一个status bar notification通知用户。broadcastreceiver 只是会做一些非常小的工作,例如,它可以出发一个service工作。基类的代码会收到sendBroadcast()发送过来的Intents.如果不需要在应用之间发送 阅读全文
[置顶] 前辈的问
2013-04-14 12:38 by java20130722, 164 阅读, 收藏,
摘要:
昨天参加公司的培训,中间有一轮做pecha kucha。中间有一个环节让我很难忘,也是昨天我觉得收获最多的一个地方。有一个同学讲的是她自己的一个会议上发表的文章。是基站在不同的负载情况下,利用一个switch选择不同功率,从而节省能耗。也许是沉醉于这个同学流利的英语,讲完的时候,大家都没有什么特别的反映。大熊发问了。说:“这个东西能够产生多大的价值?”同学:“我们这个还是只属于理论研究”这个时候,我还觉得大熊似乎有点儿苛刻了。大熊又问:“你知不知道中国移动有多少基站?一共消耗多少千瓦时电能?”同学:“我不知道总共消耗多少,但是我知道单个消耗多少,从仿真看,我们能够节约25%的能耗。”大熊说:“ 阅读全文
android AsynTask 实现原理
2013-04-13 13:38 by java20130722, 269 阅读, 收藏,
摘要:
android AsynTask 实现原理android asynTask 是借助thread和handler一起结合起来实现的。从其他的Thread操作UI thread 中的view要借组Handler,asynTask封装了这部分的实现,通过ThreadPool实现,doInBackground()方法是在其他的线程中运行,onPreExecute()、onProgressUpdate(...)和onPostExecute(...)都是运行的UI主线程中,onPreExecute()和其他两个方法还是有点区别的,它是直接在UI thread 里面运行的,而其他的两个方法是AsynTask 阅读全文
android-AsynTask
2013-04-12 00:16 by java20130722, 211 阅读, 收藏,
摘要:
AsynTaskAsyncTask的特点是任务在主线程之外运行,而回调方法是在主线程中执行, 这就有效地避免了使用Handler带来的麻烦。AsyncTask是使用java.util.concurrent框架来管理线程以及任务的执行的,concurrent框架是一个非常成熟,高效的框架,经过了严格的测试。当应用中会有网络请求,并且需要把结果信息更新到UI上, 那么可以选择AsynTask.下面举个简单实例,说明AsynTask 里面的每个方法的使用,和具体的调用过程;package com.hualu.asyntaskexample; import java.net.URL; import.. 阅读全文
cloudera cdh4 环境搭建
2013-04-11 16:15 by java20130722, 232 阅读, 收藏,
摘要:
最近cloudera hue 环境没有搭建成功,于是开始着手于cloudera 整套环境的搭建,发现网上也有一些文章,于是借鉴了一些,开始自己着手安装:1. 安装cloudera manager cloudera manager 可以通过它来安装cloudera 整个环境,于是先安装 cloudera manager 准备安装环境: 系统:centos 6.3 64位 安装:jdk 配置好网络代理和yum代理 (这里是公司环境需要代理上网) 最好在/etc/yum.conf增加timeout时间,timeout=55555 关闭防火墙service iptables stop关闭selinu. 阅读全文
vCenter 或者 vmwareworkstation 虚拟机 安装vmware tools
2013-04-11 15:59 by java20130722, 464 阅读, 收藏,
摘要:
最近由于公司需要搭建 hadoop 环境,所以在创建了好多虚拟机:公司环境:虚拟化软件 vmware vSphere5于是开始安装,在vCenter 中安装了3台虚拟机,其中有一个安装的是centos minimal其他的安装vmwar tools 都是直接界面安装还是挺省事的:1. 点击安装 vmware tools 2. 去界面中会有相应的东西弹出,然后解压到指定的文件夹3. 进入解压文件夹然后直接运行 ./vmware-config-tools.pl 一路一直点回车 输入yes 或者 no 就可以了在centos minimal 这个系统中发现,在vCenter 中选择安装 vmwar. 阅读全文
cloudera cdh4 hue 安装
2013-04-11 15:35 by java20130722, 603 阅读, 收藏,
摘要:
最近公司想用hue 环境,自己直接搭建的hue环境需要各种hadoop,hive配置连接,到最后也没有配置成功hive,hue安装准备 :CentOS:antasciidoccyrus-sasl-develcyrus-sasl-gssapigccgcc-c++krb5-devellibtidy (for unit tests only)libxml2-devellibxslt-develmvn (frommaven2package or tarball)mysqlmysql-developenldap-develpython-develpython-simplejsonsqlite-devel 阅读全文
Linux下查看文件和文件夹大小的df和du命令
2013-04-11 15:03 by java20130722, 339 阅读, 收藏,
摘要:
df可以查看一级文件夹大小、使用比例、档案系统及其挂入点,但对文件却无能为力。du可以查看文件及文件夹的大小。命令: df -h参数 -h 表示使用[Human-readable]的输出在这里也就是是用GB,MB的容易识别的格式描述档案大小。命令:du -h --max-depth 1 bin/Mdroid参数--max-depth 表示深入目录的层数bin/Mdroid 表示目录上面命令的意思是: 表示列出bin/Mdroid这个目下的文件夹的大小以及当前文件夹的大小。du 统计文件大小相加df 统计数据块使用情况当文件或者文件夹正被进程使用的时候,文件的大小不会被统计到;这种情况du在进程 阅读全文
centos 6.3 修改默认的系统语言
2013-04-11 14:46 by java20130722, 284 阅读, 收藏,
摘要:
最近在安装cloudera cdh4 环境,于是安装了centos 6.3 64位的系统,在vCenter 中安装可以选择默认安装语言,在workstation9 中安装则无法选择安装语言,默认安装成了英文,结果就想改成中文,于是在网上开始了寻找方法:修改/etc/sysconfig/i18n中LANG="zh_CN.UTF-8" 为中文,LANG="en_US.UTF-8"为英文然后重启系统,但是发现我本地虚拟机上没有反应,执行 export 发现没有LANG 变量,才发现 GDM_LANG="en_US.UTF-8"于是找到/et 阅读全文
编译android源码四(常见错误)
2013-04-11 13:13 by java20130722, 334 阅读, 收藏,
摘要:
运行如下命令:$ emulator1.错误信息: emulator: WARNING: system partition size adjusted to match image file(205 MB > 200 MB)解决方法:emulator -partition-size 3002. 错误信息: SDL init failure, reason is: No available video device2.1 安装libsdl1.2debian:i386.I added the sitehttp://archive.canonical.com/to the list of rep 阅读全文
设计模式-Observer(观察者模式)
2013-04-10 15:43 by java20130722, 277 阅读, 收藏,
摘要:
设计模式-Observer(观察者模式)Observer模式应该可以说是应用最多、影响最广的模式之一,因为Observer的一个实例Model/View/Control(MVC)结构在系统开发架构设计中有着很重要的地位和意义,MVC实现了业务逻辑和表示层的解耦。个人也认为Observer模式是软件开发过程中必须要掌握和使用的模式之一。在MFC中,Doc/View(文档视图结构)提供了实现MVC的框架结构(有一个从设计模式(Observer模式)的角度分析分析Doc/View的文章正在进一步的撰写当中,遗憾的是时间:))。在Java阵容中,Struts则提供和MFC中Doc/View结构类似的实 阅读全文
编译android源码三(编译系统)
2013-04-10 12:57 by java20130722, 232 阅读, 收藏,
摘要:
编译android源码三(编译系统)1. 初始化初始化环境$ source build/envsetup.sh or $ . build/envsetup.sh2.选择目标$ lunch full-eng3. 编译代码$ make -j44. 运行运行模拟器$ emulator 阅读全文
ubuntu 批量替换
2013-04-10 00:01 by java20130722, 338 阅读, 收藏,
摘要:
ubuntu 批量替换在~/test/test 文件里面有把这个文件里面的 替换成daniel命令1:perl -pi -e 's||daniel|g' `find ./ -type f` -pi -e 参数 's||daniel|g' 将 替换成 daniel `find ./ -type f` 此命令是显示当前目录下所有的文件命令2:sed -i "s//daniel/g" `grep -rl ./` -i 参数 "s//daniel/g" 将 替换成 daniel `grep -rl ./` grep---UNIX工 阅读全文
编译android源码二(下载源代码)
2013-04-09 19:26 by java20130722, 164 阅读, 收藏,
摘要:
下载源代码1.配置Repo1)在用户目录下创建bin目录$ mkdir ~/bin
$ PATH=~/bin:$PATH2)下载Repo script 和保证可执行$ curl https://dl-ssl.google.com/dl/googlesource/git-repo/repo > ~/bin/repo
$ chmod a+x ~/bin/repo2. 初始化Repo1)创建一个空文件,存放源文件$ mkdir Mdroid
$ cd Mdroid2)运行repo init 下载源代码$ repo init -u https://android.googlesource.com 阅读全文
编译android源码一(设置环境)
2013-04-09 18:54 by java20130722, 224 阅读, 收藏,
摘要:
环境信息:Ubuntu:v 12.04 Vmware 6.7具体步骤:1 .初始化编译环境 设置编译环境:安装Python 2.6 -- 2.7 命令:sudo apt-get install python-setuptools 参考:http://pymcu.com/Installation.html#LinInstall 安装成功验证命令: python --version安装GNU Make 3.81 -- 3.82 命令:sudo apt-get install build-essential 参考:https:/... 阅读全文
Ubuntu 下JDK安装
2013-04-09 15:27 by java20130722, 100 阅读, 收藏,
摘要:
1. 从oracle 官网上下载JDK *.bin结尾的安装文件 note:如果是从windows上下载, 可以通过SSH客户端把文件传送的Ubuntu里面2. 将*.bin 文件拷贝到安装目录 本人是安装在/usr/bin/jvm目录 开始*.bin文件在~/Download目录 1)在/usr/bin目录下创建jvm目录 2)将*.bin 文件复制到/usr/bin/jvm命令:mv ~/Download/*.bin /usr/bin/jvm3) 解压当前文件到当前目录命令: sh *.bin4) 更改解压后的文件名命令:mv jdk6*** jdk为了配置环境变量的时候方便。 配... 阅读全文
ubuntu在图形界面下打开一个终端
2013-04-09 06:38 by java20130722, 189 阅读, 收藏,
摘要:
ubuntu v-12.04在图形界面下打开一个终端命令: Ctrl – Alt – T 阅读全文
Linux 安装SSH服务
2013-04-08 18:34 by java20130722, 134 阅读, 收藏,
摘要:
安装SSH服务,方便在window上通过Secure Shell Client 连接Linux。命令: sudo apt-get install openssh-server启动服务: /etc/init.d/ssh restart 阅读全文
Service bound(三)
2013-04-08 17:58 by java20130722, 201 阅读, 收藏,
摘要:
service 绑定有三种实现方式:1. 直接继承Binder类实现。 条件: 同一应用,同一进程2. 使用Messenger实现。 条件:要在不同的进程间通信,这种方式不用考虑线程安全性。(单线程操作时使用)3. 使用AIDL实现。 条件:要在不同的进程间通信,并且需要多线程处理。要考虑线程之间的安全性。使用AIDL实现:三大基本步骤创建.aidl文件实现接口公开接口创建.aidl文件方法定义有0个或者多个参数,可以返回一个值或者是void.方法中不是基本类型的参数,需要在方法参数前面加入in , out or inout包含在.aidl中所有的注释在IBinder接口中都会生成... 阅读全文
移动应用开发原则
2013-04-08 14:23 by java20130722, 121 阅读, 收藏,
摘要:
开发关注优先级:1. 用户体验(User experience)2. 代码维护性(codemaintainability)3. 代码优化(code optimization) 阅读全文
Android Interface Definition Language (AIDL)
2013-04-08 11:11 by java20130722, 286 阅读, 收藏,
摘要:
Android Interface Definition Language (AIDL)IN THIS DOCUMENTDefining an AIDL InterfaceCreate the .aidl fileImplement the interfaceExpose the interface to clientsPassing Objects over IPCCalling an IPC MethodSEE ALSOBound ServicesAIDL (Android Interface Definition Language) 与其他的接口定义语言相似。定义这个接口,client 阅读全文
组合,聚合,关联,依赖 的区别
2013-04-07 15:45 by java20130722, 526 阅读, 收藏,
摘要:
组合,聚合,关联,依赖 的区别依赖与关联依赖(Dependency) :含义:是类与类之间的连接,表示一个类依赖于另外一个类的定义;依赖关系仅仅描述了类与类之间的一种使用与被使用的关系;体现:在Java和C++中体现为局部变量、方法/函数的参数或者是对静态方法的调用;举例:人依赖于水和空气;汽车依赖汽油;UML图表示的依赖关系:依赖:比如说我要过河,没有桥怎么办,我就去借来一条小船渡过去。我与小船的关系仅仅是使用(借用)的关系。表现在代码上,为依赖的类的某个方法以被依赖的类作为其参数。或者是class A 的某个方法创造了 class B 的实例抑或对class B的静态方法的调用。如果A依赖 阅读全文
JDK中设计模式
2013-04-07 07:44 by java20130722, 163 阅读, 收藏,
摘要:
原文:http://blog.csdn.net/gtuu0123/article/details/6114197本文主要是归纳了JDK中所包含的设计模式,包括作用和其设计类图。首先来个总结,具体的某个模式可以一个一个慢慢写,希望能对研究JDK和设计模式有所帮助。一、设计模式是什么(1)反复出现问题的解决方案(2)增强软件的灵活性(3)适应软件不断变化二、学习JDK中设计模式的好处(1)借鉴优秀代码的设计,有助于提高代码设计能力(2)JDK的设计中体现了大多数设计模式,是学习设计模式的较好的方式(3)可以更加深入的了解JDK三、类间关系继承、委托、依赖、聚合、组合四、介绍方式(1)作用:归纳某设 阅读全文
[置顶] 屠夫与大夫
2013-04-06 18:39 by java20130722, 202 阅读, 收藏,
摘要:
一个刚做了爸爸的屠夫气愤地说。“简直是疯了!加上产科医生的诊费、住院费和护理费,这个孩子竟然要800块钱1公斤!”可能很多人看到这个笑话时,都在哈哈大笑,嘲笑屠夫的职业病。但是又有多少程序员想过我们自己或许正在做和这个屠夫相同的事呢?屠夫每天拿着一把大刀剁肉,心中就只有刀。我们每天拿个xxyy的编程语言写程序,是不是我们心中就只有xxyy了呢?我们的思维会不会被xxyy所奴获了呢?现在不少的公司使用考一些比较古怪的语法来测试应聘者是否对某种编程语言足够熟悉。似乎招聘方和应聘者都以此为乐,市面上类似的书籍也层出不穷。但是,我们使用编程语言,是希望能够用编程语言清楚的反映我们想要做到的事情,让他乖 阅读全文
service bound(二)
2013-04-06 16:32 by java20130722, 197 阅读, 收藏,
摘要:
service bound(二)service 绑定有三种实现方式:1. 直接继承Binder类实现。 条件: 同一应用,同一进程2. 使用Messenger实现。 条件:要在不同的进程间通信,这种方式不用考虑线程安全性。(单线程操作时使用)3. 使用AIDL实现。 条件:要在不同的进程间通信,并且需要多线程处理。要考虑线程之间的安全性。通过Messenger实现bound service。实现步骤:service 要实现Handler,service通过Handler可以得到客户端的调用请求。Handler用于创建Messenger对象。Messenger创建一个IBinder,... 阅读全文
service bound(一)
2013-04-06 15:50 by java20130722, 144 阅读, 收藏,
摘要:
Service bound 一service 绑定有三种实现方式:1. 直接继承Binder类实现。 条件: 同一应用,同一进程2. 使用Messenger实现。 条件:要在不同的进程间通信,这种方式不用考虑线程安全性。(单线程操作时使用)3. 使用AIDL实现。 条件:要在不同的进程间通信,并且需要多线程处理。要考虑线程之间的安全性。下面是继承Binder类实现的例子;具体步骤:在service中创建Binder实例onBind() 返回Binder实例在client,实现ConnectionService类,获取Binder 对象。---创建在service中创建Binder实... 阅读全文
android - 绑定服务(bound services)
2013-04-05 17:08 by java20130722, 629 阅读, 收藏,
摘要:
Bound Services(绑定服务)绑定服务是有一个接口可以在客户端和服务端之间帮助通信服务。绑定服务允许组件(比如activities)绑定它,组件可以发送请求,收到响应,并且可以与service在进程之间通讯。一个绑定服务通常的生命周期与它服务于的其他应用程序组件一同存在,不会在后台一直运行下去。这个文档告诉你如何去创建一个绑定服务,包括如何绑定服务。The Basics绑定服务是允许其他的组件绑定它,并与它进行交互。让一个service有绑定功能,就必须实现onBind()方法,这个方法返回IBinder 对象,这个IBinder对象定义了客户端如何与服务端通信。Binding to 阅读全文
Bitmap 存到文件中
2013-04-03 15:34 by java20130722, 482 阅读, 收藏,
摘要:
将一个Bitmap 的内容存到file中//create a file to write bitmap data
File f = File(context.getCacheDir(), filename);
f.createNewFile(); //Convert bitmap to byte array
Bitmap bitmap = your bitmap;
ByteArrayOutputStream bos = new ByteArrayOutputStream();
bitmap.compress(CompressFormat.PNG, 0 /*ignored for PNG*/,. 阅读全文
android nfc 开发
2013-04-03 13:49 by java20130722, 456 阅读, 收藏,
摘要:
Android NFC1. 确认nfc是否可用NfcManager manager = (NfcManager) Context.getSystemService(Context.NFC_SERVICE); NfcAdapter adapter = manager.getDefaultAdapter(); if (adapter != null && adapter.isEnabled()) { // adapter exists and is enabled. System.out.println("can"); }else{ System.out.pri 阅读全文
android Services(服务)
2013-04-02 16:31 by java20130722, 546 阅读, 收藏,
摘要:
Service 是应用组件,能够在后台长时间运行,而且没有界面。其他的应用组件能够启动service和它能继续在后台运行,即使用户切换到其他的应用。此外,component 能够与service绑定,并且与service进行交互,甚至是在进程间通信。例如,service可能处理网络事务,播放音乐,处理文件,或者是与content provider 交互,这些操作都是在后天做的。Service 基本上有两种形式:Started当应用中的组建通过调用startService()方法启动service,Service 处于启动做状态. Service 启动后, 它可以无限期的在后台运行,即使启动它的 阅读全文
linux下python安装
2013-04-02 14:54 by java20130722, 191 阅读, 收藏,
摘要:
1.下载源代码http://www.python.org/ftp/python/2.5.2/Python-2.5.2.tar.bz22.安装 $ tar –jxvf Python-2.5.2.tar.bz2 $ cd Python-2.5.2 $ ./configure $ make $ make install3. 测试 在命令行下输入python,出现python解释器即表示已经正确安装。在suse10或rhel5(es5)下系统默认已经装了python但版本是2.4.x;本次安装后在shell中输入#python会发现显示结果:# pythonPython 2.4... 阅读全文
设计模式-单例模式(singleton)
2013-04-02 07:58 by java20130722, 160 阅读, 收藏,
摘要:
设计模式-单例模式(singleton)Singleton模式是设计模式中最为简单、最为常见、最容易实现,也是最应该熟悉和掌握的模式。且不说公司企业在招聘的时候为了考察员工对设计的了解和把握,考的最多的就是Singleton模式。模式结构图:Singleton模式典型的结构图为: 在Singleton模式的结构图中可以看到,我们通过维护一个static的成员变量来记录这个唯一的对象实例。通过提供一个staitc的接口instance来获得这个唯一的实例。实现:SingletonTest: 实现3实现单例package com.designpatten.singleton; public... 阅读全文
hadoop SecondaryNameNode和NameNode
2013-04-02 02:34 by java20130722, 151 阅读, 收藏,
摘要:
1.概述光从字面上来理解,很容易让一些初学者先入为主的认为:SecondaryNameNode(snn)就是NameNode(nn)的热备进程。其实不是。snn是HDFS架构中的一个组成部分,但是经常由于名字而被人误解它真正的用途,其实它真正的用途,是用来保存namenode中对HDFS metadata的信息的备份,并减少namenode重启的时间。对于hadoop进程中 ,要配置好并正确的使用 snn,还是需要做一些工作的。hadoop的默认配置中让snn进程默认运行在了namenode的那台机器上,但是这样的话,如果这台机器出错,宕机,对恢复HDFS文件系统是很大的灾难,更好的方式是:将 阅读全文
hadoop启动和运行中的error总结和处理方法
2013-04-02 02:15 by java20130722, 595 阅读, 收藏,
摘要:
错误一:2010-11-09 16:59:07,307 INFO org.apache.hadoop.ipc.Server: Error register getProtocolVersionjava.lang.IllegalArgumentException: Duplicate metricsName:getProtocolVersionat org.apache.hadoop.metrics.util.MetricsRegistry.add(MetricsRegistry.java:53)at org.apache.hadoop.metrics.util.MetricsTimeVaryi 阅读全文
photoshop 基本操作
2013-04-01 22:55 by java20130722, 240 阅读, 收藏,
摘要:
1. 快速填充画板颜色 Alt+Backspace,Alt+Delete是填充前景色的。 ctrl+Backspace,ctrl+Delete是填充背景色的。2. 显示和隐藏键盘标尺 ctrl + r3. 新建一个图层和删除图层 新建一个图层:ctrl+shift+n; 会有对话框ctrl+shift+alt+n; 没有对话框 删除图层:Delete4.删除选区里的东西 Delete,要保证是当前图层 阅读全文
hue 安装 + authrization manager安装
2013-04-01 09:39 by java20130722, 425 阅读, 收藏,
摘要:
hue安装一,下载相应的hue版本包http://archive.cloudera.com/cdh/3/二,解压 自动到/usr/local下三,安装预备软件确定所有需要的工具都已经被安装成功,否则下面的make install无法进行:RedhatDebianGccGcclibxml2-devellibxml2-devlibxslt-devellibxslt-devcyrus-sasl-devellibsasl2-devmysql-devellibmysqlclient-devpython-develpython-devpython-setuptoolspython-setuptoolspy 阅读全文