07 2012 档案

[转]如何处理海量数据
摘要：本文转自：http://www.cnblogs.com/lovexinsky/archive/2012/03/09/2387583.html在实际的工作环境下，许多人会遇到海量数据这个复杂而艰巨的问题，它的主要难点有以下几个方面：一、数据量过大，数据中什么情况都可能存在。如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，尤其海量的数据中，什么情况都可能存在，例如，数据中某处格式出了问题，尤其在程序处理时，前面还能正常处理，突然到了某个地方问题出现了，程序终止了。二、软硬件要求 阅读全文
posted @ 2012-07-31 19:52 Jack204 阅读(588) 评论(0) 推荐(0)
去百度工作应该准备的
摘要：1 算法导论------中午看mit的视频，把对算法的理解加深一些2 编程之美------再看一遍，理解后，自己写出代码3 百度等各大公司的笔经，面经------查漏补缺4 自己所做的项目的相关知识------分块系统整理，理清思路5 代码感觉不能丢-------继续看mysql代码，先去看innodb死锁那一部分喽。不能一天全看算法吧？看烦了的话，找点 Software Architecutre in Practice<神书>继续学习。:)-------------------------------------------中午可以从头再开始看一遍 搜狐公开课《博弈论》《心理学导 阅读全文
posted @ 2012-07-30 10:15 Jack204 阅读(252) 评论(0) 推荐(0)
十道海量数据处理面试题与十个方法大总结
摘要：第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采用hash_map进行频率统计，然后再找出频率最大的几个）及相应的频率。然后再在这1000个最大的IP中，找出那个频率最大的IP，即为所求。或者如下阐述（雪域之鹰）：算法思想：分而治之+Hash1.IP地址最多有2^32=4G种取值情况，所以不能完全加载到内存中处理；2.可 阅读全文
posted @ 2012-07-30 09:50 Jack204 阅读(427) 评论(0) 推荐(0)
[转自360kr]如何才能进入Facebook工作？公司内部工程师告诉你
摘要：下面这些就是Facebook对理想应聘者的期望…在道出面试官期望或亲睐的一系列优点之前，Bueno就先指出了这样一条提醒：“这些优点并不是我们所寻求的全部，也不是我们关心的全部内容。但是它们确实会影响面试官们最终做出的决定。”文化融合是关键Facebook 希望应聘者有理解和解释一些复杂观点的能力。同大多数公司一样，Facebook希望应聘者对工作充满热情、好奇心和动力。Bueno指 出，“Facebook有着一个很极端的用户工程师之间的比例，并且一周5天都要反馈代码。”Facebook希望接收那些能够带来巨大影响，行动迅速、 果断，并且清楚理解他们所做工作的人。Facebook需要能够迅速适 阅读全文
posted @ 2012-07-23 13:18 Jack204 阅读(1224) 评论(0) 推荐(0)
写《一摞烙饼的排序》的代码关于架构有感
摘要：怎么说呢？先说下最近对Arch的理解。Architecture在代码的世界里无时无刻不存在，看你怎么去看待这个问题了。因为Architect包括的东西实在太多了，我一时能想起来的：程序的需求分析，程序的静态图，动态图（包括模块运行间交互接口、交互限制，多进程之间交互，与用户的交互），Arch的文档化（包括给User的文档，给经理的文档，给developer的文档，给测试工程师的文档等等），程序对资源使用的限制。还有非常非常多，这都需要在进行开发前设计Arch的时候考虑到设计的Arch中去。++++++++++++++++++++++++++++++++++++++++++++++++++就像我 阅读全文
posted @ 2012-07-22 22:32 Jack204 阅读(389) 评论(0) 推荐(0)
struct的位域操作
摘要：1 #include "stdio.h" 2 3 struct { 4 unsigned char a:3; 5 unsigned char b:3; unsigned char c:4;　6 }i;7 8 int main() 9 { 10 i.a ... 阅读全文
posted @ 2012-07-22 12:27 Jack204 阅读(1620) 评论(0) 推荐(1)
软件开发工程师技术能力层次模型
摘要：转载于[http://yunli.blog.51cto.com/831344/760936],作者：李云老师下图是根据我的经验所得到的软件开发工程师技术能力层次模型。在这个模型中，你属于哪一个层次？你的心中也有类似的模型吗？推荐阅读《高质高效软件开发组织能力模型》、《出色技术团队的关键要素》。 阅读全文
posted @ 2012-07-21 23:26 Jack204 阅读(763) 评论(0) 推荐(0)
工作学习中必须改进的问题
摘要：最近工作中老是犯一些错误，包括：1 做事不严谨。2 工作少了就开始磨洋工。就像李云老师说的，高效的完成工作对我们来说意味着什么？意味着可以节约下时间去学习。对于1 2的改进方法是：1 做事情之前，从一个out of box的方式去思考问题，找出解决问题的模型，尽量让这个模型保证自己做事的严谨性。当然自己也要细心。2 有了工作之后，制定出高效的工作计划。集中时间高效的完成工作（甚至可以带着耳机）。++++++++++++++++++++++++++++++++++++++++++++++++++++自己学习某种知识的方法：1 自己找到资料，主动去学习；有什么问题再去请教别人；不要问愚蠢的问题。 阅读全文
posted @ 2012-07-21 00:17 Jack204 阅读(419) 评论(0) 推荐(0)
致IT同仁 — IT人士常犯的17个职场错误[转自李云老师]
摘要：记得刚参加工作时（那是97年），中国的IT刚刚兴起，那时，作为一个IT人士是一件很光荣的事，而那时的我正在做电气和电子相关的工作。99年第一次跳槽，进入了IT行业做软件开发。至今，中国的IT已经走过了十多年。但昔日的“光荣一员”却成为了现在的“IT农民工”，这究竟是怎么了？是中国的IT发展已经很好了所造成的吗？不是！在我看来中国的IT还比较的原始，还有很大的提升空间。我认为造成这一切的都是我们自己，是人！是我们的意识和方法问题。还记得刚从事软件行业时，当时有一句话很流行，这句话现在应当还能听到，那就是：做IT是吃青春饭。说实现在的，一直以来我对于这句话一点都不认同，但最近慢慢的觉得有道理。这种 阅读全文
posted @ 2012-07-20 23:56 Jack204 阅读(323) 评论(0) 推荐(0)
Intel CPU的保护模式 来龙去脉
摘要：1为什么要使用cpu的保护模式呢？ 经常有不懂的人会问我这个问题，第一次我也被问住了，只是在看cpu是如何实现的，可却从来没有真正的跳出来思考过，cpu的保护模式带给我们什么好处？答：我非常总结的说一下。保护模式主要目的保护多任务之间代码访问的完全隔离（使用虚拟地址），单任务的用户代码和系统代码的访问格式（使用cpu的privilege环）。当然虚拟地址也给内存管理带来了其他的好处，更细节的看下面的文章转载。2 为什么一定要从实模式切换到保护模式，而不是开机就是保护模式？ 最主要的原因是：兼容以前的软件，不兼容以前的软件就会失去市场，所以intel处理器发展到今天回如此的复杂。++++++.. 阅读全文
posted @ 2012-07-19 17:24 Jack204 阅读(6722) 评论(1) 推荐(0)
因为工作，急需待补的东西（笔记）
摘要：1 web.xml中的filter的写法，特别是它是如何被调用和调用别人的，被调用者包括filter和serlvet。2 tomcat 工程布置和配置手册。3 oracle sql使用手册。4 HttpURLConnecition contentlength设置不上.========================================1 提高自己的归纳、总结能力。-------- 谈话 要使用 总分总 扁平式的谈话方式。 2 使自己的思维更清晰，更有条理，更缜密。-------- 自己做事情的时候，努力使自己习惯于out of the box的方式思考问题，统筹规划一套方法，用正确 阅读全文
posted @ 2012-07-12 14:31 Jack204
Oracle sql中start with，connect by伪语句用法
摘要：start with，connect by主要目的：从表中取出树状数据。可以假想成表中存成的各条数据是分别是树中的一个结点。主要用法：select ... start with initial-condition connect by nocycle recurse-conditionselect ... connect by recurse-conditionselect ... start with initial-condition connect by nocycle recurse-conditionselect ... connect by recurse-conditionThe 阅读全文
posted @ 2012-07-12 11:37 Jack204 阅读(7202) 评论(0) 推荐(0)
html与xml头部你懂吗？
摘要：这是jsp代码的头部。第一行： pageEncoding设置JSP源文件和响应正文中的字符集编码. contentType设置JSP源文件的字符集编码和响应正文的MIME类型. 可见,pageEncoding和contentType都可以设置JSP源文件和响应正文中的字符集编码.但也有区别:设置JSP源文件字符集时,优先级为 pageEncoding > contentType.都没有设置,默认ISO-8859-1.设置响应输出的字符集时,优先级为 contentType > pageEncoding.都没有设置,默认ISO-8859-1;都设置了,以contentType为... 阅读全文
posted @ 2012-07-11 00:08 Jack204 阅读(2614) 评论(0) 推荐(0)
web.xml中的*.jsp如果当welcome-file，eclipse在下次跑的时候不自动更新到tomcat中的问题（eclipse可以去死了）
摘要：默认使用J2EE eclipse.建立java web项目右键run->run on server。如果更改了项目中的xml，java，jsp等等文件按理说都应该在重新运行的时候更新到tomcat上。这个工作由eclipse的tomcat插件来完成。这里遇到一种特殊情况，即将web.xml中的welcome-file设置为*.jsp，这样的话就不可能动态更新到tomcat上了，不知道为什么，很奇怪，这应该是一个bug，我日，又是bug？ 阅读全文
posted @ 2012-07-10 17:00 Jack204 阅读(1163) 评论(0) 推荐(0)
mysql间隙锁next-key
摘要：如果在transaction1(Tr1)进行一个select * from table1 where id < 4 lock in share mode.这里会在table1上加一个next_key lock(间隙锁)，基本原理是什么呢？大致是这样的，内存中有一个lock hash。是一个key（类似于tableid+pageid+offset）到value（所加的锁）--- 这就是行锁的原理。所以 id<4的话，会给0 1 2 4(假设当前数据库没有3)加上行锁，这样就保证了不会出现插入id=3.5这种事情的发生。+++++++++++++++++++++++++++++++++ 阅读全文
posted @ 2012-07-07 23:52 Jack204 阅读(2010) 评论(0) 推荐(0)
计算select语句的cost
摘要：（分析的过程比分析的结果重要的多）不涉及join的cost计算==================================================================1 数据库中可以提供给我们的可供参考的参数：表：cardinality_table(表有多少条record), npages_table(表有多少页),列：cardinality_column(列中不同值的数目),HIGH2KEY/LOW2KEY(因为最大值可能是null,最小值可能是0)，frequencies(某个值在此列中出现的比率比如100个数字，有10个0，那么0的频率是0.1)。索引：nle 阅读全文
posted @ 2012-07-07 23:35 Jack204 阅读(1071) 评论(0) 推荐(0)
新的思想来源
摘要：书籍：1 影响力(罗伯特·B·西奥迪尼)2 营销管理(菲利普·科特勒)3 怎样解题(波维亚)4 自我.群体.社会(道格拉斯•肯里克)5 数学之美(吴军)6 浪潮之巅(吴军)7 定位(杰克·特劳特)8 你为什么是穷人9 圈子圈套10 杜云生绝对成交完整版11 高效能人士的七个习惯12 货币、银行信贷与经济周期13 程序员修炼之道：从小工到专家网站：google黑板报蔡康永的说话之道：把说话练好，是最划算的事。从环境猜测人的个性尖锐问题怎么开口？--可以把自己假设的事情，循着缘由倒推回去分2-3步来问。比如对方在吸毒，倒推回去2-3步：吸毒史因为他不快乐吗？ 阅读全文
posted @ 2012-07-03 14:17 Jack204 阅读(305) 评论(0) 推荐(0)
解决 - java.lang.OutOfMemoryError： unable to create new native thread
摘要：工作中碰到过这个问题好几次了，觉得有必要总结一下，所以有了这篇文章，这篇文章分为三个部分：认识问题、分析问题、解决问题。一、认识问题: 首先我们通过下面这个 测试程序 来认识这个问题：运行的环境（有必要说明一下，不同环境会有不同的结果）：32位 Windows XP，Sun JDK 1.6.0_18， eclipse 3.4，测试程序：Java代码 importjava.util.concurrent.CountDownLatch;publicclassTestNativeOutOfMemoryError{publicstaticvoidmain(String[]args){for(inti. 阅读全文
posted @ 2012-07-02 12:43 Jack204 阅读(571) 评论(0) 推荐(0)
如何调优JVM - 优化Java虚拟机（大全+实例）
摘要：堆设置-Xmx3550m：设置JVM最大堆内存 为3550M。 -Xms3550m：设置JVM初始堆内存 为3550M。此值可以设置与-Xmx相同，以避免每次垃圾回收完成后JVM重新分配内存。 -Xss128k：设置每个线程的栈 大小。JDK5.0以后每个线程栈大小为1M，之前每个线程栈大小为256K。应当根据应用的线程所需内存大小进行调整。在相同物理内存下，减小这个值能生成更多的线程。但是操作系统对一个进程内的线程数还是有限制的，不能无限生成，经验值在3000~5000左右。 -Xmn2g：设置堆内存年轻代 大小为2G。整个堆内存大小 = 年轻代大小 + 年老代大小 + 持久代大小 。持久代 阅读全文
posted @ 2012-07-02 11:36 Jack204 阅读(30098) 评论(0) 推荐(5)
JVM（java 虚拟机）内存设置
摘要：一、设置JVM内存设置1. 设置JVM内存的参数有四个：-XmxJava Heap最大值，默认值为物理内存的1/4，最佳设值应该视物理内存大小及计算机内其他内存开销而定；-XmsJava Heap初始值，Server端JVM最好将-Xms和-Xmx设为相同值，开发测试机JVM可以保留默认值；-XmnJava Heap Young区大小，不熟悉最好保留默认值；-Xss每个线程的Stack大小，不熟悉最好保留默认值；2. 如何设置JVM内存分配：（1）当在命令提示符下启动并使用JVM时（只对当前运行的类Test生效）：java -Xmx128m -Xms64m -Xmn32m -Xss16m Te 阅读全文
posted @ 2012-07-02 11:35 Jack204 阅读(140603) 评论(1) 推荐(14)