Hadoop develop

摘要： 64岁祖母级选手53小时横渡海峡创纪录，上岸后，尼亚德用仅存的力气对围观者说：“我只想说三句话，第一，我们永远也不要放弃。第二，在追逐梦想的道路上，你永远也不会老。第三，这（横渡海峡）看起来是一个人的运动，但实际上是团队努力的结果。 阅读全文

摘要： fork()函数执行一次，返回两次，你知道原因吗？子进程中返回0；父进程中返回子进程ID（>0)；调用一次返回两次；复制父进程地址空间内容（非地址）给子进程；子进程拥有独立的地址空间；无法确定执行顺序； 阅读全文

摘要： 前言： 本文是《基于Hadoop开发网络云盘系统架构设计方案》的第二篇，针对界面原型原本考虑有两个方案：1、类windows模式，文件夹、文件方式，操作习惯完全按照Windows方式进行，提供右键菜单管理命令。2.浏览列表式，提供常规界面按钮式命令。本文采用的方式是文件清单列表式，至于第一种方式，另列专题进行说明。一、界面原型二、设计说明 连接管理：建立连接、断开连接、设置连接参数 文件操作：浏览文件、上传文件、下载文件、删除文件、导入文件（批量）、刷新列表 用户管理：查看用户信息、修改用户密码 三、遗留问题 1.文件操作长连接还是短连接问题？ 2.下载优化问题？以文件/块为单位... 阅读全文

摘要： 引言：二代支付系统是人民银行新一代现代化支付系统，目前各商业银行的接入开发工作正紧锣密鼓的进行。按照人民银行的计划和安排，2013年10份，第一批接入工作将开始。本文是第二代支付系统城市商业银行接入系统的总体设计初稿。一、总体设计 详见下图：二、外部结构 城市商业银行以参与者身份接入人民银行第二代支付系统，在整个第二代支付系统中，商业银行的角色见上图。三、设计说明 3.1 系统构成 整个行内接入系统划分为：前端系统（VFS)、前置系统（FRT）、核心系统（CoreBank)、报表系统（Report)、运行监控系统（Monitor)。 3.2 组件说明 BEP:一代支付小额业务服务组... 阅读全文

摘要： 云计算技术的发展，各种网络云盘技术如雨后春笋，层出不穷，百度、新浪、网易都推出了自己的云盘系统，本文基于开源框架Hadoop设计实现了一套自己的网络云盘系统，方案为初步设计方案，不断完善中。 阅读全文

摘要： 引言 Hadoop提供的HDFS布式文件存储系统，提供了基于thrift的客户端访问支持，但是因为Thrift自身的访问特点，在高并发的访问情况下，thrift自身结构可能将会成为HDFS文件存储系统的一个性能瓶颈。我们先来看一下一不使用Thrfit方式访问HDFS文件系统的业务流程。一、HDFS文件读取流程 流程说明：使用HDFS提供的客户端开发库Client，向远程的Namenode发起RPC请求；Namenode会视情况返回文件的部分或者全部block列表，对于每个block，Namenode都会返回有该block拷贝的DataNode地址；客户端开发库Client会选取离客户端最接.. 阅读全文

摘要： 引文： 个人名言：“同一条河里淹死两次的人，是傻子，淹死三次及三次以上的人是超人”。经历过上次悲催的面试，决定沉下心来，好好的补充一下基础知识点。本文是这一系列第一篇：进程间通讯之mmap。一、概念：什么是mmap? 通过共享存储实现进程间通讯是一个主要的进程间通讯的方式。它包括磁盘文件的共享和内存的共享，以前总是关注内存的共享，而忽略了磁盘文件的共享，也就是这里要讲的mmap。mmap地址映射是Linux系统提供的一种功能强大的系统调用，最典型的应用是用于显卡内存的映射。同样，对于普通的硬盘文件也可以进行mmap系统调用。mmap()系统调用使得进程之间通过映射同一个普通文件实现共享内存.. 阅读全文

摘要： 引文：线程模型（Threading Model）默认从进程域 (M:N 模型 ) 改为系统全局域 (1:1 模型 )在 AIX 5L 中，pthread 线程的默认模型是 m:n 方式，而从 AIX 6.1 开始，默认改为了 1:1 方式。这两种方式在系统中通过 AIXTHREAD_SCOPE 环境变量来进行控制。如果设置 AIXTHREAD_SCOPE=P，则线程模型为进程域（M:N 模型），设置 AIXTHREAD_SCOPE=S 则为系统域（1:1 模型）。1:1 模型下，每个用户空间的线程都对应于内核中的一个线程，线程的调度由内核在系统全局范围进行；而 M:N 模型下，多个用户线程对应 阅读全文

摘要： 引子：线程死锁曾是多少程序员的噩梦，每每为此食不甘味，夜不成寐，一句话：苦不堪言。本文从几个场景入手，试图解开产生死锁的原因之谜。教科书：说的很具体，理解很抽象 关于死锁产生的原因《操作系统》中有比较好的说明： （1）因为系统资源不足。 （2）进程运行推进的顺序不合适。 （3）资源分配不当等。 关于死锁出现的必要条件也有比较具体的说明： （1）互斥条件：一个资源每次只能被一个进程使用。 （2）请求与保持条件：一个进程因请求资源而阻塞时，对已获得的资源保持不放。 （3）不剥夺条件:进程已获得的资源，在末使用完之前，不能强行剥夺。 （4）循环等待条件:若干进程之间形成一种头尾相接... 阅读全文

摘要： 引文：学而时习之，不亦说乎。总是忙于具体项目，业务功能的实现；关于编程本身的技能都要有些生疏了，于是就选择了几个专题做了一次温习，重点放在了多线程和多进程上，跑了一个实例，居然有新的发现：（1）多个线程顺序创建的顺序=线程执行顺序吗？（2）多个线程顺序创建，回调函数执行顺序有规律吗？示例：#include "apue.h"#include void *thr_fn1(void *arg){ printf("thread 1 returning\n"); return((void *)1);}void *thr_fn2(void *arg){ printf 阅读全文