04 2014 档案

Oracle数据库的版本变迁功能对比
摘要：Oracle数据库自发布至今，也经历了一个从不稳定到稳定，从功能简单至强大的过程。从第二版开始，Oracle的每一次版本变迁，都具有里程碑意义。1979年的夏季，RSI（Oracle公司的前身，Relational Software，Inc）发布了Oracle第二版。1983年3月，RSI发布了Or... 阅读全文
posted @ 2014-04-28 14:05 郑文亮 阅读(1800) 评论(0) 推荐(0) 编辑
小谈chrome调试命令：console.log的使用
摘要：相信从事前端开发的您，一定不会陌生Mozilla五星级推荐的一款插件：firebug，它是如此强大，乃至于我们可以很方便地调试DHTML的近乎所有元素。而在它深邃的机体里，还存有一个命令：console.log。 她是用来做什么的？顾名思义，它是一个彪悍的日志记录功能，您可以从您自己的web页面上调... 阅读全文
posted @ 2014-04-26 15:30 郑文亮 阅读(3298) 评论(0) 推荐(0) 编辑
Hadoop平台配置总结
摘要：hadoop的配置，个人感觉是非常容易出问题。一个原因是要配置的地方多，还有个原因就是集群配置要在几台机器上都配置正确，才能保证配置好hadoop，跑起任务。经过昨晚加今天上午的折腾，总算成功配好了集群模式，其中苦不堪言啊，中间好几次都想要放弃。这里总结了一下配置的几个要点，分享给大家，以使大家少走... 阅读全文
posted @ 2014-04-18 11:58 郑文亮 阅读(1641) 评论(0) 推荐(0) 编辑
hadoop 关闭进程时报错no 进程 to stop
摘要：前两天和朋友李天王吃饭的时候，聊到了一个hadoop的运维的很简单问题，感觉很有意思，以前也没有注意过，现在加以重现和整理。 感谢李天王的分享。。。。 翻看了yarn-deamon.sh stop部分的脚本：Java代码(stop)if[-f$pid];thenTARGET_PID=`cat$pid... 阅读全文
posted @ 2014-04-18 11:40 郑文亮 阅读(1264) 评论(0) 推荐(0) 编辑
no datanode to stop
摘要：昨晚整了半天，遇上的问题是通过start-all.sh无法启动datanode，然后关闭时就会报no datanode to stop ，引起这个的原因是因为我多次格式化，导致namespaceID不一致，解决方法也就简单了，修改Salve里的current/VERSION里的namespaceID... 阅读全文
posted @ 2014-04-17 17:39 郑文亮 阅读(2258) 评论(0) 推荐(0) 编辑
Hadoop 2.0+YARN启动脚本分析与实战经验
摘要：start-all.sh脚本现在已经废弃，推荐使用start-dfs.sh和start-yarn.sh分别启动HDFS和YARN。在新一代的Hadoop里面HDFS称为了统一存储的平台，而YARN成为了统一计算的平台。（1）调用start-dfs.sh启动HDFS。之后JPS会出现NameNode,... 阅读全文
posted @ 2014-04-17 16:04 郑文亮 阅读(9397) 评论(0) 推荐(0) 编辑
linux 查看当前路径命令：pwd
摘要：查看当前路径命令：pwdpwd命令能够显示当前所处的路径。这个命令比较简单，如果有时在操作过程中忘记了当前的路径，则可以通过此命令来查看路径，其执行方式为：# pwd /home/samlee第一行为运行的命令，第二行的内容为运行pwd命令后显示的信息，即显示用户当前所在的工作目录的路径为/home... 阅读全文
posted @ 2014-04-17 14:39 郑文亮 阅读(147338) 评论(2) 推荐(6) 编辑
CentOS查看内核版本，位数，版本号
摘要：1)[root@localhost ~]# cat /proc/versionLinux version 2.6.18-194.el5 (mockbuild@builder10.centos.org) (gcc version 4.1.2 20080704 (Red Hat 4.1.2-48)) #... 阅读全文
posted @ 2014-04-17 14:04 郑文亮 阅读(3491) 评论(0) 推荐(0) 编辑
CentOS下系统时间同步和时区的修改和设置(用的这个)
摘要：一、修正时区rm -rf /etc/localtime #删除当前默认时区www.kwx.gdln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime #复制替换默认时区为上海SSH执行以上命令，将VPS时区修改为中国上海的时区，当然，也可以... 阅读全文
posted @ 2014-04-17 13:14 郑文亮 阅读(682) 评论(0) 推荐(0) 编辑
linux集群时间同步
摘要：说明：由于hadoop集群对时间要求很高，所以集群内主机要经常同步。本文档适合ubuntu、redhat系列。注：很多内容是在网上摘录，然后试验后总结，如有疑问可留言探讨。1.设置主机时间准确（任意机器都可）。//如果不需要同步网络时间则可以省略这一步1.1查看本机时间和时区（date）1.2设置时... 阅读全文
posted @ 2014-04-17 12:00 郑文亮 阅读(5262) 评论(1) 推荐(0) 编辑
Linux时间同步方式记录
摘要：Linux时间同步部署Hadoop集群，遇到各个linux服务器的时间不同步的问题，于是研究了一下linux的时间同步方式，特将同步方式，总结如下：A、 前提条件a) 网络是连通的，这个不用解释撒，呵呵b) DNS服务器是正常的，可以通过ping来测试，如果出现unknow host，则需要设置DN... 阅读全文
posted @ 2014-04-17 11:58 郑文亮 阅读(630) 评论(0) 推荐(0) 编辑
sudo: /etc/sudoers is mode 0640, should be 0440解决办法
摘要：ubuntu或者CentOS中，/etc/sudoer 的权限为 0440时才能正常使用，否则sudo命令就不能正常使用。出现类似：sudo: /etc/sudoers is mode 0640, should be 0440 的对话。解决办法：1、Ctrl+Alt+F1进入文本模式。用超级用户登录... 阅读全文
posted @ 2014-04-17 11:09 郑文亮 阅读(1814) 评论(0) 推荐(0) 编辑
centos 火狐浏览器安装adobe flash player插件
摘要：来个CentOS 6.3 为Firefox安装Flash插件教程下载install_flash_player_11_linux.i386.tar.gz打包文件到本地终端进入install_flash_player_11_linux.i386.tar.gz所在目录使用命令tar -zxvf 解压ins... 阅读全文
posted @ 2014-04-17 10:37 郑文亮 阅读(484) 评论(0) 推荐(0) 编辑
centos6.2安装jdk7
摘要：首先在Vmware下安装好Centos6.2,下载好jdk7文件,tar包安装1wget http://download.oracle.com/otn-pub/java/jdk/last-version下载好后，开始准备安装(这里已经下载好了jdk-7u9-linux-i586.tar.gz)：首先... 阅读全文
posted @ 2014-04-17 10:09 郑文亮 阅读(3593) 评论(0) 推荐(0) 编辑
hadoop安装详解
摘要：1.hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明... 阅读全文
posted @ 2014-04-15 16:24 郑文亮 阅读(676) 评论(0) 推荐(0) 编辑
CentOS6.2下安装eclipse
摘要：在eclipse官网下载eclipse的linux版本(此处省略下载过程)，我下载的是eclipse-jee-indigo-SR2-linux-gtk.tar.gz，下面是安装过程: 1.sudo mv eclipse-jee-indigo-SR2-linux-gtk.tar.gz /opt/ 把文... 阅读全文
posted @ 2014-04-15 13:10 郑文亮 阅读(419) 评论(0) 推荐(0) 编辑
linux下eclipse的安装
摘要：Eclipse的安装http://java.sun.com/javace/downloads/index.jsp下载：Jdk-6u17-linux-i586.binhttp://www.eclipse.org/downloads下载：Eclipse-SDK-3.14-linux-gtk.tar.gz... 阅读全文
posted @ 2014-04-15 13:04 郑文亮 阅读(369) 评论(0) 推荐(0) 编辑
终于可以在centos下使用QQ啦！
摘要：电脑装了centos 6.4操作系统，一直无法使用QQ，在centos中文论坛看到一篇介绍安装qq的文章，依样画葫芦，终于成功了1.下载QQ2012软件安装包，我给大家准备好了下载地址[root@bogon ~]#wgethttp://pan.baidu.com/share/link?shareid... 阅读全文
posted @ 2014-04-15 08:49 郑文亮 阅读(22350) 评论(0) 推荐(0) 编辑
centos vwwareTools 拷贝文件设置
摘要：1. 在root 用户下面 在虚拟机菜单上面选择 Vwware Tools 虚拟机会将 安装文件 拷贝到桌面上面 拷贝这个文件 到 root 文件夹 /home/root将XXX.tar.gz 文件 解开压缩(右键就行)执行 其中的 .pl文件重启这样子 在root用户 环境下 可以用了2. 如果... 阅读全文
posted @ 2014-04-14 15:57 郑文亮 阅读(649) 评论(0) 推荐(0) 编辑
CentOS 下SSH无密码登录的配置
摘要：CentOS 下SSH无密码登录的配置最近学习Hadoop。它要求各节点之间通过SSH无密码登录，配置SSH的时候费了一番功夫，记录下来，以备忘。配置SSH无密码登录需要3步：1.生成公钥和私钥2.导入公钥到认证文件,更改权限3.测试1.生成公钥和私钥Shell代码ssh-keygen-trsa 默... 阅读全文
posted @ 2014-04-14 15:37 郑文亮 阅读(3362) 评论(0) 推荐(0) 编辑
好记心不如烂笔头，ssh登录　The authenticity of host 192.168.0.xxx can't be established.　的问题
摘要：用ssh登录一个机器（换过ip地址），提示输入yes后，屏幕不断出现y，只有按ctrl + c结束错误是：The authenticity of host 192.168.0.xxx can't be established.以前和同事碰到过这个问题，解决了，没有记录，这次又碰到了不知道怎么处理，还... 阅读全文
posted @ 2014-04-14 14:47 郑文亮 阅读(557) 评论(0) 推荐(0) 编辑
centos6下安装部署hadoop2.2
摘要：环境准备1、操作系统:centos6.0 64位2、hadoop版本：hahadoop-2.2.0安装和配置步骤具体如下：1、主机和ip分配如下ip地址 主机名 用途 192.168.1.112 hadoop1 namenode 192.168.1.113 hadoop2datanode192.16... 阅读全文
posted @ 2014-04-14 11:50 郑文亮 阅读(2596) 评论(1) 推荐(0) 编辑
centos 卸载自带的 java
摘要：一般情况下，我们都要将linux自带的OPENJDK卸载掉，然后安装SUN的JDK首先：查看Linux自带的JDK是否已安装 # java -version ／／ 查看已经安装的JAVA版本信息 一般将获得如下信息： java version "1.6.0" OpenJDKRun... 阅读全文
posted @ 2014-04-14 10:54 郑文亮 阅读(873) 评论(0) 推荐(0) 编辑
完全分布式Hadoop2.3安装与配置
摘要：一、Hadoop基本介绍Hadoop优点1.高可靠性：Hadoop按位存储和处理数据2.高扩展性：Hadoop是在计算机集群中完成计算任务，这个集群可以方便的扩展到几千台3.高效性：Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度快4.高容错性：Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配5.低成本：Hadoop是开源的，集群是由廉价的PC机组成Hadoop架构和组件Hadoop是一个分布式系统基础架构，底层是HDFS（Hadoop Distributed File System）分布式文件系统，它存储Hadoop集群中所有存储节点上 阅读全文
posted @ 2014-04-12 17:14 郑文亮 阅读(3520) 评论(0) 推荐(0) 编辑
hadoop安装与WordCount例子
摘要：1、JDK安装下载网址：http://www.oracle.com/technetwork/java/javase/downloads/jdk-6u29-download-513648.html如果本地有安装包，则用SecureCRT连接Linux机器，然后用rz指令进行上传文件；下载后获得jdk-6u29-linux-i586-rpm.bin文件，使用sh jdk-6u29-linux-i586-rpm.bin进行安装，等待安装完成即可；java默认会安装在/usr/java下；在命令行输入:vi /etc/profile在里面添加如下内容export JAVA_HOME=/usr/java 阅读全文
posted @ 2014-04-11 11:10 郑文亮 阅读(420) 评论(0) 推荐(0) 编辑
CentOS 6.5 下载地址
摘要：CentOS 6.5 主要改动Precision Time Protocol（精确时间协议）—— 原先是项技术预览 —— 现在已获全面支持。以下驱动程序支持网络时间戳印：bnx2x、tg3、e1000e、igb、ixgbe 及 sfc。OpenSSL 已被更新至 1.0.1 版。OpenSSL 及 NSS 现在支持 TLS 1.1 及 1.2。KVM 新增了数项改善，包括：改良对 VMDK 及 VHDX 档的只读支持、CPU 热插及已更新的 virt-v2v-／virt-p2v-conversion 工具。Hyper-V 及 VMware 驱动程序已被更新。更新 Evolution（2.32） 阅读全文
posted @ 2014-04-11 09:25 郑文亮 阅读(73085) 评论(1) 推荐(1) 编辑
碎片化
摘要：“碎片化”一词是描述当前中国社会传播语境的一种形象性的说法。所谓“碎片化”，英文为Fragmentation，原意为完整的东西破成诸多零块。我们也可将“碎片化”理解为一种“多元化”，而碎片化在传播本质上的整个社会碎片化或者说多元化的一个体现。目录1时代背景2产生3社会领域4信息传播5结语1时代背景编辑如果让一个普通人描述自己十几年前的媒体接触方式，简单的几句话就可以描述清楚：白天看报纸，晚上看电视。但是今天，人们的生活被很多碎片化的内容切分，在信息传播进入网络时代以后，碎片化逐渐成为中国社会传播语境的一种形象性描述。报纸定位变“泛众传播”为“分众传播”。平面媒体常常开始围绕着“读者关心的是什么 阅读全文
posted @ 2014-04-10 13:47 郑文亮 阅读(1880) 评论(0) 推荐(0) 编辑
DRM加密技术是怎么一回事
摘要：有时我们在播放从网上下载的影视文件时会要求输入用户许可证，否则就不能正常播放，听说是用了一种DRM技术，请简单介绍一下。答：通常这是利用了多媒体DRM加密技术保护版权（DRM是数字权限管理技术的缩写）。例如，你将自己拍摄的某个视频文件上传到网上，但只想让获得了许可的朋友才能进行观看。DRM加密原理，首先需要建立一个数字节目授权中心（相当于许可证发放服务器），例如在服务器上安装和配置中国数字版权管理网（www.china-drm.com)中的“许可证发放管理系统”软件，对用户授权进行设置，能设置播放及刻录的次数，许可证有效日期等等，然后利用工具软件对该文件进行加密，加密的数字节目头部存放着Key 阅读全文
posted @ 2014-04-10 11:16 郑文亮 阅读(4784) 评论(0) 推荐(0) 编辑
DRM你又赢了：其API纳入HTML5标准
摘要：摘要：W3C今天发布了一份加密媒体扩展工作草案（EME）,将支持DRM多媒体数字内容，而且浏览器将无需使用Flash或Silverlight。EME定义了一系列API，允许JavaScript和HTML与解密/保护模块进行交互。作为一名开发者，如果你发布的是一款多媒体应用，通常情况下，你需要在其中添加DRM（数字内容版权加密技术），但不幸的是，过去HTML5是无法加入DRM的。现在情况则完全不同了。W3C今天发布了一份加密媒体扩展工作草案（EME），将支持DRM多媒体数字内容，浏览器将无需使用Flash或Silverlight。EME并不是DRM标准，EME定义了一系列API，允许JavaSc 阅读全文
posted @ 2014-04-10 11:15 郑文亮 阅读(577) 评论(0) 推荐(0) 编辑
java 对视频和图片进行加密解密
摘要：import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStream;import java.io.OutputStream;import java.io.RandomAccessFile;public class FileEncryptAndDecrypt { public static void main(Strin 阅读全文
posted @ 2014-04-10 10:37 郑文亮 阅读(5974) 评论(1) 推荐(1) 编辑
HadoopDB：混合分布式系统
摘要：HadoopDB 是一个 Mapreduce 和传统关系型数据库的结合方案，以充分利用 RDBMS 的性能和 Hadoop 的容错、分布特性。2009 年被 Yale 大学教授 Abadi 提出，继而商业化为 Hadapt，据称从 VC 那儿拉到了 10M 刀投资。本文是对 HadoopDB 论文的总结。其中不免掺杂些自己的不成熟想法，更详细的内容，还请参见原论文 HadoopDB: An Architectural Hybrid of MapReduce and DBMS Technologies for Analytical Workloads背景PB 级数据分析系统的能力要求1.性能：节 阅读全文
posted @ 2014-04-10 09:25 郑文亮 阅读(554) 评论(0) 推荐(0) 编辑
关于Hadoop结合RDBMS应用的一些思考
摘要：最近一段时间一直在从事和hadoop相关的工作，主要是技术内容学习、安装配置优化以及一些框架结构的设计。在此期间，我对于RDBMS和Hadoop的结合应用有了一些自己的看法，写出来大家共同探讨一下。1、为什么要用Hadoop这个在网上已近有很多的人说过这个问题，我在这里就不多述了。但是我想说下，对于一个工具而言，只有最合适的应用场景没有最牛的工具。hadoop对我而言也只是一个工具，所以，更多的时候我是从业务角度出发去考虑hadoop能给我带来什么。2、RDBMS？RDBMS是关系型数据库英文缩写，但对于我而言，就是oracle（因为我现在的公司用就是）。关于RDBMS和NOSQL谁更好这个话 阅读全文
posted @ 2014-04-10 09:17 郑文亮 阅读(663) 评论(1) 推荐(0) 编辑
hadoop的hdfs文件操作实现上传文件到hdfs
摘要：这篇文章主要介绍了使用hadoop的API对HDFS上的文件访问，其中包括上传文件到HDFS上、从HDFS上下载文件和删除HDFS上的文件,需要的朋友可以参考下hdfs文件操作操作示例，包括上传文件到HDFS上、从HDFS上下载文件和删除HDFS上的文件，大家参考使用吧复制代码 代码如下:import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import java.io.File;import java.io.IOException;public class HadoopFile { priva... 阅读全文
posted @ 2014-04-10 09:11 郑文亮 阅读(10740) 评论(0) 推荐(0) 编辑
用hdfs存储海量的视频数据的设计思路
摘要：用hdfs存储海量的视频数据存储海量的视频数据，主要考虑两个因素：如何接收视频数据和如何存储视频数据。我们要根据数据block在集群上的位置分配计算量，要充分利用带宽的优势。１．接收视频数据将从摄像头接收到的或通过模拟产生的视频流以文件的形式存储在本地文件夹，在这个过程中不产生任何中间文件。２．海量视频数据存储存储海量视频数据的思路：通过hadoop提供的api结构，实现将接收到的视频流文件从本地上传到hdfs中。在这一过程中，把接收到的视频文件不断地存储到一个指定的本地文件夹中，而这个本地文件夹是在不断动态变换的，这时，将这个动态变化的文件夹当成是一个“缓冲区”，把“缓冲区”中的文件以流的形 阅读全文
posted @ 2014-04-09 17:35 郑文亮 阅读(3458) 评论(1) 推荐(0) 编辑
hbase+hive应用场景
摘要：一.Hive应用场景本文主要讲述使用 Hive 的实践，业务不是关键，简要介绍业务场景，本次的任务是对搜索日志数据进行统计分析。集团搜索刚上线不久，日志量并不大 。这些日志分布在 5 台前端机，按小时保存，并以小时为周期定时将上一小时产生的数据同步到日志分析机，统计数据要求按小时更新。这些统计项，包括关键词搜索量 pv ，类别访问量，每秒访问量 tps 等等。基于 Hive ，我们将这些数据按天为单位建表，每天一个表，后台脚本根据时间戳将每小时同步过来的 5 台前端机的日志数据合并成一个日志文件，导入 Hive 系统，每小时同步的日志数据被追加到当天数据表中，导入完成后，当天各项统计项将被重新 阅读全文
posted @ 2014-04-09 15:42 郑文亮 阅读(6623) 评论(0) 推荐(0) 编辑
HBase 使用场景和成功案例
摘要：有时候了解软件产品的最好方法是看看它是怎么用的。它可以解决什么问题和这些解决方案如何适用于大型应用架构，能够告诉你很多。因为HBase有许多公开的产品部署，我们正好可以这么做。本章节将详细介绍一些人们成功使用HBase的使用场景。注意：不要自我限制，认为HBase只能解决这些使用场景。它是一个初生的技术，根据使用场景进行创新正驱动着系统的发展。如果你有新想法，认为可以受益于HBase提供的功能，试试吧。社区很乐于帮助你，也会从你的经验中学习。这正是开源软件精神。HBase仿效了Google的BigTable，让我们开始探索典型的BigTable问题：存储互联网。典型互联网搜索问题：BigTab 阅读全文
posted @ 2014-04-09 11:34 郑文亮 阅读(1022) 评论(0) 推荐(0) 编辑
[转] 童年记忆 老家胶县
摘要：借六龟儿，我的最爱，小时候捉了放在坛子里腌着 ，抓了还可以卖1毛一个，有厉害的人一晚上可以抓两百多。现在贵了，都成了宾馆里的佳肴。 我们那时叫它淹尤，呵呵，就是这个谐音，那甜甜的感觉，在记忆里那般绵长，直到现在回到老家，院子里还可以看到星星落落的几株，摘下几个放在嘴里，慢慢回味儿时的记忆。 谷荻，我们那里叫茶茵，儿时那种乐此不疲的留恋，那剥开外皮，里面嫩嫩的草芽，能嚼出一嘴的绿汁，那一嘴柔柔的青草香。 槐花儿，那么香甜，从树上劈下一个枝杈，边走边吃，妈妈会拿来给我们蒸着吃，都成了记忆。 茅根，茅草的根，甜甜的，小时候刨回很多，它当成甘蔗来吃，现在找不到那种儿时的乐趣了。 蚂蚱，秋收的时候，捉. 阅读全文
posted @ 2014-04-09 11:10 郑文亮 阅读(737) 评论(0) 推荐(0) 编辑
从PHPCMS、帝国CMS谈站长如何选择适合自己的CMS
摘要：经常见站长论坛有人提到选哪个CMS好，最近也又有朋友在51LA站长群里问到PHPCMS和帝国CMS比较选哪个好的问题，所以落叶今天从PHPCMS及帝国CMS对比的角度来谈谈站长应该如何选择适合自己的CMS。落叶自诩对现在主流CMS及建站程序还是有足够多了解的，从接触混互联网开始使用过的并且作过小量二次开发的CMS和建站程序有早期的动易siteweaver、DEDECMS、PHPCMS2008、帝国CMS、科讯CMS、无忧CMS、风讯CMS 、DISCUZ、UCHOME、HDWIKI、新云CMS等（以前负责的一个网站是Siteweaver+2*PHPCMS+HDWIKI+DISCUZ7.0+UC 阅读全文
posted @ 2014-04-09 10:34 郑文亮 阅读(1545) 评论(0) 推荐(0) 编辑
关于NoSQL数据库你应该知道的10件事
摘要：关系数据库模型已经流行了几十年了，但是一种新类型的数据库——被称为NoSQL，正在引起企业的注意。下面是关于它的优势和劣势的一个概述。二十多年以来，对数据库管理来说，关系数据库（RDBMS）模型一直是一个占统治地位的数据库模型。AD：51CTO学院：IT精品课程在线看！关系数据库模型已经流行了几十年了，但是一种新类型的数据库——被称为NoSQL，正在引起企业的注意。下面是关于它的优势和劣势的一个概述。二十多年以来，对数据库管理来说，关系数据库（RDBMS）模型一直是一个占统治地位的数据库模型。但是，今天，非关系数据库，“云”数据库，或“NoSQL”数据库作为关系数据库以外的一些选择，正在引起大 阅读全文
posted @ 2014-04-08 14:50 郑文亮 阅读(936) 评论(0) 推荐(0) 编辑
转发 Mongodb 和 Hbase的区别
摘要：原始网址:http://hi.baidu.com/i1see1you/item/783a701f39a87549e75e06ea1.Mongodb bson文档型数据库，整个数据都存在磁盘中，hbase是列式数据库，集群部署时每个familycolumn保存在单独的hdfs文件中。2.Mongodb 主键是“_id”,主键上面可以不建索引,记录插入的顺序和存放的顺序一样，hbase的主键就是row key，可以是任意字符串(最大长度是 64KB，实际应用中长度一般为 10-100bytes)，在hbase内部，row key保存为字节数组。存储时，数据按照Row key的字典序(byte or 阅读全文
posted @ 2014-04-08 14:48 郑文亮 阅读(12583) 评论(0) 推荐(2) 编辑
HBase 和 MongoDB在设计上的区别
摘要：转载：http://leongfans.iteye.com/blog/1019383昨天搜一下mongodb的资料，介绍应用的比较多，原理介绍的不多。粗略得看了一下，总体来说两者的设计思路差不多，主要就是通过划区间去分布数据，后台进程进行数据分裂两者的区别主要在于：1、HBase依赖于HDFS；MongoDB直接存储在本地磁盘中2、HBase按照列族将数据存储在不同的文件中；MongoDB不分列，整个文档都存储在一个（或者说一组）文件中，通过一个有一个通用的.ns文件保存名称空间（Column-based和Document-Based之间的区别应该是指这个地方吧）3、HBase一个region 阅读全文
posted @ 2014-04-08 14:42 郑文亮 阅读(1080) 评论(0) 推荐(0) 编辑
hbase运维
摘要：NoSQL现在风生水起，hbase的使用也越来越广，但目前几乎所有的NoSQL产品在运维上都没法和DB相提并论，在这篇blog中来总结下我们在运维hbase时的一些问题以及解决的方法，也希望得到更多hbase同行们的建议，:)在运维hbase时，目前我们最为关注的主要是三大方面的状况： 1. Cluster load； 2. 读写； 3. 磁盘空间。1. Cluster load 集群的load状况直接反映了集群的健康程度，load状况的获取非常容易，直接部署ganglia即可得到，由于hbase以优秀的可伸缩性著称，因此 多数情况下load超出接受范围时加机器是一个不错的解决方法，当然，这还 阅读全文
posted @ 2014-04-08 14:24 郑文亮 阅读(712) 评论(0) 推荐(0) 编辑
HBase in 2013
摘要：2013年马上就要过去了，总结下这一年HBase在这么一年中发生的主要变化。影响最大的事件就是HBase 0.96的发布，代码结构已经按照模块化release了，而且提供了许多大家迫切需求的特点。这些特点大多在Yahoo/Facebook/淘宝/小米 等公司内部的集群中跑了挺长时间了，可以算是比较稳定可用了。1，Compaction优化HBase的Compaction是长期以来广受诟病的一个feature，很多人吐槽 HBase也是因为这个特征。不过我们不能因为HBase有这样一个缺点就把它一棒子打死，更多的还是希望能够驯服它，能够使得它适应自己的应用场景。根 据业务负载类型调整compact 阅读全文
posted @ 2014-04-08 14:23 郑文亮 阅读(314) 评论(0) 推荐(0) 编辑
HBase在京东的完善与创新
摘要：随着大数据处理时代的到来，NoSQL风生水起。京东作为国内最大的综合网络零售商，随着业务数据量爆发式增长，传统的关系数据库在海量数据面前开始显得捉襟见肘，于是京东云平台在Hadoop生态集群经验积累的基础上，引入了HBase作为海量数据存储的基础设施。虽然引入时间不长，但京东数十个业务系统已经使用了HBase，包括实时在线业务、离线批量计算业务、批量导入兼在线访问等业务类型。为了提高资源利用率，多个业务系统可能复用一个HBase集群。而开源的HBase处于发展期，业务之间的存储和访问产生了一些干扰和冲突。于是，为了应用到生产环境尤其是在线业务系统中，京东第一阶段对HBase进行了完善，并根据京 阅读全文
posted @ 2014-04-08 14:21 郑文亮 阅读(438) 评论(0) 推荐(0) 编辑
如何避免regionServer宕机
摘要：为什么regionserver 和Zookeeper的session expired? 可能的原因有1. 网络不好。2. Java full GC， 这会block所有的线程。如果时间比较长，也会导致session expired.怎么办？1. 将Zookeeper的timeout时间加长。2. 配置“hbase.regionserver.restart.on.zk.expire” 为true。 这样子，遇到ZooKeeper session expired ， regionserver将选择 restart 而不是 abort具体的配置是，在hbase-site.xml中加入zookeepe 阅读全文
posted @ 2014-04-08 14:04 郑文亮 阅读(2539) 评论(0) 推荐(0) 编辑
hbase多用户入库，regionserver下线问题
摘要：近期对hbase多用户插入数据时，regionserver会莫名奇妙的关闭，regionserver的日志有很多异常：如下：org.apache.hadoop.hbase.DroppedSnapshotException: region: t,12130111020202,1369296305769.f14b9a1d05ae485981f6a8579f1324fb. at org.apache.hadoop.hbase.regionserver.HRegion.internalFlushcache(HRegion.java:1000) at org.apache.hadoop.hb... 阅读全文
posted @ 2014-04-08 14:01 郑文亮 阅读(2806) 评论(0) 推荐(0) 编辑
java 实现视频转换通用工具类：视频截图-Ffmpeg（四）
摘要：java实现视频转换通用工具类：获取视频元数据信息（一）java实现视频转换通用工具类：视频相互转换-总方法及Mencoder（二）java 实现视频转换通用工具类：视频相互转换-Ffmpeg（三）1.ffmpeg 截图，自定义命令行[java]view plaincopy/***ffmpeg截图，自定义命令行*@paramsrcVideoPath源文件*@paramshellLine自定义shell命令行*@paramtarImagePath目标文件*@return*/publicstaticbooleanprocessFfmpegImage(StringsrcVideoPath,Strin 阅读全文
posted @ 2014-04-04 17:30 郑文亮 阅读(1084) 评论(0) 推荐(0) 编辑
java 实现视频转换通用工具类：视频相互转换-Ffmpeg（三）
摘要：java实现视频转换通用工具类：获取视频元数据信息（一）java实现视频转换通用工具类：视频相互转换-总方法及Mencoder（二）这节主要是ffmpeg的相关方法封装，在实际调用中主要使用ffmpeg的方法，Mencoder方法暂时没有用上，同时ffmpeg都是采用的编译好的静态文件。视频转换时没有加额外的参数，如果有需要，可添加扩展就ok。1.判断系统支持那些编码[java]view plaincopy/***判断系统支持那些编码*@paramsrcVideoPath*@return*/publicstaticvoidprocessFfmpegCodeFormat(){Listcommen 阅读全文
posted @ 2014-04-04 17:29 郑文亮 阅读(13516) 评论(0) 推荐(1) 编辑
java 实现视频转换通用工具类：视频相互转换-总方法及Mencoder（二）
摘要：1.自动判断格式并调用相应的转换工具，默认方法[java]view plaincopy/***自动判断格式并调用相应的转换工具，默认方法*@paramsrcVideoPath*@paramtarVideoPath*@return*/publicstaticbooleanvideoConver(StringsrcVideoPath,StringtarVideoPath){booleanboo=true;if(StringUtils.isNotEmpty(srcVideoPath)&&StringUtils.isNotEmpty(tarVideoPath)){srcVideoPat 阅读全文
posted @ 2014-04-04 17:28 郑文亮 阅读(1008) 评论(0) 推荐(0) 编辑
java 实现视频转换通用工具类：获取视频元数据信息（一）
摘要：java 做视频转换主要用到开源的ffmpeg或者mencoder，还要有MP4Box。注：由于平时都没有时间写博客，所以思路我就不写了，有问题问我，不一定马上回复。详细介绍：ffmpeg：http://www.ffmpeg.org/mencoder：http://en.wikipedia.org/wiki/MEncoderMP4Box：http://gpac.wp.mines-telecom.fr/mp4box/mp4box-documentation/主要实现：1.获取视频元数据信息2.视频相互转换3.视频加文字及图片水印4.视频截图思路：配置文件中定义各转换工具的路径：（相关工具去官网下 阅读全文
posted @ 2014-04-04 17:27 郑文亮 阅读(821) 评论(0) 推荐(0) 编辑
RSS实例文档
摘要：W3SchoolHomePagehttp://www.w3school.com.cnFreewebbuildingtutorialsRSSTutorialhttp://www.w3school.com.cn/rssNewRSStutorialonW3SchoolXMLTutorialhttp://www.w3school.com.cn/xmlNewXMLtutorialonW3School 阅读全文
posted @ 2014-04-04 16:52 郑文亮 阅读(300) 评论(0) 推荐(0) 编辑
ONIX 实例
摘要：Portadas.netBernie Rabowbernie.rabow@portadas.netEDItEURDavid Martin1213200007311330Prueba en Españolspa 阅读全文
posted @ 2014-04-04 16:50 郑文亮 阅读(343) 评论(0) 推荐(0) 编辑
dublin core实例
摘要： 阅读全文
posted @ 2014-04-04 16:42 郑文亮 阅读(377) 评论(0) 推荐(0) 编辑
Atom实例
摘要：示例[编辑]一个Atom文档： Example Feed A subtitle. urn:uuid:60a76c80-d399-11d9-b91C-0003939e0af6 2003-12-13T18:30:02Z John Doe johndoe@example.com Atom-Powered Robots Run Amok urn:uuid:1225c695-cfb8-4ebb-aaaa-80da344efa6a 2003-12-13T18:30:02Z Some text. 包含于XHTML[编辑]下列标签会被插入XHTML文档的头部以提供AT... 阅读全文
posted @ 2014-04-04 16:31 郑文亮 阅读(659) 评论(0) 推荐(0) 编辑
订阅基础：RSS、ATOM、FEED、聚合、供稿、合烧与订阅
摘要：很多网友对这类名词概念非常陌生，如果没用过FEED订阅，肯定还会对诸多网站显示的FEED聚合、订阅、ATOM等等非常郁闷，虽然这几个名字间的很多并非并列关系，天缘只是有意把它们放到一起，方便对比参考，因为天缘每次看到这些东西，都要楞一下才能反应过来，越发感觉中文演绎词的虚假和忽悠，其实不过是把人家网站的XML格式文件打个包、分个类然后输出，仅此而已，反而如果只说聚合会越看越糊涂。一、RSS是什么RSS（全称RDF Site Summary，网景的最初定义），RSS也是一种“类网页”描述语言（或叫文档格式），最初由网景公司（Netscape）定义，RSS只是有个相对统一的规范（注意只是规范），前 阅读全文
posted @ 2014-04-04 16:18 郑文亮 阅读(1836) 评论(0) 推荐(0) 编辑
XML模式:Dublin Core
摘要：Dublin Core 标准是一种信息分类方法，常用于图书馆。Dublin Core 标准有一个 XML Schema 定义了如何使用 XML 描述这类信息。Dublin Core 可以有效地对各种信息编目，并且使它们易于修改、查询和使用。Dublin Core 目前在信息描述和定义中的应用使语义 Web 得以现实。通过使用一种统一的标准来描述数据，同时，更重要的是使用精心设计并经过实践检验的解决方案，可以详细描述其他 XML 文档中的数据，从而可以在不同来源之间有效地交换和比较信息。Dublin Core 规范有自己的模式，但其目的是嵌入更大的 XML 文档，使用 XML 名称空间定义描述文 阅读全文
posted @ 2014-04-04 14:08 郑文亮 阅读(571) 评论(0) 推荐(0) 编辑
Dublin Core
摘要：DC(Dublin Core) 是数字图书馆中使用的一组简单的包括15个“核心元素”的元数据元素集合，主要用于描述数字对象、馆藏管理和元数据交换。 这15项元数据不仅适用于电子文献目录，也适用于各类电子化的公务文档目录，产品、商品、藏品目录，具有很好的实用性。目录1DC(Dublin Core)215项广义元数据▪名称（Title）▪创作、制作者（Creator）▪主题及关键词（Subject and Keywords）▪说明（Description）▪出版者（Publisher）▪发行者（Contributor）▪时间（Date）▪类型（Type）▪格式（Format）▪标识（Identif 阅读全文
posted @ 2014-04-04 14:07 郑文亮 阅读(569) 评论(0) 推荐(0) 编辑
海量数据的理想存储方案
摘要：随着信息化建设的不断深入，企业级的信息管理平台已经完成了从信息化建设到数据积累的职能转变，在一些信息化起步较早、系统建设较规范的行业，如通信、金融、大型生产制造等领域，海量数据的存储、分析需求的迫切性日益明显。以移动通信运营商为例，随着移动业务和用户规模的不断扩大，每天都产生海量的业务、计费以及网管数据，然而庞大的数据量使得传统的数据库存储已经无法满足存储和分析需求。主要面临的问题包括：数据库容量有限：关系型数据库并不是为海量数据而设计，设计之初并没有考虑到数据量能够庞大到PB级。为了继续支撑系统，不得不进行服务器升级和扩容，成本高昂，难以接受。并行取数困难：除了分区表可以并行取数外，其它情况 阅读全文
posted @ 2014-04-03 16:45 郑文亮 阅读(1866) 评论(0) 推荐(0) 编辑
百亿级别数据量，又需要秒级响应的案例，需要什么系统支持呢？下面介绍下大数据实时分析工具Yonghong Z-Suite
摘要：Yonghong Z-Suite 除了提供优秀的前端BI工具之外，Yonghong Z-Suite让用户可以选购分布式数据集市来支持实时大数据分析。 对于这种百亿级的大数据案例，Yonghong Z-Suite有哪些技术可以保证大数据的实时响应呢？下面大致从技术上介绍下：库内计算(In-Database Computing) Z-Suite支持各种常见的汇总，还支持几乎全部的专业统计函数。得益于库内计算技术，Z-Suite数据分析引擎将找寻出最优化的计算方案，继而把所有开销较大的、昂贵的计算都移动到数据存储的地方直接计算，称之为库内计算(In-Database)。这一技术大大减少了数据移动，降 阅读全文
posted @ 2014-04-03 15:59 郑文亮 阅读(8299) 评论(0) 推荐(0) 编辑
用HiveDB横向切分MySQL数据库
摘要：HiveDB是一个用来横向切分mysql数据库的开源框架，构建一个高性能和可扩展的基于mysql的系统需要大量的系统设计经验和良好的代码的实现，一个比较好的策略是将你的数据横向切分在多个server上，HiveDB就是个不错的选择，它的发展情况和特点如下：1. HiveDB是在2007年5月"Bay Area Community Meetup"首次出现，底层基于Hibernate shards基础实现。Hibernate shards 则是 Google 的开发工程师在"20%工作时间可以干别的有兴趣事情"环境下开发出来的一个 Hibernate ext 阅读全文
posted @ 2014-04-03 14:42 郑文亮 阅读(1906) 评论(0) 推荐(0) 编辑
超详细单机版搭建hadoop环境图文解析
摘要：前言：年前，在老大的号召下，我们纠集了一帮人搞起了hadoop，并为其取了个响亮的口号“云在手，跟我走”。大家几乎从零开始，中途不知遇到多少问题，但终 于在回家之前搭起了一个拥有12台服务器的集群，并用命令行在该集群上运行了一些简单的mapreduce程序。想借此总结我们的工作过程。安装过程：一、安装Linux操作系统二、在Ubuntu下创建hadoop用户组和用户三、在Ubuntu下安装JDK四、修改机器名五、安装ssh服务六、建立ssh无密码登录本机七、安装hadoop八、在单机上运行hadoop一、安装Linux操作系统我们是在windows中安装linux系统的，选择的是ubuntu1 阅读全文
posted @ 2014-04-03 14:33 郑文亮 阅读(381) 评论(0) 推荐(0) 编辑
数据库水平切分的实现原理解析－－－分库，分表，主从，集群，负载均衡器
摘要：第1章引言随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的 互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能，横向扩展数据层 已经成为架构研发人员首选的方式。水平切分数据库，可以降低单台机器的负载，同时最大限度的降低了了宕机造成的损失。通过负载均衡策略，有效的降低了单台 机器的访问负载，降低了宕机的可能性；通过集群方案，解决了数据库宕机带来的单点数据库不能访问的问题；通过读写分离策略更是最大限度了提高了应用中读取 （Read）数据的速度和并发量。目前国内的大型互联网应用中，大量 阅读全文
posted @ 2014-04-03 13:39 郑文亮 阅读(837) 评论(0) 推荐(0) 编辑
服务框架HSF分析之一容器启动
摘要：大家平时都在用这个服务框架。简单阅读了下代码，了解其原理可以方便解决一些常见hsf的问题。限于篇幅，整个分析将分几个系列发布。第一篇将简单介绍Hsf的启动和各组件之间关系。一. Hsf总体架构这个图很经典，想必大家都了解，Consumer，Provider，中间通过ConfigServer联接。那么其内部是如何实现的呢？请看下文。二. 容器启动，jboss为例HSF使用基于equinox(OSGi框架的eclipse实现,http://www.eclipse.org/equinox/)的OSGi，启动流程1./opt/xxxx/jboss/server/default/conf/xmdesc/ 阅读全文
posted @ 2014-04-03 11:09 郑文亮 阅读(9668) 评论(0) 推荐(1) 编辑
淘宝HSF服务的原理以及简单的实现
摘要：淘宝HSF服务具体来说分三个应用：api接口，service服务，本地应用。 最基本的Api服务应该是十分干净的，不含方法，只有接口。它是要被打包(jar包的形式)到中央仓库去的。 service服务是api接口的实现，它是要被打包成（最常见的是war包）安装到远程tomcat，或jboss中，作为服务要随时等待各种应用的调用的。 本地应用自然是各种应用了。 接口部分的pom文件： 4.0.0 com.taobao.hsftest itest 1.0.0.SNAPSHOT 接口： package com.taobao.itest; public inte... 阅读全文
posted @ 2014-04-03 11:05 郑文亮 阅读(14277) 评论(1) 推荐(0) 编辑
DAS 原文出自【比特网】
摘要：http://www.360doc.com/content/13/1114/11/10504424_329109113.shtml 阅读全文
posted @ 2014-04-03 08:52 郑文亮 阅读(368) 评论(0) 推荐(0) 编辑
NAS、DAS和SAN三种存储究竟是什么？
摘要：首先，NAS(Network Attached Storage，网络附加存储)全面改进了以前低效的DAS存储方式，它是采用独立于PC服务器，单独为网络数据存储而开发的一种文件服务器。 NAS服务器中集中连接了所有的网络数据存储设备(如各种磁盘阵列、磁带、光盘机等)，存储容量可以较好地扩展，同时由于这种网络存储方式是NAS服务器独立承担的，所以，对原来的网络服务器性能基本上没什么影响，以确保整个网络性能不受影响。它提供了一个简单、高性价比、高可用性、高扩展性和低总拥有成本的网络存储解决方案。 其次，DAS(Direct Attached Storage，直接外挂存储)是存储方式的一种方案。这种. 阅读全文
posted @ 2014-04-03 08:48 郑文亮 阅读(4555) 评论(0) 推荐(0) 编辑
深入浅出谈存储之NAS是什么
摘要：NAS是Network-Attached Storage的简称。中文一般称为“网络附加存储”，或者“网络连接存储”。但是再爱国的业内人士也不喜欢叫这个中文名，就像乡下阿伯也不喜欢把NBA叫做“国家篮球联盟”一样。我们可以顾名思义的把NAS理解成通过网络提供存储的设备。比如你在装了Linux的电脑上共享一个目录，让其他Linux客户能够通过NFS协议访问该目录，那这台电脑就是一定意义上的NAS。如果你在这台电脑上装些软件，让Windows用户(通过CIFS)和Linux用户(通过NFS)都能访问这台电脑上的共享目录，那这台电脑就成了完全意义的NAS。一般NAS支持CIFS和NFS等协议，有些甚至 阅读全文
posted @ 2014-04-03 08:44 郑文亮 阅读(23028) 评论(0) 推荐(1) 编辑
揭秘淘宝自主研发的文件系统：TFS
摘要：目前，国内自主研发的文件系统可谓凤毛麟角。淘宝在这一领域做了有效的探索和实践，Taobao File System（TFS）作为淘宝内部使用的分布式文件系统，针对海量小文件的随机读写访问性能做了特殊优化，承载着淘宝主站所有图片、商品描述等数据存储。本文揭秘了淘宝自主研发的文件系统TFS那些事儿。AD：51CTO学院：IT精品课程在线看！TFS（Taobao FileSystem）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，其设计目标是支持海量的非结构化数据。目前，国内自主研发的文件系统可谓凤毛麟角。淘宝在这一领域做了有效的探索和实践，Taobao File System（T 阅读全文
posted @ 2014-04-02 17:16 郑文亮 阅读(1306) 评论(0) 推荐(0) 编辑
揭秘淘宝286亿海量图片存储与处理架构
摘要：8月27日下午，在IT168系统架构师大会存储与系统架构分论坛上，淘宝网技术委员会主席，淘宝网核心工程师章文嵩向我们详细介绍了淘宝网图片处理与存储系统的架构。章文嵩博士的演讲日程包括了淘宝的整个系统架构、淘宝图片存储系统架构，淘宝网独立开发的TFS集群文件系统，前端CDN系统以及淘宝网在节能服务器方面的应用和探索。LVS创始人，淘宝网技术委员会主席，淘宝网核心工程师章文嵩先生 本文侧重介绍淘宝网后台的图片存储系统架构、包括TFS集群文件系统，以及前端处理服务器架构。该系统前端CDN架构，以及淘宝网在节能服务器应用方面的探索，请参考： 淘宝商城286亿图片访问的CDN架构全解析 教你省钱！... 阅读全文
posted @ 2014-04-02 16:21 郑文亮 阅读(7503) 评论(0) 推荐(1) 编辑
无状态服务（stateless service）
摘要：一、定义无状态服务（stateless service）对单次请求的处理，不依赖其他请求，也就是说，处理一次请求所需的全部信息，要么都包含在这个请求里，要么可以从外部获取到（比如说数据库），服务器本身不存储任何信息有状态服务（stateful service）则相反，它会在自身保存一些数据，先后的请求是有关联的二、优劣有状态服务常常用于实现事务（并不是唯一办法，下文有另外的方案）。举一个常见的例子，在商城里购买一件商品。需要经过放入购物车、确认订单、付款等多个步骤。由于HTTP协议本身是无状态的，所以为了实现有状态服务，就需要通过一些额外的方案。比如最常见的session，将用户挑选的商品（购 阅读全文
posted @ 2014-04-02 15:53 郑文亮 阅读(6014) 评论(0) 推荐(1) 编辑
淘宝网架构分享总结
摘要：上周六参加了一场由淘宝的架构师，曾宪杰先生主讲的淘宝网架构分享。然后马上就出差了，一直没来得及总结，今晚比较有空，把这次听到的比较有启发的观点记录一下一、为什么stateless比较有利于实现水平伸缩关于什么是stateless的扫盲，见这个贴：http://kyfxbl.iteye.com/blog/1831869一般有一个共识，就是把应用做成无状态的，会比较容易实现水平伸缩。但是以前一直有一个想法，就算应用是有状态的，也可以做成水平伸缩：只需要在负载均衡那里做一个session绑定就可以了，根据某种标识，把请求固定地发送到特定的server上但是相对于有状态，stateless是更好的，主 阅读全文
posted @ 2014-04-02 15:51 郑文亮 阅读(8703) 评论(2) 推荐(0) 编辑
数据库Sharding的基本思想和切分策略
摘要：本文着重介绍sharding的基本思想和理论上的切分策略，关于更加细致的实施策略和参考事例请参考我的另一篇博文：数据库分库分表(sharding)系列(一) 拆分实施策略和示例演示一、基本思想 Sharding的基本思想就要把一个数据库切分成多个部分放到不同的数据库(server)上，从而缓解单一数据库的性能问题。不太严格的讲，对于海量数据的数据库，如果是因为表多而数据多，这时候适合使用垂直切分，即把关系紧密（比如同一模块）的表切分出来放在一个server上。如果表并不多，但每张表的数据非常多，这时候适合水平切分，即把表的数据按某种规则（比如按ID散列）切分到多个数据库(server)上。当然 阅读全文
posted @ 2014-04-02 14:59 郑文亮 阅读(991) 评论(0) 推荐(0) 编辑
用sharding技术来扩展你的数据库（一）sharding 介绍
摘要：数据库的sharding技术作为一个“新瓶装旧酒”的概念，在新的应用环境中被赋予了新的意义。随着云计算的发展，sharding在最近几年是越来越火热，越来越多的产品开始声称自己支持sharding功能。那么到底什么是sharding，sharding到底能为你的数据库应用带来哪些好处。另外最重要的，如何实现一个sharding系统，有哪些sharding算法可供选择。本文将为你解决这些问题。一.简介1.背景数据库的扩展是一个永恒的话题。对于传统的关系数据库，采用的是纵向扩展（Scale Up）的方式，即买更好的机器添加更多的资源来取得更好的性能（如硬件升级、更快更多的CPU、更大的内存、更多更 阅读全文
posted @ 2014-04-02 14:52 郑文亮 阅读(11558) 评论(0) 推荐(0) 编辑
什么是Scale Up和Scale Out？
摘要：导读:Scale Out（也就是Scale horizontally）横向扩展，向外扩展 Scale Up（也就是Scale vertically）纵向扩展，向上扩展 无论是Scale Out，Scale Up，Scale In，实际上就是一种架构的概念，这些概念用在存储上可以，用在数据库上，网络上一样可以。 简单比喻下ScScale Out（也就是Scale horizontally）横向扩展，向外扩展Scale Up（也就是Scale vertically）纵向扩展，向上扩展无论是Scale Out，Scale Up，Scale In，实际上就是一种架构的概念，这些概念用在存储上可以，用在 阅读全文
posted @ 2014-04-02 14:30 郑文亮 阅读(3289) 评论(0) 推荐(0) 编辑
淘宝网采用什么技术架构来实现网站高负载的
摘要：时间过得很快，来淘宝已经两个月了，在这两个月的时间里，自己也感受颇深。下面就结合淘宝目前的一些底层技术框架以及自己的一些感触来说说如何构建一个可 伸缩，高性能，高可用性的分布式互联网应用。相关专题：淘宝双11背后高并发技术讨论一 应用无状态(淘宝session框架)俗话说，一个系 统的伸缩性的好坏取决于应用的状态如何管理。为什么这么说呢?咱们试想一下，假如我们在session中保存了大量与客户端的状态信 息的话，那么当保存状态信息的server宕机的时候，我们怎么办?通常来说，我们都是通过集群来解决这个问题，而通常所说的集群，不仅有负载均衡，更重要的是要有失效恢复failover,比如tomc 阅读全文
posted @ 2014-04-02 14:25 郑文亮 阅读(1828) 评论(0) 推荐(0) 编辑
关于淘宝的数据库系统
摘要：江枫先给我们介绍一下自己，和你在这次淘宝“双十一”事件中所扮演的角色？大家好，我是淘宝技术保障部的江枫。目前主要负责数据库的稳定性这一块。双十一这一天，我主要是负责协调整个数据库团队和保障整个数据库在“双十一”过程中的稳定性不受任何影响。那给我们详细的谈一下淘宝网现在整个数据库整体的一个架构，包括它硬件的组成。淘宝的数据库发展到今天，已经是一个非常复杂的系统。我大概算了一下，淘宝目前所有的数据库服务器加起来可能已经超过800台。那在这么一个规模底下，淘宝的数据库团队这么多年也是随着淘宝的业务发展一起成长起来的，但淘宝数据库目前核心的数据库还在小型机和高端的存储上面，还有很多的数据库现在是用的是 阅读全文
posted @ 2014-04-02 14:01 郑文亮 阅读(7664) 评论(0) 推荐(0) 编辑
论文文章书籍
摘要：网上经常要查论文文章书籍看看，经常需要付费下载。转这个给大家试试：（网上看的，我也没仔细试验）也需有用： 如何通过国家图书馆下载论文 http://weibo.com/p/1001603694597959207549 （需要微博登陆） 或看这个 ： https://www.evernote.com/shard/s329/sh/e32d6f00-4ee8-4d1d-b694-3e59c3311595/038ef5c07a87249482fba3a3b588083a 阅读全文
posted @ 2014-04-02 11:12 郑文亮 阅读(239) 评论(0) 推荐(0) 编辑
哪里有比较全的hadoop视频教程
摘要：robby老师讲了套hadoop视频，讲的比的深入浅出，内容很丰富，把网盘下载地址提供给大家一下：视频下载啦很大，有图有真相：1，Hadoop介绍，HDFS和MapReduce工作原理：http://kuai.xunlei.com/d/CLCBYHQKJQNT2、安装Hadoop(单机版和集群), HDFS的命令行工具使用（1）:http://kuai.xunlei.com/d/CSMFERCHAGEE 阅读全文
posted @ 2014-04-02 10:43 郑文亮 阅读(482) 评论(0) 推荐(0) 编辑