李占卫的网上家园

摘要： 部署服务端1：下载hadoop-1.0.0.tar.gz2：安装JDK 1.63：修改配置文件core-site.xml<configuration> <property> <name>fs.default.name</name> <value>hdfs://10.53.132.52:9000</value> </property></configuration>hadoop-env.shexport JAVA_HOME=/usr/java/jdk1.6.0_29hdfs-site.xml<c 阅读全文

摘要： 1：vi 文本编辑命令vi /etc/X11/gdm/gdm.confinsert 键 插入delete 键 删除/ 查找esc 退出当前操作回到命令行。:wq 保存退出:q!　不保存文件，直接退出2：windows 连接 linux1：修改gdm配置find -name gdmvi 配置文件[security]AllowRemoteRoot=true[xdmcp]Enable=1Port=1772：Xmanager Enterprise 4 连接3：lsb_release -a 查看系统版本4：JDK /etc/profileHISTSIZE=1000JAVA_HOME=/usr/java/ 阅读全文

摘要： 1 echo 和 @@ #关闭单行回显echo off #从下一行开始关闭回显@echo off #从本行开始关闭回显。一般批处理第一行都是这个echo on #从下一行开始打开回显echo #显示当前是 echo off 状态还是 echo on 状态echo. #输出一个”回车换行”，空白行 #(同echo, echo; echo+ echo[ echo] echo/ echo")2 errorlevelecho %errorlevel%每个命令运行结束，可以用这个命令行格式查看返回码默认值为0，一般命令执行出错会设 errorlevel 为13 dirdir #显示当前目录中的 阅读全文

摘要： 单点AVGMAXMinInsert12463239601170Updade719789554752Select17675192338566delete728988001040insert : update : select : delete = 1:1:1:12280 : 2179 : 6430 : 273215291 : 3543 : 15392 : 4627125 : 1221 : 908 : 1583MSAVGMAXMinInsert7995201293070Updade656285692004Select239982450318937delete461867091151insert : 阅读全文

摘要： 1.Redis是什么？ 十五分钟介绍 Redis数据结构Redis系统性介绍一个很棒的Redis介绍PPT强烈推荐！非同一般的Redis介绍Redis之七种武器锋利的Redisredis 适用场景与实现 2.Redis内部实现 Redis源码分析系列文章深入Redis内部-Redis 源码讲解redis源码分析-如何rehashRedis源码分析-内存分配深入Redis内部-Redis GET、SET 操作过程Redis深入浅出-Redis内部结构图解PPT深入理解Redis内部实现Redis zipmap内存布局分析Redis内存存储结构分析Redis2.4 backgroud thread 阅读全文

摘要： 原文地址：http://blog.nosqlfan.com/html/3548.html1.MongoDB是什么 MongoDB介绍PPT分享MongoDB GridFS介绍PPT两则初识 MongoDB GridFSMongoDB GridFS 介绍一个NoSQL与MongoDB的介绍PPTMongoDB:下一代MySQL？写给Python程序员的MongoDB介绍又一篇给Python程序员的MongoDB教程MongoDB源码研究系列文章白话MongoDB系列文章MongoDB Tailable Cursors 特性介绍MongoDB 文档阅读笔记 —— 优雅的 NoSQLMongoDB. 阅读全文

摘要： 原文：http://blog.nosqlfan.com/html/1750.html MongoDB 的replication机制除了最普通的Master/Slave模式之外，更强大的就是其支持自动故障转移的Replica Sets模式了。相对于其问题多多的auto-sharding机制，Replica Sets还是相对比较稳定。 作为MongoDB使用大户，Foursquare（简称4... 阅读全文

摘要： 原文地址：http://blog.nosqlfan.com/html/3515.html有人在Quora上提问：MongoDB数据文件内部的组织结构是什么样的。随后10gen的工程师Jared Rosoff出来做了简短的回答。 每一个数据库都有自己独立的文件。如果你开启了directoryperdb选项，那你每个库的文件会单独放在一个文件夹里。 数据库文件在内部会被切分成单个的块，每个块只保存一个名字空间的数据。在MongoDB中，名字空间用于区分不同的存储类别。比如每个collection有一个独立的名字空间，每个索引也有自己的名字空间。 在一个块中，会保存多条记录，每条记录是BSON格式. 阅读全文

摘要： http://www.yankay.com/wp-content/uploads/2010/02/db/db.htmlhttp://www.yankay.com/wp-content/hbase/book.html 阅读全文

摘要： 本文转自IBM的developerWorks，主题是关于使用NoSQL存储和处理大规模数据，文章列举了一些循序渐进的学习资料，包括了视频音频和文字材料，是一个很不错的了解、学习NoSQL的知识向导。RDBMS 模型是传统 C/S 模式存储数据的重要基础，但是它无法实现以简单且低廉的方式进行扩展。而目前，更多的应用需求是像 Facebook 和 Twitter 一样需要拥有很强的可扩展性，所以，无模式的存储模型 – NoSQL 应运而生，提供了相应的解决方案。本学习路线图向 Java 开发人员介绍了 NoSQL 技术，以及 Apache Hadoop MapReduce 技术在处理大规模数据方面 阅读全文

摘要： 一 约定 <> 单个的功能键或者字符 例如<Ctrl>表示键盘上的Control键 红色的表示非常重要 非常实用的二 需要注意的地方 1 Linux是区分大小写的, A和a是完全不同的两个字符 2 文件名最长可以有256个字符,可以由 字母,数, " ." , "_" , "-"组成, 事实上中文也 是可以的 3 以.开始的文件被认为是隐藏文件, 使用ls -a显示所有文件 4 /跟DOS(Windows)下的/一样,表示这个文件是其它文件的上层目录 5 在所有的配置文件里, 以#起始的行就被注释掉,相当于C语 阅读全文

摘要： 有用的命令db.helpdb.collectionname.help 时区问题> db.test.insert({"date":new Date("2012-2-2"),"num":1})> db.test.insert({"date":new Date("2012-02-02"),"num":2... 阅读全文

摘要： 缓存设计的一些思考Oceanbase – 千亿级海量数据库【分布式系统工程实现】分布式事务ACID是单机事务的特性，不过在分布式系统中，由于两台机器理论上无法达到一致的状态（参考Fischer等的论文），需要引入一个单点进行协调，这就出现了著名的两阶段锁协议。两阶段锁(Two-phase commit)协议是每个分布式工程师必须掌握的协议，大致如下：1, Prepare：协调者(Coordinator)给每个参与者(Participants)发送Prepare消息，每个参与者要么直接返回失败，比如权限验证失败，要么在本地执行但不提交，到达一种“万事俱备，只欠东风”的状态；2, Commit/R 阅读全文

摘要： 基本操作db.AddUser(username,password) //添加用户 db.auth(usrename,password) //设置数据库连接验证 db.cloneDataBase(fromhost) //从目标服务器克隆一个数据库 db.commandHelp(name) //returns the help for the command db.copyDatabase(fromdb,todb,fromhost) //复制数据库fromdb---源数据库名称，todb---目标数据库名称，fromhost---源数据库服务器地址 db.createCollection(name 阅读全文

摘要： Lucene.Net 系列一本文介绍了什么是Lucene,Lucene能做什么.如何从一个文件夹下的所有txt文件中查找特定的词?本文将围绕该个实例介绍了lucene.net的索引的建立以及如何针对索引进行搜索.最后还将给出源代码供大家学习.源代码下载What’s LuceneLucene是一个信息检索的函数库(Library),利用它你可以为你的应用加上索引和搜索的功能.Lucene的使用者不需要深入了解有关全文检索的知识,仅仅学会使用库中的一个类,你就为你的应用实现全文检索的功能.不过千万别以为Lucene是一个象google那样的搜索引擎,Lucene甚至不是一个应用程序,它仅仅是一个工 阅读全文

摘要： 1:update logs set date =STR_TO_DATE(CONCAT(query,tt),'%Y-%m-%d %H:%i:%s');2:在用.net 连接mysql 5时,可能出现这样的错误提示:"unable to convert MySQL datetime value to System.DateTime";这个时候可以在连接字符串中添加这样语句:"Server=localhost;UserId=root;Database=powergsm;allow zero datetime=true";这样就可以对全0的日期不 阅读全文

摘要： 原文（英文）地址： http://www.mnot.net/cache_docs/ 版权声明：署名-非商业性使用-禁止演绎 2.0这是一篇知识性的文档，主要目的是为了让Web缓存相关概念更容易被开发者理解并应用于实际的应用环境中。为了简要起见，某些实现方面的细节被简化或省略了。如果你更关心细节实现则完全不必耐心看完本文，后面参考文档和更多深入阅读部分可能是你更需要的内容。什么是Web缓存，为什么要使用它？ 缓存的类型： 浏览器缓存； 代理服务器缓存；Web缓存无害吗？为什么要鼓励缓存？ Web缓存如何工作： 如何控制（控制不）缓存： HTML Meta标签 vs. HTTP头信息； Pragm 阅读全文

摘要： 为了方便部分博友和我自己，我特地将BigTable的中文版论文转载到本博客，原文地址在Google Labs，译者为alex。Wiki百科关于 BigTable的解释：http://en.wikipedia.org/wiki/BigTableBigTable 英文原版：http://labs.google.com/papers/bigtable.html摘要Bigtable是一个分布式的结构化数据... 阅读全文

摘要： 在做Socket 编程时，我们经常会要问，单机最多可以建立多少个 TCP 连接，本文将介绍如何调整系统参数来调整单机的最大TCP连接数。Windows 下单机的TCP连接数有多个参数共同决定，下面一一介绍：最大TCP连接数[HKEY_LOCAL_MACHINE \System \CurrentControlSet \Services \Tcpip \Parameters]TcpNumConnections = 0x00fffffe (Default = 16,777,214)以上注册表信息配置单机的最大允许的TCP连接数，默认为 16M。这个数值看似很大，这个并不是限制最大连接数的唯一条件，还 阅读全文

摘要： 1：前言 这一段给公司开发消息总线有机会研究ActiveMQ，今天撰文给大家介绍一下他的持久化消息。本文只介绍三种方式,分别是持久化为文件，MYSql，Oracle。下面逐一介绍。A：持久化为文件 这个你装ActiveMQ时默认就是这种，只要你设置消息为持久化就可以了。涉及到的配置和代码有[代码]B：持久化为MySql 你首先需要把MySql的驱动放到ActiveMQ的Lib目录下，我用的文... 阅读全文

摘要： 前言 这个名字起的太大，其实我只是想说明一个设计。这个设计是用于收集并分析用户行为的。 一般我们分析用户行为离不开数据，这些数据可以来自于数据库也可以来自于用户操作日志。这里我介绍的就是基于用户操作日志的行为分析方法。这个方法也可以说是一个设计，该设计包含三个部分。第一部分是用户行为数据收集第二部分是用户行为数据汇总最后是用户行为数据分析。整体结构大概如下图：图中大概能说明整个框架的运行流程。接下... 阅读全文

摘要： [代码] 阅读全文

摘要： !strct eprocessdt -v -r ntdll!_peb （windows2003下改为:dt -v -r nt!_peb）dt _eprocessdt -v -r _eprocess (加上-v -r显示详细结构)dt nt!_driver_object列出可以调试的驱动程序lm t n （以前是!drivers）加入源代码调试file->source file path设置符... 阅读全文

摘要： 前言下午开发一个功能涉及到排序，这里就列举集中并作简单性能对比。本文是作为记录用的也就不多废话了，直接上代码。[代码]num=100 则四种算法都是0MS。num=1000 冒泡6，选择3，插入2，希尔2num=10000 冒泡612，选择309，插入189，希尔182做个简单记录 阅读全文

摘要： .NET类型Oracle类型OracleDbType(必须在映射中指定用粗体表示)TypeHandler(自定义用粗体表示)ByteNUMBER(3)ByteByteTypeHandlerNullableByteTypeHandlerSByteNUMBER(3)Byte或Int16（根据数值范围）SByteTypeHandlerNullableSByteTypeHandlerInt16NUMBER... 阅读全文

摘要： 1：简单介绍MongoDB是一款分布式文档数据库，支持类似关型数据库的主从结构，文档以二进制Json形式存储，无锁，无事务，有索引。2：安装步骤第一步：下载程序集http://www.mongodb.org/downloads第二部：解压并抽取相关的bin目录到C:\Mongo下（这个任意选择） ，并在该目录下建db文件夹。第三部：打开CMD窗口，进入到C:\Mongo\bin目录下，运行mong... 阅读全文

摘要： 原文：http://james.newtonking.com/archive/2009/12/26/json-net-3-5-release-6-binary-json-bson-support.aspx引言： 在日常工作中经常发现要序列化实体的情况，因此一直在找一种高效的序列化方法。之前看过JSON.NET与ProtoBuf。最近再看MongiDB的时候发现他们的存储时BSON，一种二进制的J... 阅读全文

摘要： 整体：Remoting的激活方式有两种客户端激活和服务端激活，顾名思义服务端激活就是服务端负责维护远程服务对象的创建与销毁而客户端激活则是客户端负责远程对象的创建与激活。在服务端激活的模式下根据请求来建立对象，对所有请求建立一个对象的就是Singleton而对每次请求都分别建立对象的叫做SingleCall。SingleCall建立的对象系统自己回收没有生命周期之说而对于Singleton你可以通... 阅读全文

摘要： 1：前言 园子里有很多关于开发库的介绍，但是大多都是关于如何使用开发库的。我想其实开发库中蕴含的思想才是重要的，这里我就撰文补充。本文主要阐述其中的缓冲模块。2：概述 该缓冲模块是个Key-Value型的系统，也就是时下流行的NoSql。当然微软的Demo中提供的只是本地缓冲不过你可以通过简单的扩展就可以实现分布式的缓冲。在这个Key-Value系统中，它可以分为两大功能块。一个功能块是过期或... 阅读全文

摘要： 1：前言 本文介绍一个开源的文件读取类库，给大家提供另外一种文件读取的方法。 项目名称：FileHelpers 项目地址：http://www.filehelpers.com/2：Example代码 Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/--us... 阅读全文