摘要: 最近需要写一个数据迁移脚本,将单一Oracle中的数据迁移到MySQL Sharding集群,在linux下安装cx_Oracle感觉还是有一点麻烦的,整理一下,做个总结。对于Oracle客户端,不只需要安装相应的python模块(这里我用了Oracle官方的python模块——cx_Oracle),还需要安装Oracle Client,一般选择Instant Client就足够了,还需要配置tnsnames.ora(当然也可以简单的通过host:port/schema访问)。安装:1. 首先确定版本。因为我们的Oracle数据是在是有点老,所以我选择了一个比较老的版本——Oracle Ins 阅读全文
posted @ 2012-07-24 19:22 残夜 阅读(22162) 评论(0) 推荐(1) 编辑
摘要: 1. 在 /etc/hosts.allow 写:在/etc/hosts.allow写:sshd: 1.2.3.4在 /etc/hosts.deny 写:sshd: ALL2. 用 iptables 也行:iptables -I INPUT -p tcp --dport 22 -j DROPiptables -I INPUT -p tcp --dport 22 -s 1.2.3.4 -j ACCEPT3. 禁止某个用户通过ssh登录在/etc/ssh/sshd_conf添加AllowUsers 用户名或者AllowGroups 组名或者DenyUsers 用户名4. 设定登录黑名单vi /etc 阅读全文
posted @ 2012-06-12 18:14 残夜 阅读(529) 评论(0) 推荐(0) 编辑
摘要: 1.Source catalog:1.console[("format")]控制台输出,可以带输出内容格式的参数console(“raw”)console(“json”)2.text("filename"[,format])一次读取文件内容,每一个换行做为一个事件。3.tail("filename"[,startFromEnd=false]{,delim="regex", delimMode="exclude|prev|next"})读取文件尾部内容跟linux上tail类似。Filename: 阅读全文
posted @ 2012-06-08 11:33 残夜 阅读(2790) 评论(0) 推荐(0) 编辑
摘要: 一、Flume介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。设计目标:(1) 可靠性当节点出现故障时,日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障,从强到弱依次分别为:end-to-end(收到数据agent首先将event写到磁盘上,当数据传送成功后,再删除;如果数据发送失败,可以重新发送。),Store on failure(这也是scribe采用的策略,当数据接收方crash时,将数据写到本地,待恢复后,继续发送),B 阅读全文
posted @ 2012-05-25 17:43 残夜 阅读(83034) 评论(8) 推荐(10) 编辑
摘要: 什么是CGI?CGI全称是“公共网关接口”(Common Gateway Interface),简单讲是运行在WEB服务器上的一段程序。有浏览器的输入触发,这个脚本通常象服务器和系统中其他程序如数据库的桥梁。CGI脚本工作原理:浏览器通过HTML表单或超链接请求指上一个CGI应用程序的URL。服务器收发到请求。服务器执行指定所CGI应用程序。CGI应用程序执行所需要的操作,通常是基于浏览者输入的内容。CGI应用程序把结果格式化为网络服务器和浏览器能够理解的文档(通常是HTML网页)。网络服务器把结果返回到浏览器中。什么是FastCGI FastCGI像是一个常驻(long-live)型的CG. 阅读全文
posted @ 2012-05-21 16:35 残夜 阅读(1029) 评论(0) 推荐(0) 编辑
摘要: Apache服务器和nginx的优缺点:我们之前大量使用Apache来作为HTTPServer。 Apache具有很优秀的性能,而且通过模块可以提供各种丰富的功能。优点:首先Apache对客户端的响应是支持并发的,运行httpd这个daemon进程之后,它会同时产生多个孩子进程/线程,每个孩子进程/线程分别对客户端的请求进行响应;另外,Apache可以提供静态和动态的服务,例如对于PHP的解析不是通过性能较差的CGI实现的而是通过支持PHP的模块来实现的(通常为mod_php5,或者叫做apxs2)。缺点:Apache的这种Server为process-based server,也就是基于多进 阅读全文
posted @ 2012-05-21 16:12 残夜 阅读(2088) 评论(0) 推荐(0) 编辑
摘要: 本次调研主要对目前主流的WEB服务器Apache/Lighttpd/Nginx下静态文件的访问进行对比。主要从性能、稳定性、简易性(安装、配置、依赖、大小)等方面入手。最后在Windows环境下,对其性能进行比较。简介1. ApacheApache是世界使用排名第一的Web服务器软件。它可以运行在几乎所有广泛使用的计算机平台上,由于其跨平台和安全性被广泛使用,是最流行的Web服务器端软件之一。Apache能取得如此成功并不足为奇:它免费、稳定且性能卓越;但Apache能取得如此佳绩的另一个原因是,当时互联网刚刚兴起时,Apache是第一个可用的Web应用服务器,人们没有其他的选择。对于那些需要 阅读全文
posted @ 2012-05-21 15:50 残夜 阅读(7189) 评论(5) 推荐(4) 编辑
摘要: ~/.bash_profile && ~/.bashrc用户登陆Linux操作系统的时候,"/etc/profile", "~/.bash_profile"等配置文件会被自动执行。执行过程是这样的:登陆Linux系统时,首先启动"/etc/profile",然后启动用户目录下的"~/.bash_profile",如果"~/.bash_login"和"~/.profile"文件存在的时候也会在执行。下面看看"~/.bash_profile"文 阅读全文
posted @ 2012-05-10 10:32 残夜 阅读(1279) 评论(0) 推荐(0) 编辑
摘要: 随着数据量越来越大,MFS的使用中也出现过一些问题,这里做了一些分析和总结,下面和大家分享一下:先提一下MFS出问题时出现比较频繁的两个信息:连接中断坏块问题连接中断问题在Master端会出现如下错误:mfsmaster[15861]: connection with client(ip:10.11.18.175) has been closed by peer表示客户端和master的连接中断mfsmaster[15861]: connection with ML(10.11.19.76) has been closed by peer表示Metalogger和Master的连接中断mfsm 阅读全文
posted @ 2012-05-09 20:00 残夜 阅读(5078) 评论(0) 推荐(0) 编辑
摘要: 今天,报告说moosefs群的写性能就从10MB/sec 降到了3MB/sec。(读性能10MB/sec不变)查之。把MFSMASTER.CFG中默认的:CHUNKS_WRITE_REP_LIMIT = 1CHUNKS_READ_REP_LIMIT = 5改成:CHUNKS_WRITE_REP_LIMIT = 0CHUNKS_READ_REP_LIMIT = 0写入速度恢复到10MB/sec。继而改为:CHUNKS_WRITE_REP_LIMIT = 10CHUNKS_READ_REP_LIMIT = 50写入速度降到300KB/sec。这几个参数是调整moosefs往新机器均衡chunk的力 阅读全文
posted @ 2012-05-08 18:00 残夜 阅读(2073) 评论(0) 推荐(1) 编辑