随笔分类 -  linux

抛弃作为mongoDB做主存储的一些关键因素
摘要：1.Auto-Sharding方式社区里面说不好否定了，Replica Sets在自动选举时候有点慢；所以采用master-slave结构；2.碎片整理和数据文件收缩是噩梦，磁盘空间无限加大；3.复杂查询的分页问题；4.最关键的原因：身边还没有10000w级数据实际生产环境的例子；还没深入太多，可能不是很熟悉的原因；所以暂时还是求稳用mysql比较靠谱，mongodb只用做 GridFS和日志文件存储 阅读全文
posted @ 2011-12-27 09:01 shareach 阅读(362) 评论(0) 推荐(0)
基于即时更新的缓存策略设计草稿
摘要：整体缓存主要嫁接在Memcached和Redis上，Memcached是原子性的Key-Value操作，Redis是借助于其Set、SortedSet的功能将列表置于Redis，提升整体系统性能。 启动2级缓存，写入缓存前，先本地暂存本地队列，再写入数据库，同时更新缓存，这样可以保持所有前端服务器同步；读取时，缓存都是LazyLoading，先读取缓存，如果缓存不存在再将数据库数据读取到缓存，这样... 阅读全文
posted @ 2011-08-06 23:58 shareach 阅读(553) 评论(0) 推荐(0)
hadoop测试（1）---HDFS文件操作 完整测试代码
摘要：最近在找整体存储和分析的方案，海量存储和分析、扩展性都需要考虑，找上了Hadoop,开始只是把它定位到HDFS做存储用，越看越兴奋。 先上HDFS操作这块的测试代码，完整的Eclipse + Tomcat项目，用了Tomcat插件、Hadoop 0.20.0，做海量文件管理器，方便管理； 搭建起来3个入口： tomcat根路径hfs，具体看web.xml /用于文件系统浏览 /upload.j... 阅读全文
posted @ 2011-07-03 05:01 shareach 阅读(2123) 评论(1) 推荐(0)
短小实用的分布式图片存储方案
摘要：最近为网站的图片存储问题烦，虽然上了cdn，由于每天交换的图片数据有几十G，一直一台服务器撑着，但还是经常资源不足，导致无法上传图片或者显示图片；开始的设计是用第三方的存储，但是一直等待对方接口的开发，拖延了3~4个月，最后报价是每年3w多费用，没舍得花，也不想自己的平台受其它人控制着，最后咬了下牙建立了自己比较简单实用的图片存储方案，发现比较实用，分享下，个人属于经济实惠和节约资源的一个方案吧；... 阅读全文
posted @ 2011-03-10 00:02 shareach 阅读(1859) 评论(0) 推荐(1)
使用logparser做 房途网日志（Nginx）分析
摘要：最近做房途网网站监测工具，其中需要分析日志是主要的工作之一，前面用Awstats做分析，发现数据量大了，效率实在太低了，而且很难做具体分析统计入库，最终还是用Logparser来分析Nginx 日志，将统计数据入库，详细信息放到lucene，以方便查询和统计；每天每个城市Nginx的日志大概是500w记录，每100条记录时间如下： 提取5234229中的1000条记录，分析用时8667.60600... 阅读全文
posted @ 2010-09-27 13:44 shareach 阅读(1817) 评论(0) 推荐(1)
AWStats（JAWStats） 分析日志
摘要：最近做房途网SEO，收集网站访问和服务器数据，找了一天分析工具终于找到了一个比较满意的 一直用GA做来分析网站访问情况，logparser分析所有的日志作为辅助，logparser太慢，GA没服务器真实流量统计，AWStats还是蛮强大的，可惜还没找到导出数据方式和一些常用的。 先列几个感觉不足的几个点 1.没有用户路径的分析统计，跟踪用户路径还是很重要的； 2.关键字来源没有，具体哪些页面、... 阅读全文
posted @ 2010-09-08 09:58 shareach 阅读(896) 评论(2) 推荐(0)
转载 linux笔记
摘要：linux目录架构 /       根目录 /bin         常用的命令   binary   file   的目錄 /boot     &#... 阅读全文
posted @ 2010-01-30 11:54 shareach 阅读(247) 评论(0) 推荐(0)
MySql 内存表使用
摘要：内存表使用哈希散列索引把数据保存在内存中，因此具有极快的速度，适合缓存中小型数据库，但是使用上受到一些限制，以下是蓝草使用的一些感受。 阅读全文
posted @ 2009-03-20 13:04 shareach 阅读(5420) 评论(0) 推荐(0)
rhel 5.2 Cacti 安装笔记
摘要：cacti在英文中的意思是仙人掌的意思，但在开源世界里它还有另外一层意思---NOC监控软件，而且除了本身的强大功能外，它还能安装众多插件来实现拓展，在国内很多地方可能还在使用昂贵的NOC软件进行监控的时候，cacti的爱好者们已经可以非常惬意的休息了。终于成功安装完了 Cacti,做了一下笔记 所需的所有安装文件 1.安装rrdtools 修改rrdtool-1.2.23下rrdinstall.... 阅读全文
posted @ 2009-03-19 00:07 shareach 阅读(1184) 评论(0) 推荐(0)
rhel 5 3G以上内存解决方案
摘要：正文: 我安装rhel 5.2 4G内存 , 默认只看到3G内存, 在网上看到将 kernel,改为kernel-PAE即可, 修改成功,很简单,过程如下:rhel 5.2 5张盘的第一张盘的Server目录下 : kernel-PAE-2.6.18-8.el5.i686.rpm kernel-PAE-devel-2.6.18-8.el5.i686.rpm安装包rpm -ivh kernel... 阅读全文
posted @ 2008-12-10 21:57 shareach 阅读(499) 评论(0) 推荐(0)
vsftp的虚拟用户管理
摘要：vsftp的虚拟用户配置简单, 使用方便, 是简单ftp管理的好工具, 欢迎品鉴 1. 首先检查是否安装了 db4 没有安装就首先安装（安装光盘自带db-utils） #rpm -p db4 2.建立logins.txt 此例中logins.txt保存在/home/logins.txt 单行用户名，双行密..... 阅读全文
posted @ 2008-08-31 11:29 shareach 阅读(427) 评论(0) 推荐(0)
vsftp配置
摘要：正文: # vi /etc/vsftpd-ano.conf ,将如下三行加入文件 listen=YES listen_port=21 tcp_wrappers=YES anon_root=/var/ftp //设置匿名用户本地目录，和ftp用户目录必须相同 listen=YES的意思是使用standalone启动vsftpd，而不是super daemon(xinetd)控制它 (vsftpd推荐... 阅读全文
posted @ 2008-08-30 11:52 shareach 阅读(218) 评论(0) 推荐(0)
my sql 5.22 linux 安装
摘要：MySQL版本: 5.0.22 (可到 MySQL.cn 中文站下载更加新的版本) 其实MySQL在Linux下,只是一个软件...没咩大不了,就好像响你部电脑里边装佐个CS服务器一样...距只系用来提供SQL服务. 其实整个安装过程并不复杂,~但网上好多网友们都说装好了这里不能用,那里不能用..都是因为细微的东西没有调好..而这篇手记,就记载了我整整一个国庆研究Linux下安装MySQL,为什么不成功的问..... 阅读全文
posted @ 2007-08-19 11:12 shareach 阅读(305) 评论(0) 推荐(0)
Redhat VNCServer
摘要：正文: rpm -ivh vnc-3.3.6-2.i386.rpm2 设置 vnc server 的访问密码vncpasswd3 启动 vnc servervncserver5、启动服务：/etc/rc.d/init.d/vncserver start6、连接，在VNCVIEWER的VNC server栏输入ip：n       n为步骤二用户号7、chkc... 阅读全文
posted @ 2007-08-16 10:57 shareach 阅读(263) 评论(0) 推荐(0)