转:Spark On YARN 环境搭建
摘要:原创作品,允许转载,转载时请务必以超链接形式标明文章原始出处、作者信息和本声明。否则将追究法律责任。http://sofar.blog.51cto.com/353572/1352713==========================================================...
阅读全文
posted @
2015-05-30 14:31
mynetstudy
阅读(1672)
推荐(0)
常见的网站服务器架构
摘要:简单说下以下的架构都是在假设已经优化过linux内核的情况下进行初级篇:(单机模式)假设配置:(Dual core 2.0GHz,4GB ram,SSD)基础框架:apache(PHP) + Mysql / IIS + MSSQL(最基础框架,处理一般访问请求)进阶1:替换Apache为Nginx,并在数据库前加上cache层【数据库的速度是最大的瓶颈】 Nginx(PHP) + Memcache + Mysql (此时已经具备处理小型访问量的能力)进阶2:随着访问量的上涨,最先面临的问题就来了:CGI无法匹配上Nginx的高IO性能,这时候可以通过写扩展来替代脚本程...
阅读全文
posted @
2013-09-09 19:09
mynetstudy
阅读(232)
推荐(0)
转:PHP网站在Linux服务器上安全设置方案
摘要:PHP网站在Linux服务器上安全设置方案本文总结了PHP网站在Linux服务器上一些安全设置(ps:还有一些设置给忘了),在《lnmp一键安装包》大多数参数已经包含,如果有什么更多的设置,大家一起讨论学习PHP安全配置 1. 确保运行php的用户为一般用户,如www2. php.ini参数设置 disable_functions = passthru,exec,system,chroot,chgrp,chown,shell_exec,proc_open,proc_get_status,ini_alter,ini_restore,dl,openlog,syslog,readlink,symli
阅读全文
posted @
2013-08-21 09:27
mynetstudy
阅读(296)
推荐(0)
转:Yupoo(又拍网)的系统架构
摘要:Yupoo!(又拍网) 是目前国内最大的图片服务提供商,整个网站构建于大量的开源软件之上。以下为其使用到的开源软件信息:操作系统:CentOS、MacOSX、Ubuntu服务器:Apache、Nginx、Squid数据库:MySQLmochiweb、MySQLdb服务器监控:Cacti、Nagios、开发语言:PHP、Python、Erlang、Java、Lua分布式计算:Hadoop、Mogilefs、日志分析:AWStats任务管理:Redmine消息系统:RabbitMQ、php-amqp前端框架:Mootools缓存系统:Memcached、php-memcached、libmemca
阅读全文
posted @
2013-07-23 23:03
mynetstudy
阅读(347)
推荐(0)
转:MySQL索引与存储方式对性能的影响
摘要:本文配图来自《高性能MySQL(第二版)》。在数据库中,对性能影响最大的几个策略包括数据库的锁策略、缓存策略、索引策略、存储策略、执行计划优化策略。索引策略决定数据库快速定位数据的效率,存储策略决定数据持久化的效率。MySQL中两大主要存储引擎MyISAM和InnoDB采用了不同的索引和存储策略,本文将分析它们的异同和性能。MySQL主要提供2种方式的索引:B-Tree(包括B+Tree)索引,Hash索引。B树索引具有范围查找和前缀查找的能力,对于N节点的B树,检索一条记录的复杂度为O(LogN)。哈希索引只能做等于查找,但是无论多大的Hash表,查找复杂度都是O(1)。显然,如果值的差异性
阅读全文
posted @
2011-01-11 10:44
mynetstudy
阅读(1092)
推荐(0)
InnoDB主键设计
摘要:众所周知,InnoDB是clustered-index table,因此对于InnoDB而言,主键具有特殊意义。可以通过主键直接定位到对应的某一数据行记录的物理位置,主键索引指向对应行记录,其他索引则都指向主键索引;因此,可以这么说,InnoDB其实就是一个 B-树索引,这棵B-树的索引就是主键,它的值则是对应的行记录。在InnoDB数据表设计中,我们需要注意几点: * 1. 显式的定义一个 INT 类型自增字段的主键,这个字段可以仅用于做主键,不做其他用途 * 2. 如果不显式定义主键的话,可能会导致InnoDB每次都需要对新数据行进行排序,严重损害性能 * 3. 尽量保证不对主键字段进行更
阅读全文
posted @
2011-01-11 10:29
mynetstudy
阅读(258)
推荐(0)
强制MYSQL区分大小写
摘要:MYSQL写入特殊字符的方式 $str = "adj(+©n+)~żńÔÎ(*^__^*) ÎûÎû……o_O???(@©n@)~ ''\"lasdjljasljkjlj080(#šFĄä)Íč17231723917`ddd`2&&39131203128^*(&(&(^*%*&^*%$&^(&(^%
阅读全文
posted @
2011-01-06 13:33
mynetstudy
阅读(129)
推荐(0)
转:Mysql行级锁和页级所的优缺点
摘要:Mysql行级锁可以在很多线程请求不同记录时减少冲突锁,有着诸多的优点,下面就让我们来一起了解一下Mysql行级锁和页级所的优缺点。如果想要在一个表上做大量的 INSERT 和 SELECT 操作,但是并行的插入却不可能时,可以将记录插入到临时表中,然后定期将临时表中的数据更新到实际的表里。可以用以下命令实现:InnoDB 使用Mysql行级锁锁,BDB 使用页级锁。对于 InnoDB 和 BDB 存储引擎来说,是可能产生死锁的。这是因为 InnoDB 会自动捕获行锁,BDB 会在执行 SQL 语句时捕获页锁的,而不是在事务的开始就这么做。Mysql行级锁锁的优点有:在很多线程请求不同记录时减
阅读全文
posted @
2010-12-21 10:33
mynetstudy
阅读(982)
推荐(0)
MySQL两种引擎Myisam,innodb单表大小的限制
摘要:MySQL单表大小的限制在目前的技术环境中,由所在主机的OS上面的文件系统来界定而不是由MySQL数据库本身来决定了。在老版本的MySQL 3.22中,MySQL单表大小为4GB,当时的MySQL的存储引擎还是ISAM存储引擎。但是,当出现MyISAM存储引擎之后,也就是从MySQL 3.23开始,MySQL单表最大限制就已经扩大到了64PB了(官方文档显示)。也就是说,从目前的技术环境来看,MySQL数据库的MyISAM存储引擎单表大小限制已经不是由MySQL数据库本身来决定,而是由所在主机的OS上面的文件系统来决定了。而MySQL另外一个最流行的存储引擎之一Innodb存储数据的策略是分为
阅读全文
posted @
2010-12-21 09:48
mynetstudy
阅读(4704)
推荐(0)
转:Memory & MyISAM 引擎小注意
摘要:今天有朋友问题,MEMORY 引擎的表查询速度竟然比MYISAM引擎慢! 熟读手册后,你就不用有这样的疑问了。我们来小解决下。示例表结构:create table t1_memory (id int unsigned not null auto_increment primary key, a1 decimal(15,12), a2 decimal(15,12), remark varchar(200) not null, key idx_u1 (a1,a2)) engine memory;create table t1_myisam (id int unsigned not null aut
阅读全文
posted @
2010-12-14 18:05
mynetstudy
阅读(246)
推荐(0)
转:浅析大数据量高并发的数据库优化
摘要:一、数据库结构的设计如果不能设计一个合理的数据库模型,不仅会增加客户端和服务器段程序的编程和维护的难度,而且将会影响系统实际运行的性能。所以,在一个系统开始实施之前,完备的数据库模型的设计是必须的。在一个系统分析、设计阶段,因为数据量较小,负荷较低。我们往往只注意到功能的实现,而很难注意到性能的薄弱之处,等到系统投入实际运行一段时间后,才发现系统的性能在降低,这时再来考虑提高系统性能则要花费更多的人力物力,而整个系统也不可避免的形成了一个打补丁工程。所以在考虑整个系统的流程的时候,我们必须要考虑,在高并发大数据量的访问情况下,我们的系统会不会出现极端的情况。(例如:对外统计系统在7月16日出现
阅读全文
posted @
2010-12-13 14:28
mynetstudy
阅读(190)
推荐(0)