麦哲思科技

摘要：运行环境 centOS6.6ansibleansible的功能还是比较多的，博主只用它在集群上进行批量部署软件和维护的功能，其他不多做研究，有需要的话这篇文章会慢慢补充。ansible特点轻量级，无需在客户端安装agent，更新时，只需在操作机上进行一次更新即可；批量任务执行可以写... 阅读全文

摘要：spark on mesos 有粗粒度(coarse-grained)和细粒度(fine-grained)两种运行模式，细粒度模式在spark2.0后开始弃用。细粒度模式优点spark默认运行的就是细粒度模式，这种模式支持资源的抢占，spark和其他frameworks以非常细粒度... 阅读全文

摘要：测试集群配置 60CPU,320G RAM测试内容：先运行一个需要60CPU的Application1,再运行一个需要50CPU的Application2。结果分析如果要等Application1全部执行完才执行Application2，说明资源是静态分配的（standalone模... 阅读全文

摘要：mesos解决的问题不同的分布式运算框架(spark,hadoop,ES,MPI,Cassandra,etc.)中的不同任务往往需要的资源（内存，CPU，网络IO等）不同，它们运行在同一个集群中，会相互干扰，为此，应该提供一种资源隔离机制避免任务之间由资源争用导致效率下降,考虑到资... 阅读全文

摘要：一.Mesos的安装和部署1.下载mesos源码和依赖包部署环境 centOS 6.6 mesos-0.21.0 spark-1.4.1因为mesos官方只提供源码，所以必须要自己进行编译安装使用添加meven源sudo wget http://repos.fedorapeople... 阅读全文

摘要：提高数据库查询速度的几个思路 ：1、缓存，在持久层或持久层之上做缓存;2、数据库表的大字段剥离，保证单条记录的数据量很小; 3、恰当地使用索引;4、必要时建立多级索引; 5、分析Oracle的执行计划，通过表数据统计等方式协助数据库走正确的查询方式，该走索引就走索引，该走全表扫描就走全表扫描; 6... 阅读全文