麦哲思科技

摘要： 系统环境opscenter 5.2 centOS 6.6 cassandra 2.0.x问题opscenter上的dashboard监控cassandra集群一段时间（大约1天）后总会停止显示。然而在cassandra节点上发现datastax-agent进程还是好好的在运行着。之... 阅读全文

摘要： 简介KafkaOffsetMonitor是由Kafka开源社区提供的一款Web管理界面，用来实时监控Kafka的Consumer以及Partition中的Offset，可以在web界面直观的看到每个Partition的Message的增长速度，是否消费，是否阻塞等。使用如果不想编译... 阅读全文

摘要： 1.用户自定义schemadatajson串格式如下:{ "partner_code": "demo", "app_name": "web", "person_info": { "name": "张三", "age": 18 },... 阅读全文

摘要： 运行的环境要求Kafka 0.8.1.1+sbt 0.13.xJava 7+功能为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分... 阅读全文

摘要： 环境：kafka 0.8.1.1基本概念Kafka维护按类区分的消息，称为主题（topic）生产者（producer）向kafka的主题发布消息消费者（consumer）向主题注册，并且接收发布到这些主题的消息kafka以一个拥有一台或多台服务器的集群运行着，每一台服务器称为bro... 阅读全文

摘要： 运行环境 centOS6.6ansibleansible的功能还是比较多的，博主只用它在集群上进行批量部署软件和维护的功能，其他不多做研究，有需要的话这篇文章会慢慢补充。ansible特点轻量级，无需在客户端安装agent，更新时，只需在操作机上进行一次更新即可；批量任务执行可以写... 阅读全文

摘要： spark on mesos 有粗粒度(coarse-grained)和细粒度(fine-grained)两种运行模式，细粒度模式在spark2.0后开始弃用。细粒度模式优点spark默认运行的就是细粒度模式，这种模式支持资源的抢占，spark和其他frameworks以非常细粒度... 阅读全文

摘要： 测试集群配置 60CPU,320G RAM测试内容：先运行一个需要60CPU的Application1,再运行一个需要50CPU的Application2。结果分析如果要等Application1全部执行完才执行Application2，说明资源是静态分配的（standalone模... 阅读全文

摘要： mesos解决的问题不同的分布式运算框架(spark,hadoop,ES,MPI,Cassandra,etc.)中的不同任务往往需要的资源（内存，CPU，网络IO等）不同，它们运行在同一个集群中，会相互干扰，为此，应该提供一种资源隔离机制避免任务之间由资源争用导致效率下降,考虑到资... 阅读全文

摘要： 一.Mesos的安装和部署1.下载mesos源码和依赖包部署环境 centOS 6.6 mesos-0.21.0 spark-1.4.1因为mesos官方只提供源码，所以必须要自己进行编译安装使用添加meven源sudo wget http://repos.fedorapeople... 阅读全文