柚子=_=

摘要： neo4j简单学习背景最近在一些论坛或者新闻里看到了neo4j，一种擅长处理图形的数据库。据说非常适合做一些join关系型的查询，所以抽空也看了下相关文档，给自己做个技术储备。过程深入学习之前，先在网上找了一... 阅读全文

posted @ 2017-11-30 16:30 柚子=_= 阅读(513) 评论(0) 推荐(0)

摘要： 1.HiBench算法简介Hibench 包含9个典型的hadoop负载（micro benchmarks,hdfs benchmarks,web search bench marks,machine learn... 阅读全文

posted @ 2017-11-23 09:26 柚子=_= 阅读(621) 评论(0) 推荐(0)

摘要： Spark 性能优化方案Spark性能测试工具•Spark性能测试基准程序Benchmark–https://github.com/intel-hadoop/HiBench•Spark性能测试与分析可视化工具–h... 阅读全文

posted @ 2017-11-23 09:20 柚子=_= 阅读(1100) 评论(0) 推荐(0)

摘要：一、Benchmark简介Benchmark是一个评价方式，在整个计算机领域有着长期的应用。正如维基百科上的解释“As computer architecture advanced, it became more... 阅读全文

posted @ 2017-11-23 09:00 柚子=_= 阅读(689) 评论(0) 推荐(0)

摘要：这里主要针对Mapreduce的性能调优。这里主要涉及的参数包括：HDFS：dfs.block.sizeMapredure：io.sort.mbio.sort.spill.percentmapred.local.... 阅读全文

posted @ 2017-11-21 09:45 柚子=_= 阅读(419) 评论(0) 推荐(0)

摘要：最近在做实验，实验需要进行分区域计算，网上查了资料后发现Yarn Node Labels + Capacity-Scheduler可以实现我的需求但是当任务提交到capacity-scheduler调度器的def... 阅读全文

posted @ 2017-11-16 16:21 柚子=_= 阅读(174) 评论(0) 推荐(0)

摘要：数据中心中的应用一般独立部署，为了保证环境隔离与方便管理，保证应用最大资源数据中心中普遍存在如下问题：主机资源利用率低部署和扩展复杂资源隔离无法动态调整无法快速响应业务方案选型Yarn on Docker有哪... 阅读全文

posted @ 2017-11-15 19:58 柚子=_= 阅读(905) 评论(0) 推荐(0)

摘要：搭建Hadoop Yarn on Docker一、概览Docker基于Linux Container技术整合了一堆易用的接口用于构建非常轻量级的虚拟机。Docker Container Executor（DCE）... 阅读全文

posted @ 2017-11-15 19:56 柚子=_= 阅读(1206) 评论(0) 推荐(0)

摘要： HDP平台参数调优建议根据上面介绍的相关知识，我们就可以根据我们的实际情况作出相关参数的设置，当然还需要在运行测试过程中不断检验和调整。以下是hortonworks给出的配置建议： http://docs.hor... 阅读全文

posted @ 2017-11-15 19:44 柚子=_= 阅读(445) 评论(0) 推荐(0)

摘要： java application项目（非web项目）改进前：-Xms128m-Xmx128m-XX:NewSize=64m-XX:PermSize=64m-XX:+UseConcMarkSweepGC-XX:CM... 阅读全文

posted @ 2017-11-14 19:52 柚子=_= 阅读(128) 评论(0) 推荐(0)