摘要：
Autofs介绍： Autofs特点： Autofs常用配置： 实验环境： NFS 服务器： IP：192.168.112.130 客户端： IP：192.168.112.129 1、NFS服务器安装nfs服务： 创建两个共享目录：cvxtmp和cvxtmp2 将磁盘/dev/sdb和/dev/sd
阅读全文
posted @ 2018-06-28 16:17
大数据从业者FelixZh
阅读(1538)
推荐(1)
摘要：
注：来自Linux系统管理_磁盘分区和格式化的扩展 Linux系统管理_磁盘分区和格式化：http://murongqingqqq.blog.51cto.com/2902694/1361918 思路： 第一步：首先查看当前swap分区的大小：free -m 第二步：新建磁盘分区指定状态为82，即为s
阅读全文
posted @ 2018-06-28 13:45
大数据从业者FelixZh
阅读(6013)
推荐(1)
摘要：
首先解释两个概念： swap：在linux里面，当物理内存不够用了，而又有新的程序请求分配内存，那么linux就会选择将其他程序暂时不用的数据交换到物理磁盘上(swap out)，等程序要用的时候再读进来(swap in)。这样做的坏处显而易见，swap in/swap out这里的代价比较大，相比
阅读全文
posted @ 2018-06-28 13:44
大数据从业者FelixZh
阅读(6736)
推荐(0)
摘要：
Swap交换分区概念 Linux divides its physical RAM (random access memory) into chucks of memory called pages. Swapping is the process whereby a page of memory
阅读全文
posted @ 2018-06-28 10:52
大数据从业者FelixZh
阅读(1195)
推荐(0)
摘要：
简单介绍： nfs是网络文件系统，允许一个节点通过网络访问远程计算机的文件系统，远程文件系统可以被直接挂载到本地，文件操作和本地没有区别，如果是局域网的nfs那么io的性能也可以保证 nfs是Network File System（网络文件系统）。主要功能是通过网络让不同的服务器之间可以共享文件或者
阅读全文
posted @ 2018-06-27 17:18
大数据从业者FelixZh
阅读(834)
推荐(0)
摘要：
Iterator 迭代器越界 例子如下： 上述错误均是因为两次.next造成的。可修改为
阅读全文
posted @ 2018-06-27 15:20
大数据从业者FelixZh
阅读(25984)
推荐(2)
摘要：
1、spark推测执行开启 设置 spark.speculation=true即可 2、spark开启推测执行的好处 推测执行是指对于一个Stage里面运行慢的Task，会在其他节点的Executor上再次启动这个task，如果其中一个Task实例运行成功则将这个最先完成的Task的计算结果作为最终
阅读全文
posted @ 2018-06-27 14:40
大数据从业者FelixZh
阅读(1155)
推荐(0)
摘要：
下面这些关于Spark的性能调优项，有的是来自官方的，有的是来自别的的工程师，有的则是我自己总结的。 基本概念和原则 <1> 每一台host上面可以并行N个worker，每一个worker下面可以并行M个executor，task们会被分配到executor上面 去执行。Stage指的是一组并行运行
阅读全文
posted @ 2018-06-27 14:39
大数据从业者FelixZh
阅读(1040)
推荐(0)
摘要：
愉快的build该项目吧 出先如下类似错误： 翻了一下该项目wiki： https://github.com/confluentinc/kafka-rest/wiki/FAQ 描述如下： The error looks something like this: During development
阅读全文
posted @ 2018-06-22 13:07
大数据从业者FelixZh
阅读(733)
推荐(0)
摘要：
Ewen Cheslack-Postava March 25, 2015 时间有点久，但讲的还是很清楚的 As part of Confluent Platform 1.0 released about a month ago, we included a new Kafka REST Proxy
阅读全文
posted @ 2018-06-22 10:58
大数据从业者FelixZh
阅读(1120)
推荐(0)
摘要：
原因：下载的 gradle-3.3-all.zip 包不完整 解决方法： 1. 删除路径下的所有文件 2. 手动下载gradle-3.3-all.zip文件传到路径下或者使用wget下载。 下载完成后，再次执行构建命令，成功！
阅读全文
posted @ 2018-06-22 10:00
大数据从业者FelixZh
阅读(800)
推荐(0)
摘要：
1、window下安装Gradle见https://www.cnblogs.com/felixzh/p/9203271.html2、eclipse中依次打开help》Install new software，输入http://dist.springsource.com/release/TOOLS/g
阅读全文
posted @ 2018-06-20 13:10
大数据从业者FelixZh
阅读(226)
推荐(0)
摘要：
Gradle 是以 Groovy 语言为基础，面向Java应用为主。基于DSL（领域特定语言）语法的自动化构建工具。在github上，gradle项目很多，有的是gradel跟maven构建一块儿使用，可以看出，gradle有一种逐渐替代maven的架势。 Windows环境安装如下： 1、下载Gr
阅读全文
posted @ 2018-06-20 13:08
大数据从业者FelixZh
阅读(822)
推荐(0)
摘要：
对于datanode配置预留空间的方法 为：在hdfs-site.xml添加如下配置 <property> <name>dfs.datanode.du.reserved</name> <value>10737418240</value> </property> dfs.datanode.du.res
阅读全文
posted @ 2018-06-20 13:03
大数据从业者FelixZh
阅读(3634)
推荐(0)
摘要：
1. What is the recommended value for "yarn.nodemanager.resource.local-dirs"? We only have one value (directory) configured for the above property, whi
阅读全文
posted @ 2018-06-20 10:30
大数据从业者FelixZh
阅读(1941)
推荐(0)
摘要：
前端对Cross-Origin Resource Sharing 问题(CORS，中文又称'跨域')应该很熟悉了。众所周知出于安全的考虑，浏览器有个同源策略，对于不同源的站点之间的相互请求会做限制（跨域限制是浏览器行为，不是服务器行为。）。不过下午想到了一个略无趣的问题：浏览器和服务器到底是如何判定
阅读全文
posted @ 2018-06-15 14:02
大数据从业者FelixZh
阅读(479)
推荐(0)
摘要：
CORS是一个W3C标准，全称是"跨域资源共享"（Cross-origin resource sharing）。 它允许浏览器向跨源服务器，发出XMLHttpRequest请求，从而克服了AJAX只能同源使用的限制。 本文详细介绍CORS的内部机制。 一、简介 CORS需要浏览器和服务器同时支持。目
阅读全文
posted @ 2018-06-15 14:01
大数据从业者FelixZh
阅读(279)
推荐(0)
摘要：
在日常的项目开发时会不可避免的需要进行跨域操作，而在实际进行跨域请求时，经常会遇到类似 No 'Access-Control-Allow-Origin' header is present on the requested resource.这样的报错。这样的错误，一般是由于CORS跨域验证机制设置
阅读全文
posted @ 2018-06-15 13:49
大数据从业者FelixZh
阅读(937)
推荐(0)
摘要：
本文转发自技术世界，原文链接 http://www.jasongj.com/2015/04/24/KafkaColumn2 摘要 Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该
阅读全文
posted @ 2018-06-10 18:10
大数据从业者FelixZh
阅读(347)
推荐(0)
摘要：
本文转发自技术世界，原文链接 http://www.jasongj.com/2015/06/08/KafkaColumn3 摘要 本文在上篇文章基础上，更加深入讲解了Kafka的HA机制，主要阐述了HA相关各种场景，如Broker failover，Controller failover，Topic
阅读全文
posted @ 2018-06-10 18:10
大数据从业者FelixZh
阅读(308)
推荐(0)
摘要：
本文转发自技术世界，原文链接 http://www.jasongj.com/2015/01/02/Kafka深度解析 背景介绍 Kafka简介 Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下： 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间
阅读全文
posted @ 2018-06-10 17:40
大数据从业者FelixZh
阅读(1146)
推荐(0)
摘要：
1. 相关目录 /var/log/cloudera-scm-installer : 安装日志目录。/var/log/* : 相关日志文件（相关服务的及CM的）。/usr/share/cmf/ : 程序安装目录。/usr/lib64/cmf/ : Agent程序代码。/var/lib/cloudera
阅读全文
posted @ 2018-06-06 14:48
大数据从业者FelixZh
阅读(7482)
推荐(2)
摘要：
打开/etc/rc.local看是否有其它的任务或者开关导致启动失败。如果有就看需要去除
阅读全文
posted @ 2018-06-05 16:06
大数据从业者FelixZh
阅读(6957)
推荐(0)
摘要：
An ingest pattern that we commonly see being adopted at Cloudera customers is Apache Spark Streaming applications which read data from Kafka. Streamin
阅读全文
posted @ 2018-05-30 19:33
大数据从业者FelixZh
阅读(1547)
推荐(0)
posted @ 2018-05-30 19:23
大数据从业者FelixZh
阅读(3922)
推荐(0)
摘要：
Explore the configuration changes that Cigna’s Big Data Analytics team has made to optimize the performance of its real-time architecture. Real-time s
阅读全文
posted @ 2018-05-28 17:44
大数据从业者FelixZh
阅读(780)
推荐(0)
摘要：
SystemTap 3.0 SystemTap Beginners Guide Introduction to SystemTap Edition 3.0 Red Hat, Inc. Don Domingo Engineering Services and Operations Content Se
阅读全文
posted @ 2018-05-28 16:30
大数据从业者FelixZh
阅读(538)
推荐(0)
摘要：
在上篇结尾处我提到“如果现在让我重新选择，我会使用哪个可视化工具？”我的答案是 Redash，原因主要不是功能层面，而是技术层面。本篇就从项目关注度与活跃度，项目的技术架构，源代码的规模与质量，这三个方面来比较一下 Superset，Redash 与 Metabase。 关注度与活跃度 看一个项目在
阅读全文
posted @ 2018-05-26 23:07
大数据从业者FelixZh
阅读(14576)
推荐(3)
摘要：
人是视觉动物，要用数据把一个故事讲活，图表是必不可少的。如果你经常看到做数据分析同事，在SQL客户端里执行完查询，把结果复制/粘贴到Excel里再做成图表，那说明你的公司缺少一个可靠的数据可视化平台。数据可视化是Business Intelligence(简称BI)中的核心功能，有许多成熟的商用解决
阅读全文
posted @ 2018-05-26 23:06
大数据从业者FelixZh
阅读(56156)
推荐(8)
摘要：
May 24, 2018 by Arturs Oganesyan-Peel BI is useful. It’s pretty. But it never really matters unless you’re getting real value out of it. In this 4-par
阅读全文
posted @ 2018-05-26 23:04
大数据从业者FelixZh
阅读(1769)
推荐(0)
浙公网安备 33010602011771号