2018 年 5月 31 日随笔档案 - Hi，王松柏

可视化的Redis数据库管理工具redis-desktop-manager的初步使用（图文详解）

摘要：无论是Linux 还是 Windows里安装Redis， Windows里如何正确安装Redis以服务运行（博主推荐）（图文详解） Windows下如何正确下载并安装可视化的Redis数据库管理工具（redis-desktop-manager)（图文详解） 1、如下图，双击对应的图标就能打开此软件了阅读全文

posted @ 2018-05-31 13:54 Hi，王松柏阅读(1221) 评论(0) 推荐(0)

CentOS 7的安装详解

摘要：主流：目前的Linux操作系统主要应用于生产环境，主流企业级Linux系统仍旧是RedHat或者CentOS。免费： RedHat 和CentOS差别不大，CentOS是一个基于Red Hat Linux 提供的可自由使用源代码的企业级Linux发行版本。更新方便：CentOS独有的yum命阅读全文

posted @ 2018-05-31 13:52 Hi，王松柏阅读(226) 评论(0) 推荐(0)

TortoiseGit学习系列之TortoiseGit基本操作拉取项目（图文详解）

摘要：前面博客 TortoiseGit学习系列之TortoiseGit基本操作克隆项目（图文详解） TortoiseGit学习系列之TortoiseGit基本操作修改提交项目（图文详解） TortoiseGit学习系列之TortoiseGit基本操作将提交到本地的项目推送到在线仓库（图文详解） Torto 阅读全文

posted @ 2018-05-31 13:48 Hi，王松柏阅读(14382) 评论(0) 推荐(3)

TortoiseGit学习系列之TortoiseGit基本操作将提交到本地的项目推送到在线仓库（图文详解）

摘要：前面博客 TortoiseGit学习系列之TortoiseGit基本操作克隆项目（图文详解） TortoiseGit学习系列之TortoiseGit基本操作修改提交项目（图文详解） TortoiseGit基本操作将提交到本地的项目推送到在线仓库推送是提交的下一步操作。在本地项目的空白处点击鼠标右阅读全文

posted @ 2018-05-31 13:47 Hi，王松柏阅读(3569) 评论(0) 推荐(0)

TortoiseGit学习系列之TortoiseGit基本操作修改提交项目（图文详解）

摘要：前面博客 TortoiseGit学习系列之TortoiseGit基本操作克隆项目（图文详解） TortoiseGit基本操作修改提交项目项目克隆完成后(可以将克隆 clone 理解为下载，检出 checkout 操作)。修改本地项目中的某些文件，如将 README.md 修改为如下内容：还可阅读全文

posted @ 2018-05-31 13:46 Hi，王松柏阅读(2267) 评论(0) 推荐(0)

TortoiseGit学习系列之TortoiseGit基本操作克隆项目（图文详解）

摘要：前面博客全网最详细的Git学习系列之介绍各个Git图形客户端（Windows、Linux、Mac系统皆适用ing）（图文详解）全网最详细的Git学习系列之安装各个Git图形客户端（Windows、Linux、Mac系统皆适用ing）（图文详解）使用 Git命令有时候确实不怎么方便，特别是每次都阅读全文

posted @ 2018-05-31 13:45 Hi，王松柏阅读(8669) 评论(0) 推荐(0)

TortoiseGit学习系列之Windows上本地代码如何通过TortoiserGit提交到GitHub详解（图文）

摘要：前面博客 TortoiseGit学习系列之Windows上TortoiseGit的安装详解（图文）上面博文给大家讲解了一下如何本地安装TortoiseGit。这篇为大家讲一下如何通过TortoiseGit将本地代码提交到GitHub。本文适合刚接触使用Git进行源码管理的初学者，本文如有错误之处阅读全文

posted @ 2018-05-31 13:44 Hi，王松柏阅读(5818) 评论(0) 推荐(0)

TortoiseGit学习系列之TortoiseGit是什么？

摘要：写该文章目的肯定有人会遇到这样的问题：最近换了一份新工作，新公司的源码管理都是使用GIT，习惯了之前的TFS和SVN进行项目源码管理和团队开发，第一次使用GIT进行团队开发和源码管理，颇有一些不习惯，花了一天时间终于把GIT搞清楚了，发现GIT相对于SVN具有很强大的优势，在这里就不再对两者进行阅读全文

posted @ 2018-05-31 13:43 Hi，王松柏阅读(3293) 评论(0) 推荐(1)

TortoiseGit学习系列之Windows上TortoiseGit的安装详解（图文）

摘要： TortoiseGit的安装准备下载地址:https://yunpan.cn/cvnADhh7WmDDP 访问密码 d7f3 注：为了省去配置的麻烦，最好先安装msysgit-1.9.4，然后再安装TortoiserGit-1.8.12.0，最后安装中文语言包。 TortoiseGit的安装 ms 阅读全文

posted @ 2018-05-31 13:43 Hi，王松柏阅读(2711) 评论(0) 推荐(1)

Cloudera Manager集群官方默认的各个组件开启默认顺序（图文详解）

摘要：如下是 Cloudera Manager集群官方默认的各个组件开启默认顺序。也可以，手动来启动也可以，或这样手动来启动阅读全文

posted @ 2018-05-31 13:41 Hi，王松柏阅读(1012) 评论(0) 推荐(0)

IntelliJ IDEA 代码字体大小的快捷键设置放大缩小（很实用）（图文详解）

摘要：这是在设置IntelliJ IDEA 代码字体的快捷键设置缩小：怎么达到的了，就是ctrl + 你的鼠标滑扭往下这是在设置IntelliJ IDEA 代码字体的快捷键设置放大：怎么达到的了，就是ctrl + 你的鼠标滑扭往上成功！阅读全文

posted @ 2018-05-31 13:40 Hi，王松柏阅读(20224) 评论(1) 推荐(1)

Eclipse的企业开发时常用快捷键使用、优化配置（博主推荐）

摘要：一、简介 eclipse可谓是Java开发界的神器，基本占据了大部分的Java开发市场，而且其官方还对其他语言提供支持，如C++，Ruby，JavaScript等等。为什么使用它？我想离不开下面的一些因素：1、开发界面简洁、大方。2、丰富的插件支持。3、为Java量身定做。4、及其人性化设计。不得阅读全文

posted @ 2018-05-31 13:39 Hi，王松柏阅读(924) 评论(0) 推荐(0)

如果遇到Hadoop集群正常，MapReduce作业运行出现错误，如何来查看作业运行日志（图文详解）

摘要：这个时候我们可以进入logs下的userlogs 备注：userlogs目录下有很多个以往运行的作业，我选择最新的最大编号的作业，就是我们当前运行作业的日志。然后找到stderr stdout syslog文件，stderr为作业错误日志，stdout作业输出日志，syslog为系统日志阅读全文

posted @ 2018-05-31 13:37 Hi，王松柏阅读(2707) 评论(0) 推荐(0)

CentOS7下如何正确安装并启动Docker（图文详解）

摘要：我使用了CentOS 7操作系统，可以非常容易地安装Docker环境。假设，下面我们都是用root用户进行操作，执行如下命令进行准备工作：上面首先安装了yum-utils，它提供了yum-config-manager管理工具，然后安装了最新稳定版本的Repository文件，最后更新yum的pac 阅读全文

posted @ 2018-05-31 13:36 Hi，王松柏阅读(1217) 评论(0) 推荐(0)

大数据入门基础系列之初步认识大数据生态系统圈（博主推荐）

摘要：之前在微信公众平台里写过大数据入门基础系列之初步认识hadoop生态系统圈 http://mp.weixin.qq.com/s/KE09U5AbFnEdwht44FGrOA 大数据入门基础系列之初步认识大数据生态系统圈 1.概述最近收到一些同学和朋友的邮件，说能不能整理一下 Hadoop 生态圈阅读全文

posted @ 2018-05-31 13:35 Hi，王松柏阅读(911) 评论(0) 推荐(0)

Kettle集群部署（1台Windows主机和2台Linux服务器）

摘要：不多说，直接上干货！ http://blog.csdn.net/jianglushou9763/article/details/70859616 阅读全文

posted @ 2018-05-31 13:34 Hi，王松柏阅读(274) 评论(0) 推荐(0)

Python2.7编程基础（博主推荐）

摘要：不多说，直接上干货！见 http://www.runoob.com/python/python-tutorial.html 阅读全文

posted @ 2018-05-31 13:33 Hi，王松柏阅读(220) 评论(0) 推荐(0)

Hadoop概念学习系列之Hadoop集群动态增加新节点或删除已有某节点及复制策略导向

摘要： hadoop-2.6.0动态添加新节点 https://blog.csdn.net/baidu_25820069/article/details/52225216 Hadoop集群动态增加新节点一、在新增节点配置运行环境 1、安装和其他节点相同的java环境，jdk版本要相同。 2、修改/etc/ 阅读全文

posted @ 2018-05-31 13:32 Hi，王松柏阅读(247) 评论(0) 推荐(0)

如何在IDEA里给大数据项目导入该项目的相关源码（博主推荐）（类似eclipse里同一个workspace下单个子项目存在）（图文详解）

摘要：如果在一个界面里，可以是单个项目注意：本文是以gradle项目的方式来做的！如何在IDEA里正确导入从Github上下载的Gradle项目（含相关源码）（博主推荐）（图文详解）注意：本文是以maven项目的方式来做的！如何在IDEA里正确导入从Github上下载的Maven项目（含相关源码）阅读全文

posted @ 2018-05-31 13:31 Hi，王松柏阅读(822) 评论(0) 推荐(0)

如何走上更高平台分享传递干货知识：（开通个人微信公众号：大数据躺过的坑）（图文详解）（博主推荐）

摘要：为了进一步打造提升（大数据躺过的坑）本微信公众平台的博文高质量水平，特邀请善于分享、主动、敢于专研尝试新技术新领域的您，一起共同维护好我们的知识小天地。目前涉及领域有：大数据领域：Hadoop、Hive、HBase、Zookeeper、Flume、Sqoop、Kafka、Spark、Storm、Ze 阅读全文

posted @ 2018-05-31 13:30 Hi，王松柏阅读(1060) 评论(0) 推荐(0)

CentOS6.5下如何正确下载、安装Intellij IDEA、Scala、Scala-intellij-bin插件、Scala IDE for Eclipse助推大数据开发（图文详解）

摘要：第一步：卸载CentOS中自带openjdk Centos 6.5下的OPENJDK卸载和SUN的JDK安装、环境变量配置第二步：安装Intellij IDEA 若是3节点如，master、slave1、slave2，则建议将其安装在master节点上到https://www.jetbrains 阅读全文

posted @ 2018-05-31 13:27 Hi，王松柏阅读(1753) 评论(0) 推荐(0)

对于maven创建spark项目的pom.xml配置文件（图文详解）

摘要：不多说，直接上干货！ http://mvnrepository.com/ 这里，怎么创建，见 Spark编程环境搭建（基于Intellij IDEA的Ultimate版本）（包含Java和Scala版的WordCount）（博主强烈推荐) 这里，我重点说下spark项目，因为，对于hadoop这样阅读全文

posted @ 2018-05-31 13:25 Hi，王松柏阅读(27748) 评论(0) 推荐(1)

Apache-kylin-2.0.0-bin-hbase1x.tar.gz的下载与安装（图文详解）

摘要：首先，对于Apache Kylin的安装，我有话要说。由于Apache Kylin本身只是一个Server，所以安装部署还是比较简单的。但是它的前提要求是Hadoop、Hive、HBase必须已经安装且能正常工作。以下，是我集群环境的情况 Apache kylin的官网安装文档注意：本博文，立阅读全文

posted @ 2018-05-31 13:24 Hi，王松柏阅读(1000) 评论(0) 推荐(0)

数据分析、数据挖掘、机器学习、神经网络、深度学习和人工智能概念区别（入门级别）

摘要：数据分析，就是对数据进行分析，得出一些结论性的内容，用于决策。分析什么哪？根据分析现状、分析原因、预测未来。分析现状和分析原因，需要结合业务才能解释清楚。用到的技术比较简单，最简单的数据分析工具就是 Excel。预测未来指的是分析未来一段时间的销售额之类的。在预测未来方面，阅读全文

posted @ 2018-05-31 13:23 Hi，王松柏阅读(3530) 评论(0) 推荐(0)

用maven来创建scala和java项目代码环境（图文详解）（Intellij IDEA（Ultimate版本）、Intellij IDEA（Community版本）和Scala IDEA for Eclipse皆适用）（博主推荐）

摘要：为什么要写这篇博客？首先，对于spark项目，强烈建议搭建，用Intellij IDEA（Ultimate版本），如果你还有另所爱好尝试Scala IDEA for Eclipse，有时间自己去玩玩。但最好追随大流。对于hadoop项目，强烈建议用eclipse。其次，出于有博友给我留言的索求阅读全文

posted @ 2018-05-31 13:22 Hi，王松柏阅读(343) 评论(0) 推荐(0)

数学很差，能学习机器学习吗？

摘要：最近，好多人在问我这个问题。机器学习中的各种算法，都是一个个的数学算式。不会高等数学、概率统计、凸优化等知识，就不能搞透各个数学算式。如果想明白这些算式的来龙去脉，以及如何推导出来的，没有前面的数学知识做铺垫是绝对不可能的。但是，包括很多公司里需要招聘员工，培养的是工程师，不阅读全文

posted @ 2018-05-31 13:22 Hi，王松柏阅读(367) 评论(0) 推荐(0)

Apache Kylin 是什么？

摘要： Apache Kylin的官网 - 可扩展超快OLAP引擎: Kylin是为减少在Hadoop上百亿规模数据查询延迟而设计 - Hadoop ANSI SQL 接口: Kylin为Hadoop提供标准SQL支持大部分查询功能 - 交互式查询能力: 通过Kylin，用户可以与Hadoop数据进行亚秒级阅读全文

posted @ 2018-05-31 13:21 Hi，王松柏阅读(1629) 评论(0) 推荐(0)

CDH版本大数据集群下搭建的Hue详细启动步骤（图文详解）

摘要：关于安装请见 CDH版本大数据集群下搭建Hue（hadoop-2.6.0-cdh5.5.4.gz + hue-3.9.0-cdh5.5.4.tar.gz）（博主推荐） Hue的启动也就是说，你Hue配置文件里面配置了什么，进程都要先提前启动。关闭，则jps后，查看进程，kill掉。阅读全文

posted @ 2018-05-31 13:19 Hi，王松柏阅读(4680) 评论(0) 推荐(0)

给Clouderamanager集群里安装可视化分析利器工具Hue步骤（图文详解）

摘要：扩展博客以下，是我在手动的CDH版本，安装Hue。 CDH版本大数据集群下搭建Hue（hadoop-2.6.0-cdh5.5.4.gz + hue-3.9.0-cdh5.5.4.tar.gz）（博主推荐）以下，是我在Ambari集群平台下，安装Hue。给Ambari集群里安装可视化分析利器工具阅读全文

posted @ 2018-05-31 13:18 Hi，王松柏阅读(940) 评论(0) 推荐(0)

给Clouderamanager集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤（图文详解）

摘要：这个很简单，在集群机器里，选择就是了，本来自带就有Impala的。扩展博客给Ambari集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤（图文详解）阅读全文

posted @ 2018-05-31 13:18 Hi，王松柏阅读(623) 评论(0) 推荐(0)

关于在真实物理机器上用cloudermanger或ambari搭建大数据集群注意事项总结、经验和感悟心得（图文详解）

摘要：写在前面的话（1）最近一段时间，因担任我团队实验室的大数据环境集群真实物理机器工作，至此，本人秉持负责、认真和细心的态度，先分别在虚拟机上模拟搭建ambari（基于CentOS6.5版本）和cloudermanager（基于CentOS6.5或Ubuntu14.04版本）。（2）大数据集群范阅读全文

posted @ 2018-05-31 13:15 Hi，王松柏阅读(707) 评论(0) 推荐(0)

cloudera manager的7180 web界面访问不了的解决办法（图文详解）

摘要：说在前面的话我的机器是总共4台，分别为ubuntucmbigdata1、ubuntucmbigdata2、ubuntucmbigdata3和ubuntucmbigdata4。（注意啦，以下是针对Ubuntu系统的）在ubuntucmbigdata1上执行了即，ubuntucmbigdata1是阅读全文

posted @ 2018-05-31 13:13 Hi，王松柏阅读(6373) 评论(0) 推荐(0)

机器学习和深度学习资源汇总（陆续更新）

摘要：不多说，直接上干货！本篇博客的目地，是对工作学习过程中所遇所见的一些有关深度学习、机器学习的优质资源，作分类汇总，方便自己查阅，也方便他人学习借用。主要会涉及一些优质的理论书籍和论文、一些实惠好用的工具库和开源库、一些供入门该理论入门所用的demo等等。由于本博客将不定期更新，尽量将较为前沿的阅读全文

posted @ 2018-05-31 13:11 Hi，王松柏阅读(1690) 评论(0) 推荐(0)

机器学习领域相关的大牛推荐（陆续更新）

摘要：周志华：是南京大学的杰青，机器学习和数据挖掘方面国内的领军人物，其好几个研究生都进入了美国一流高校如uiuc，cmu等学习和深造。周教授在半监督学习，multi-label学习和集成学习方面在国际上有一定的影响力。另外，他也是ACML的创始人。 Rachel-Zhang：http://my.csdn 阅读全文

posted @ 2018-05-31 13:10 Hi，王松柏阅读(1427) 评论(0) 推荐(0)

初步认识深度学习

摘要：直接来个现实的例子。某公司招聘.... 2017年注定是深度学习火热之年，同时，博主我也正值研二学年，广深阅读文献搞科研，致力于大数据和机器学习深度学习领域。同时，分享后续这方面的干货知识，大家一起成长和学习！深度学习的概念源于人工神经网络的研究，含多隐层的多层感知器就是一种深度学习结构。它是机器阅读全文

posted @ 2018-05-31 13:07 Hi，王松柏阅读(1000) 评论(0) 推荐(0)

人工智能、机器学习和深度学习之间的区别与联系（图文详解）

摘要：大家，都知道，在2016年，Google DeepMind的AlphaGo打败了韩国的围棋大师李世乭九段。在媒体描述DeepMind胜利的时候，将人工智能（AI）、机器学习（machine learning）和深度学习（deep learning）都用上了。这三者在AlphaGo击败李世乭的过程中都阅读全文

posted @ 2018-05-31 13:06 Hi，王松柏阅读(48367) 评论(0) 推荐(2)

hadoop-2.7.3.tar.gz + spark-2.0.2-bin-hadoop2.7.tgz + zeppelin-0.6.2-incubating-bin-all.tgz（master、slave1和slave2）（博主推荐）（图文详解）

摘要：我这里，采取的是ubuntu 16.04系统，当然大家也可以在CentOS6.5里，这些都是小事 CentOS 6.5的安装详解 hadoop-2.6.0.tar.gz + spark-1.5.2-bin-hadoop2.6.tgz的集群搭建（单节点）（Ubuntu系统）大数据搭建各个子项目时配置阅读全文

posted @ 2018-05-31 13:05 Hi，王松柏阅读(319) 评论(0) 推荐(0)

hadoop-2.6.0.tar.gz + spark-1.6.1-bin-hadoop2.6.tgz + zeppelin-0.5.6-incubating-bin-all.tgz（master、slave1和slave2）（博主推荐）（图文详解）

摘要：我这里，采取的是CentOS6.5，当然大家也可以在ubuntu 16.04系统里，这些都是小事 CentOS 6.5的安装详解 hadoop-2.6.0.tar.gz + spark-1.5.2-bin-hadoop2.6.tgz的集群搭建（单节点）（Ubuntu系统）大数据搭建各个子项目时配置阅读全文

posted @ 2018-05-31 13:04 Hi，王松柏阅读(291) 评论(0) 推荐(0)

Apache Zeppelin是什么？

摘要： Apache Zeppelin提供了web版的类似ipython的notebook，用于做数据分析和可视化。背后可以接入不同的数据处理引擎，包括spark, hive, tajo等，原生支持scala, java, shell, markdown等。它的整体展现和使用形式和Databricks Cl 阅读全文

posted @ 2018-05-31 13:03 Hi，王松柏阅读(21234) 评论(1) 推荐(0)

Zeppelin的入门使用系列之创建新的Notebook

摘要：前期博客 hadoop-2.6.0.tar.gz + spark-1.6.1-bin-hadoop2.6.tgz + zeppelin-0.5.6-incubating-bin-all.tgz（master、slave1和slave2）（博主推荐）（图文详解） hadoop-2.7.3.tar.gz 阅读全文

posted @ 2018-05-31 13:02 Hi，王松柏阅读(3063) 评论(0) 推荐(0)

Hue的全局配置文件hue.ini（图文详解）

摘要：大数据领域两大最主流集群管理工具Ambari和Cloudera Manger Cloudera安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐） Ambari安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐）前期博客 CDH版本大数据集群下搭建Hue（hadoop-2.6.0-cd 阅读全文

posted @ 2018-05-31 12:56 Hi，王松柏阅读(5383) 评论(0) 推荐(0)

CentOS6.5下Cloudera安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐）

摘要：第一步： Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5）（一）第二步： Cloudera Manager安装之时间服务器和时间客户端（二）第三步： Cloudera Manager安装之Cloudera Manager 5.3.X安装（三）阅读全文

posted @ 2018-05-31 12:55 Hi，王松柏阅读(283) 评论(0) 推荐(0)

大数据搭建各个子项目时配置文件技巧（适合CentOS和Ubuntu系统）（博主推荐）

摘要：不多说，直接上干货！很多同行，也许都知道，对于我们大数据搭建而言，目前主流，分为Apache 和 Cloudera 和 Ambari。后两者我不多说，是公司必备和大多数高校科研环境所必须的！分别，详情见我如下的博客 Cloudera安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐） A 阅读全文

posted @ 2018-05-31 12:54 Hi，王松柏阅读(668) 评论(0) 推荐(0)

关于大数据领域各个组件打包部署到集群运行的总结（含手动和maven）（博主推荐）

摘要：对于这里的打包，总结： (1) 最简单的，也是为了适应公司里，还是要用maven，当然spark那边sbt，maven都可以。但是maven居多。 Eclipse/MyEclipse下如何Maven管理多个Mapreduce程序？（企业级水平） IDEA里如何多种方式打jar包，然后上传到集群 Sp 阅读全文

posted @ 2018-05-31 12:53 Hi，王松柏阅读(267) 评论(0) 推荐(0)

CDH版本大数据集群下搭建Hue（hadoop-2.6.0-cdh5.5.4.gz + hue-3.9.0-cdh5.5.4.tar.gz）（博主推荐）

摘要：不多说，直接上干货！我的集群机器情况是 bigdatamaster（192.168.80.10）、bigdataslave1（192.168.80.11）和bigdataslave2（192.168.80.12）然后，安装目录是在/home/hadoop/app下。官方建议在master机器上阅读全文

posted @ 2018-05-31 12:51 Hi，王松柏阅读(859) 评论(0) 推荐(1)

手把手教你如何在Fire fox火狐浏览器里在线识别下载视频（超强大）（博主推荐）

摘要：网址是阅读全文

posted @ 2018-05-31 12:49 Hi，王松柏阅读(1214) 评论(0) 推荐(0)

机器学习概念（博主推荐）

摘要：不多说，因最近科研的需要，为此从hadoop和spark领域，得结合机器学习/深度学习。为此，给大家带来进一步的干货！ 1、机器学习概念 1.1 机器学习的定义 1.2 机器学习的分类 1.2.1 监督学习 1.2.2 无监督学习 1.2.3 半监督学习 1.2.4 强化学习 1.3 机器学习的常见阅读全文

posted @ 2018-05-31 12:48 Hi，王松柏阅读(299) 评论(0) 推荐(0)

Cloudera Manager安装之利用parcels方式安装3或4节点集群（包含最新稳定版本或指定版本的安装）（添加服务）（CentOS6.5）（五）

摘要：参考博客 Cloudera Manager安装之利用parcels方式安装单节点集群 Cloudera Manager安装之Cloudera Manager 5.3.X安装（三）（tar方式、rpm方式和yum方式） ClouderManager官网的安装历史稳定版说在前面的话（看清楚就好！！！）阅读全文

posted @ 2018-05-31 12:45 Hi，王松柏阅读(661) 评论(0) 推荐(0)

Cloudera Manager安装之利用parcels方式安装单节点集群（包含最新稳定版本或指定版本的安装）（添加服务）（CentOS6.5）（四）

摘要：前期博客 Cloudera Manager安装之Cloudera Manager 5.3.X安装（三）（tar方式、rpm方式和yum方式）说在前面的话（看清楚就好！！！）我这篇博客，是两种方式都使用过：（在/etc/yum.repos.d下的）即（博主我推荐用这种！！！）（但是不需）或者（阅读全文

posted @ 2018-05-31 12:44 Hi，王松柏阅读(300) 评论(0) 推荐(0)

Cloudera Manager安装之Cloudera Manager 5.3.X安装（三）（tar方式、rpm方式和yum方式）

摘要：前期博客 Cloudera Manager安装之时间服务器和时间客户端（二） ClouderaManager官网安装因为啊。我们知道，安装CDH5是有很多方式的！安装CDH5方式1：（用tar包方式来安装）请移步，我的博客 hadoop-2.6.0-cdh5.4.5.tar.gz(CDH)的3 阅读全文

posted @ 2018-05-31 12:43 Hi，王松柏阅读(863) 评论(0) 推荐(0)

Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5）（一）

摘要： Cloudera Manager安装前准备（一）机器准备 192.168.80.148 clouderamanager01 （部署ClouderaManager-server和Mirror server）（部署Agent）（分配1G，我这里只是体验过程，当然你可以分配更多或更小) 192.16 阅读全文

posted @ 2018-05-31 12:42 Hi，王松柏阅读(814) 评论(0) 推荐(0)

Cloudera Manager安装之时间服务器和时间客户端（二）

摘要：前期博客 Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5）（一）带大家手把手读cloudera官网 https://www.cloudera.com/documentation/enterprise/5-3-x.html 说明：这些是可以点击进阅读全文

posted @ 2018-05-31 12:42 Hi，王松柏阅读(730) 评论(0) 推荐(0)

Cloudera Manager架构原理

摘要： cloudera manager的核心是管理服务器，该服务器承载管理控制台的Web服务器和应用程序逻辑，并负责安装软件，配置，启动和停止服务，以及管理上的服务运行群集。 Cloudera Manager Server由以下几个部分组成： Agent：安装在每台主机上。该代理负责启动和停止的过程，拆包阅读全文

posted @ 2018-05-31 12:41 Hi，王松柏阅读(1498) 评论(0) 推荐(0)

大数据领域两大最主流集群管理工具Ambari和Cloudera Manger

摘要：目前啊，都知道，大数据集群管理方式分为手工方式（Apache hadoop）和工具方式（Ambari + hdp 和Cloudera Manger + CDH）。手工部署呢，需配置太多参数，但是，好理解其原理，建议初学这样做，能学到很多。该方式啊，均得由用户执行，细节太多，切当设计多个组件时，用户阅读全文

posted @ 2018-05-31 12:13 Hi，王松柏阅读(2672) 评论(0) 推荐(0)

Cloudera Manager是啥？主要是干啥的？

摘要：简单来说，Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）,使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。 cloudera manager有四大功能：（1）管理：对集群进行管理，如添加阅读全文

posted @ 2018-05-31 12:12 Hi，王松柏阅读(1168) 评论(0) 推荐(0)

redis的安装（图文详解）

摘要：我这里，搭建在继续阅读全文

posted @ 2018-05-31 12:11 Hi，王松柏阅读(198) 评论(0) 推荐(0)

Ambari安装之部署3个节点的HA分布式集群

摘要：前期博客 Ambari安装之部署单节点集群其实，按照这个步骤是一样的。只是按照好3个节点后，再做下HA即可。部署3个节点的HA分布式集群（1）添加机器和添加服务的操作类似，如下图之后的添加ambari03、ambari04操作就和部署ambari02类似，可以参照前面的步骤。这里不多赘述。阅读全文

posted @ 2018-05-31 12:10 Hi，王松柏阅读(1557) 评论(0) 推荐(0)

怎么让普通用户达到root用户也可以拥有权限修改文件（CentOS系统）

摘要：为什么会提出这个问题呢？答：因为啊，比如我们在大数据集群搭建的时候，经常会需要配置环境变量，如/etc/profile。那么，问题来了，每次必须得都切换到root用户才能，但是呢，如何可以在普通用户比如，在hadoop用户或spark用户，就可以了呢？解决办法方式一：得先配置visudo 进入阅读全文

posted @ 2018-05-31 12:08 Hi，王松柏阅读(492) 评论(0) 推荐(0)

谈大数据里各子项目搭建时的环境变量配置（深入）

摘要：无论是hadoop、spark还是storm。搭建各子项目需要配置环境变量，这里列举我所尝试过的各种版本。因修改/etc/environment，导致Linux无法登陆 /etc/environment是设置整个系统的环境。而/etc/profile是设置所有用户的环境，前者与登录用户无关，后者与阅读全文

posted @ 2018-05-31 12:07 Hi，王松柏阅读(285) 评论(0) 推荐(0)

Zookeeper的多节点集群详细启动步骤（3或5节点）

摘要：分为（1）分别去3或5节点上去启动Zookeeper进程（2）自己写个脚本，直接在主节点上去启动Zookeeper进程。（1）分别去3或5节点上去启动Zookeeper进程第一步： [hadoop@HadoopMaster zookeeper-3.4.6]$ pwd/home/hadoop/ 阅读全文

posted @ 2018-05-31 12:06 Hi，王松柏阅读(3487) 评论(0) 推荐(0)

IntelliJ IDEA（Ultimate版本）的下载、安装和WordCount的初步使用（本地模式和集群模式）

摘要： IntelliJ IDEA号称当前Java开发效率最高的IDE工具。IntelliJ IDEA有两个版本：社区版(Community)和旗舰版(Ultimate)。社区版时免费的、开源的，但功能较少，旗舰版提供了较多的功能，是收费的，可以试用30天。强烈推荐，新手刚入门，可以去用社区版，但是，立马阅读全文

posted @ 2018-05-31 12:05 Hi，王松柏阅读(2792) 评论(0) 推荐(1)

IDEA里如何多种方式打jar包，然后上传到集群

摘要：关于IDEA里如何多种方式打jar包，然后上传到集群的问题？前期准备，就是在，IDEA里，maven来创建项目。这里不多赘述。 1）用maven项目来打包，我推荐这个。（强烈推荐，简单又快速） Spark编程环境搭建（基于Intellij IDEA的Ultimate版本）而且，还可以改名。比如阅读全文

posted @ 2018-05-31 12:04 Hi，王松柏阅读(1142) 评论(0) 推荐(1)

Zookeeper（1、3、5节点）集群安装

摘要： 1节点 1 week110的zookeeper的安装 + zookeeper提供少量数据的存储 3节点 hadoop-2.6.0.tar.gz的集群搭建（3节点） hadoop-2.6.0-cdh5.4.5.tar.gz(CDH)的3节点集群搭建 5节点 hadoop-2.6.0.tar.gz的集群阅读全文

posted @ 2018-05-31 12:01 Hi，王松柏阅读(212) 评论(0) 推荐(0)

Hadoop Hive概念学习系列之HDFS、Hive、MySQL、Sqoop之间的数据导入导出（强烈建议去看）

摘要： Hive总结（七）Hive四种数据导入方式（强烈建议去看） Hive几种数据导出方式 https://www.iteblog.com/archives/955 （强烈建议去看）把MySQL里的数据导入到HDFS 1、使用MySQL工具手工导入把MySQL的导出数据导入到HDFS的最简单方法就是阅读全文

posted @ 2018-05-31 11:48 Hi，王松柏阅读(680) 评论(0) 推荐(0)

Hadoop概念学习系列之Java调用Shell命令和脚本，致力于hadoop/spark集群

摘要：前言说明的是，本博文，是在以下的博文基础上，立足于它们，致力于我的大数据领域！ http://kongcodecenter.iteye.com/blog/1231177 http://blog.csdn.net/u010376788/article/details/51337312 http:// 阅读全文

posted @ 2018-05-31 11:45 Hi，王松柏阅读(737) 评论(0) 推荐(0)

MYSQL性能调优与架构设计之select count(*)的思考

摘要： select count(*)的思考原文：MYSQL性能调优与架构设计举例：这里我们就拿一个看上去很简单的功能来分析一下。需求：一个论坛帖子总量的统计附加要求：实时更新在很多人看来，这个功能非常容易实现，不就是执行一条SELECT COUNT(*)的Query 就可以得到结果了么？是的，阅读全文

posted @ 2018-05-31 11:44 Hi，王松柏阅读(352) 评论(0) 推荐(0)

用Hadoop构建电影推荐系统

摘要：用Hadoop构建电影推荐系统 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, O 阅读全文

posted @ 2018-05-31 11:43 Hi，王松柏阅读(2614) 评论(0) 推荐(0)

Hive导入10G数据的测试

摘要： Hive导入10G数据的测试让Hadoop跑在云端系列文章，介绍了如何整合虚拟化和Hadoop，让Hadoop集群跑在VPS虚拟主机上，通过云向用户提供存储和计算的服务。现在硬件越来越便宜，一台非品牌服务器，2颗24核CPU，配48G内存，2T的硬盘，已经降到2万块人民币以下了。这种配置如果简单阅读全文

posted @ 2018-05-31 11:42 Hi，王松柏阅读(1132) 评论(0) 推荐(0)

Hive学习路线图

摘要： Hive学习路线图 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, 阅读全文

posted @ 2018-05-31 11:41 Hi，王松柏阅读(661) 评论(0) 推荐(0)

使用kaptcha生成验证码

摘要： kaptcha是一个简单好用的验证码生成工具，通过配置，可以自己定义验证码大小、颜色、显示的字符等等。下面就来讲一下如何使用kaptcha生成验证码以及在服务器端取出验证码进行校验。一、搭建测试环境 1.1、创建Web测试项目新建一个Web项目，并将kaptcha-2.3.2.jar放在项目的W 阅读全文

posted @ 2018-05-31 11:40 Hi，王松柏阅读(880) 评论(0) 推荐(0)

Nginx+tomcat集群环境搭建（Windows下）

摘要：实验环境 windows xp sp3 Nginx版本：1.5.12；下载地址：http://nginx.org/en/download.html Tomcat版本：6.0.39 下载地址：http://tomcat.apache.org/download-60.cgi 一、配置nginx 1、阅读全文

posted @ 2018-05-31 11:38 Hi，王松柏阅读(233) 评论(0) 推荐(0)

Nginx的配置文件（nginx.conf）解析和领读官网

摘要：步骤一：vi nginx.conf配置文件，参考本博文的最下面总结，自行去设置最后nginx.conf内容为步骤二：每次修改了nginx.conf配置文件后，都要reload下。 index.html里写入如下内容步骤三：先来配一个路由映射因为，我们的nginx.conf为以上，是基于阅读全文

posted @ 2018-05-31 11:37 Hi，王松柏阅读(1078) 评论(0) 推荐(0)

Nginx+tomcat配置集群负载均衡

摘要：相信很多人都听过nginx，这个小巧的东西慢慢地在吞食apache和IIS的份额。那究竟它有什么作用呢？可能很多人未必了解。说到反向代理，可能很多人都听说，但具体什么是反向代理，很多人估计就不清楚了。摘一段百度百科上的描述：反向代理（Reverse Proxy）方式是指以代理服务器来接受inte 阅读全文

posted @ 2018-05-31 11:35 Hi，王松柏阅读(708) 评论(0) 推荐(0)

nslookup、arp、netstat、traceroute

摘要： nslookup 主要用于测试DNS服务器是否正常工作，除此之外，还可以对域名和IP地址进行查询。 [root@weekend110 ~]# nslookup> www.guet.edu.cn 输入待查询的域名 www.guet.edu.cnServer: 192.168.80.2Address: 阅读全文

posted @ 2018-05-31 11:31 Hi，王松柏阅读(976) 评论(0) 推荐(0)

chgrp、chown、chmod命令

摘要：讲解内容： r:读写目录或文件的权限 read w :写入目录或文件的权限 write x ：执行目录或文件的权限 -:删除目录或文件的权限 s:特殊权限，更改目录或文件的权限 u :目录或文件的当前用户 user g:目录或文件当前的群组 group o:除目录或文件的当前用户或群组之外的用户或群阅读全文

posted @ 2018-05-31 11:28 Hi，王松柏阅读(2878) 评论(0) 推荐(0)

cat、cp命令

摘要： cat是查看文件内容， cp –cp是连目录及件文件都拷贝 cp是拷贝文件 a.txt里的内容是， abc def ghi cat a.txt |grep –v ghi 得到结果， abc def head -2 a.txt 得到结果， abc def cat 1.txt 2.txt >3.txt 阅读全文

posted @ 2018-05-31 11:28 Hi，王松柏阅读(838) 评论(0) 推荐(0)

两种常用的启动和关闭MySQL服务

摘要：本博文的主要内容有 .通过图形界面来启动和关闭MySQL服务 .通过DOS窗口来启动和关闭MySQL服务 1、通过图形界面来启动和关闭MySQL服务 2、通过DOS窗口来启动和关闭MySQL服务阅读全文

posted @ 2018-05-31 11:26 Hi，王松柏阅读(326) 评论(0) 推荐(0)

大牛博客！Spark / Hadoop / Kafka / HBase / Storm

摘要：在这里，非常感谢下面的著名大牛们，一路的帮助和学习，给予了我很大的动力！有了Hadoop，再次有了Spark，一次又一次，一晚又一晚的努力相伴！ HBase简介（很好的梳理资料） 1、　博客主页：http://jiajun.iteye.com/ 2、博客主页：http://www.cnblogs. 阅读全文

posted @ 2018-05-31 11:23 Hi，王松柏阅读(1425) 评论(0) 推荐(0)

Storm、Flume、Hive、HBase和Pig等学习笔记

摘要：本博文主要的内容有 .Storm .Flume .Scribe .二次排序详解 .InputFormat的实际使用 .MapReduce迭代器的不同 .HBase编码格式的细节 .设置SingleColumnValueFilter时候注意的地方 .HBase中有两张特殊的Table，ROOT-和.M 阅读全文

posted @ 2018-05-31 11:21 Hi，王松柏阅读(180) 评论(0) 推荐(0)

HBase学习笔记

摘要：本博文的主要内容有 .HBase .特点 .HBase在Hadoop子系统中的位置 .HBase表结构 .row key ,即 rc .Column Family,即 cf .时间戳 .Table & Region .RegionServer概念 .HBase模型 .Client .Zookeepe 阅读全文

posted @ 2018-05-31 11:20 Hi，王松柏阅读(222) 评论(0) 推荐(0)

HBase HA的分布式集群部署（适合3、5节点）

摘要：本博文的主要内容有： .HBase的分布模式（3、5节点）安装 .HBase的分布模式（3、5节点）的启动 .HBase HA的分布式集群的安装 .HBase HA的分布式集群的启动 .HBase HA的切换 HBase HA分布式集群搭建———集群架构 HBase HA分布式集群搭建———安装步骤阅读全文

posted @ 2018-05-31 11:18 Hi，王松柏阅读(1443) 评论(0) 推荐(0)

hbase-shell + hbase的java api

摘要：本博文的主要内容有 .HBase的单机模式（1节点）安装 .HBase的单机模式（1节点）的启动 .HBase的伪分布模式（1节点）安装 .HBase的伪分布模式（1节点）的启动 .HBase的分布模式（3、5节点）安装 .HBase的分布模式（3、5节点）的启动见博客： HBase HA的分布式阅读全文

posted @ 2018-05-31 11:17 Hi，王松柏阅读(729) 评论(0) 推荐(0)

Hadoop Hive概念学习系列之什么是Hive？

摘要：参考《Hadoop大数据分析与挖掘实战》的在线电子书阅读 http://yuedu.baidu.com/ebook/d128cf8e33687e21ae45a935?pn=1&click_type=10010002 Hive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的阅读全文

posted @ 2018-05-31 11:16 Hi，王松柏阅读(7904) 评论(0) 推荐(0)

hql语法及自定义函数（含array、map讲解） + hive的java api

摘要：本博文的主要内容如下： .hive的详细官方手册 .hive支持的数据类型 .Hive Shell .Hive工程所需依赖的jar包 .hive自定义函数 .分桶4 .附PPT hive的详细官方手册 http://hive.apache.org/ https://cwiki.apache.org/ 阅读全文

posted @ 2018-05-31 11:15 Hi，王松柏阅读(8317) 评论(0) 推荐(0)

hbase表结构 + hbase集群架构及表存储机制

摘要：本博文的主要内容有 .hbase读取数据过程 .HBase表结构 .附带PPT http://hbase.apache.org/ 读写的时候，就需要用hbase了，换句话说，就是读写的时候。需要数据库。在哪些领域，需要数据库？只要做大量的数据存储，就需要用到数据库。数据库比文件系统，提供了更好阅读全文

posted @ 2018-05-31 11:14 Hi，王松柏阅读(261) 评论(0) 推荐(0)

hive常见问题解决干货大全

摘要：问题一: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: Unable to instantiate org.apache. 阅读全文

posted @ 2018-05-31 11:12 Hi，王松柏阅读(493) 评论(0) 推荐(0)

hive的使用 + hive的常用语法

摘要：本博文的主要内容有： .hive的常用语法 .内部表 .外部表 .内部表，被drop掉，会发生什么？ .外部表，被drop掉，会发生什么？ .内部表和外部表的，保存的路径在哪？ .用于创建一些临时表存储中间结果 .用于向临时表中追加中间结果数据 .分区表(分为，分区内部表和分区外部表) .hive的阅读全文

posted @ 2018-05-31 11:12 Hi，王松柏阅读(4550) 评论(0) 推荐(0)

60分钟内从零起步驾驭Hive实战学习笔记（Ubuntu里安装mysql）

摘要：本博文的主要内容是： 1. Hive本质解析 2. Hive安装实战 3. 使用Hive操作搜索引擎数据实战 SparkSQL前身是Shark，Shark强烈依赖于Hive。Spark原来没有做SQL多维度数据查询工具，后来开发了Shark，Shark依赖于Hive的解释引擎，部分在Spark中运行阅读全文

posted @ 2018-05-31 11:09 Hi，王松柏阅读(550) 评论(0) 推荐(0)

hadoop-2.6.0.tar.gz的集群搭建（3节点）（不含zookeeper集群安装）

摘要：关于几个疑问和几处心得！ a.用NAT，还是桥接，还是only-host模式？答： hostonly、桥接和NAT b.用static的ip，还是dhcp的？答：static c.别认为快照和克隆不重要，小技巧，比别人灵活用，会很节省时间和大大减少错误。 d.重用起来脚本语言的编程，如payth 阅读全文

posted @ 2018-05-31 11:05 Hi，王松柏阅读(181) 评论(0) 推荐(0)

hadoop-2.6.0.tar.gz + spark-1.5.2-bin-hadoop2.6.tgz的集群搭建（单节点）（Ubuntu系统）

摘要：关于几个疑问和几处心得！ a.用NAT，还是桥接，还是only-host模式？答： hostonly、桥接和NAT b.用static的ip，还是dhcp的？答：static c.别认为快照和克隆不重要，小技巧，比别人灵活用，会很节省时间和大大减少错误。 d.重用起来脚本语言的编程，如payth 阅读全文

posted @ 2018-05-31 11:04 Hi，王松柏阅读(888) 评论(0) 推荐(0)

hadoop-2.6.0-cdh5.4.5.tar.gz(CDH)的3节点集群搭建(含zookeeper集群安装）

摘要：关于几个疑问和几处心得！ a.用NAT，还是桥接，还是only-host模式？答： hostonly、桥接和NAT b.用static的ip，还是dhcp的？答：static c.别认为快照和克隆不重要，小技巧，比别人灵活用，会很节省时间和大大减少错误。 d.重用起来脚本语言的编程，如payth 阅读全文

posted @ 2018-05-31 11:02 Hi，王松柏阅读(702) 评论(0) 推荐(0)

新建用户组、用户、用户密码、删除用户组、用户（适合CentOS、Ubuntu系统）

摘要：生产中，习惯如下： useradd，默认会将自身新建用户，添加到同名的用户组中。如，useradd zhouls，执行此命令后，默认就添加到同名的zhouls用户组中。但是，在生产中，一般都不这么干。通常是，useradd -m -g 。否则，出现到时，用户建立出来了，但出现家目录没有哦。慎重！！阅读全文

posted @ 2018-05-31 11:01 Hi，王松柏阅读(431) 评论(0) 推荐(0)

Centos 6.5下的OPENJDK卸载和SUN的JDK安装、环境变量配置

摘要：说明图形界面安装，会自带有Centos6.5自带的OPRNJDK！！！ *********************************自带的OPENJDK的卸载********************************* 第一步：查看Centos6.5自带的JDK是否已安装 <1> 检测阅读全文

posted @ 2018-05-31 10:59 Hi，王松柏阅读(779) 评论(0) 推荐(0)

Hadoop概念学习系列之Hadoop、Spark学习路线（很值得推荐）

摘要： 1 Java基础：视频方面：推荐《毕向东JAVA基础视频教程》。学习hadoop不需要过度的深入，java学习到javase，在Java虚拟机的内存管理、以及多线程、线程池、设计模式、并行化多多理解实践即可。书籍方面：推荐李兴华的《java开发实战经典》 2 Linux基础：视频方面：（阅读全文

posted @ 2018-05-31 10:58 Hi，王松柏阅读(1528) 评论(0) 推荐(0)

告诉你月薪3万的程序员都避开了哪些坑？

摘要：程序员薪水有高有低，有的人一个月可能拿30K、50K，有的人可能只有2K、3K。同样有五年工作经验的程序员，可能一个人每月拿20K，一个拿5K。是什么因素导致了这种差异？我特意总结了容易导致薪水低的九大行为表现，避开这些大坑，你就离高薪不远了。 1、习惯即刻回报 1、习惯即刻回报他不懂得只有春天播阅读全文

posted @ 2018-05-31 10:56 Hi，王松柏阅读(292) 评论(0) 推荐(0)

Hadoop概念学习系列之Hadoop 生态系统

摘要：当下 Hadoop 已经成长为一个庞大的生态体系，只要和海量数据相关的领域，都有 Hadoop 的身影。下图是一个 Hadoop 生态系统的图谱，详细列举了在 Hadoop 这个生态系统中出现的各种数据工具。这一切，都起源自 Web 数据爆炸时代的来临。Hadoop 生态系统的功能以及对应的开源工阅读全文

posted @ 2018-05-31 10:55 Hi，王松柏阅读(2091) 评论(0) 推荐(0)

导航

公告