2017年12月14日
摘要：
1：工作流调度系统的作用： （1）：一个完整的数据分析系统通常都是由大量任务单元组成：比如，shell脚本程序，java程序，mapreduce程序、hive脚本等；（2）：各任务单元之间存在时间先后及前后依赖关系；（3）：为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行； （4
阅读全文
posted @ 2017-12-14 15:09
别先生
阅读(5572)
推荐(0)
2017年12月13日
摘要：
Flume支持众多的source和sink类型，详细手册可参考官方文档，更多source和sink组件 http://flume.apache.org/FlumeUserGuide.html Flume官网入门指南： 1：Flume的概述和介绍： （1）：Flume是一个分布式、可靠、和高可用的海量
阅读全文
posted @ 2017-12-13 13:19
别先生
阅读(9170)
推荐(0)
2017年12月12日
摘要：
步骤一：启动为前台：bin/hiveserver2 步骤二：启动为后台：nohup bin/hiveserver2 1>/var/log/hiveserver.log 2>/var/log/hiveserver.err & 1：启动成功后，可以在别的节点上用beeline去连接 方式一： hive/
阅读全文
posted @ 2017-12-12 20:54
别先生
阅读(9081)
推荐(0)
摘要：
1：Hive安装的过程（Hive启动的时候报的错误），贴一下错误，和为什么错，以及解决方法： 2：我的错误主要是配置Hive-site.xml的时候少写了开头和结尾的<configuration></configuration>，导致的错误，下面贴一下这个配置文件易错的地方： 停更...... 天霸
阅读全文
posted @ 2017-12-12 15:33
别先生
阅读(7318)
推荐(0)
2017年12月10日
摘要：
1：出现此种错误应该是jar版本包冲突了，启动hive的时候，由于hive依赖hadoop，启动hive，会将hadoop的配置以及jar包等等导入到hive中，导致jar包版本冲突，下面贴一下错误，然后贴一下解决方法： 2：hive里面的 这个jar包是jline-2.12.jar，而hadooo
阅读全文
posted @ 2017-12-10 11:11
别先生
阅读(3737)
推荐(0)
摘要：
1：安装好hive，准备启动的时候出现下面的错误（由于hive是基于Hadoop的，所以必须先将你的集群启动起来，我就是没有启动集群，直接启动hive导致的错误）： 2：启动你的集群，然后再启动你的hive再次尝试： 3：启动完集群以后再次启动hive的时候依旧还报错，不过是新的错误，如下所示，解决
阅读全文
posted @ 2017-12-10 11:02
别先生
阅读(9035)
推荐(0)
2017年12月9日
摘要：
1：也许之前的机器安装过Mysql，但是自己不知道，账号密码也忘记了，又执行安装操作，导致Mysql不兼容问题。Linux上安装MySQL时出现不兼容的解决办法，错误如下所示： 2：出现问题了，就解决呗，原因是系统已经安装了其他版本的mysql-libs包导致不兼容。 可以使用命令查看yum lis
阅读全文
posted @ 2017-12-09 23:44
别先生
阅读(3394)
推荐(0)
摘要：
1：大数据平台网站日志分析系统，项目技术架构图： 2：大数据平台网站日志分析系统，流程图解析，整体流程如下： ETL即hive查询的sql; 但是，由于本案例的前提是处理海量数据，因而，流程中各环节所使用的技术则跟传统BI完全不同: 1) 数据采集：定制开发采集程序，或使用开源框架FLUME 2)
阅读全文
posted @ 2017-12-09 22:52
别先生
阅读(6669)
推荐(2)
摘要：
1：ssh登录 The authenticity of host 192.168.199.132 can't be established. 的问题 问题出现了，总要解决吧，百度一下，详细介绍的很多，这里不做多叙述，使用百度的方法可以很好解决问题，这里脑补一下： ssh -o StrictHostK
阅读全文
posted @ 2017-12-09 17:48
别先生
阅读(3579)
推荐(0)
摘要：
1：多台机器互相免密登陆的思路（默认你的linux操作系统已经安装好ssh）： 第一步：在各自的机器上面生成密钥： 在第1台机器上生产一对钥匙： ssh-keygen -t rsa 在第2台机器上生产一对钥匙： ssh-keygen -t rsa 在第3台机器上生产一对钥匙： ssh-keygen
阅读全文
posted @ 2017-12-09 16:30
别先生
阅读(1399)
推荐(0)
2017年11月30日
摘要：
1：由于针对特定的前后台交互用到的知识总结，所以不大量贴代码，主要给出思路，方便自己以后脑补和技术总结，当然也希望可以帮助到别人。 后台Json和其他格式转化，之前总结过Json和对象，集合，字符串的转化或者互相转化，这里我想网上有很多demo。 servlet，或者strtus2或者SpringM
阅读全文
posted @ 2017-11-30 16:50
别先生
阅读(16761)
推荐(1)
2017年11月25日
摘要：
1：问题出现的原因，部署好的hadoop-2.6.4进行window10操作hadoop api出现的错误，具体错误是我向hdfs上传文件，还好点，之前解决过，这里不叙述，这里说一下从hdfs下载文件出现的错误： 详细错误如下所示： 确实如很多网友说的：出现原因：缺少hadoop.dll或winut
阅读全文
posted @ 2017-11-25 17:28
别先生
阅读(3701)
推荐(0)
2017年11月24日
摘要：
2017-11-24 21:20:25 1：什么叫失望，什么叫绝望。总之是一脸懵逼的继续...... 之前部署的hadoop都是hadoop-2.4.1.tar.gz，这几天换成了hadoop-2.6.4.tar.gz，部署老生常谈，启动就不一样了，本来吧，也就是warn，不是error，启动hdf
阅读全文
posted @ 2017-11-24 21:58
别先生
阅读(2371)
推荐(0)
2017年11月18日
摘要：
1：如果有一天，你有幸看到了这个错误，也许你像我一样low，因为此时，你已经准备开发Zookeeper程序了，却还没有把Zookeeper的服务启动起来。 解决办法，启动你的Zookeeper。记得启动起来以后进行查看。 如果你的Zookeeper启动起来了，还报这个错误，那么就是关闭防火墙即可。
阅读全文
posted @ 2017-11-18 17:13
别先生
阅读(5447)
推荐(0)
摘要：
1：如果你报这个错误，第一反应应该是本地的host文件没有配置服务器名称和对应的ip地址，这个反应就对了。贴一下错误和解决方法： windows下开发大数据相关的应用程序，HBase部署在linux环境中，在运行调试时可能会出现无法找到主机，类似异常信息如上所贴：解决办法如下：在C:\WINDOWS
阅读全文
posted @ 2017-11-18 17:09
别先生
阅读(7927)
推荐(0)
2017年11月17日
摘要：
2017-09-30 18:12:08 1：错误如图，本来开机准备用一下虚拟机，就出现一个这，为啥记录一下呢，因为网上好多不是很靠谱。 原因可能是之前关闭虚拟机的时候不小心出现异常了： 2：解决办法： 个人根据自己的磁盘分区情况，进行修复即可； 2017-09-30 18:14:50
阅读全文
posted @ 2017-11-17 18:16
别先生
阅读(2312)
推荐(0)
2017年11月16日
摘要：
2017-11-16 20:19:53 1：设计思路： （1）软件自动化部署脚本，即在一台虚拟机运行脚本，就将其他虚拟机上面的软件安装好了； （2）而前提是自己的机器搭建好了yum网络版仓库（本地yum仓库的安装配置，如果没网了，做一个局域网内的yum仓库），这样在一台机器上面运行脚本，其他机器可以
阅读全文
posted @ 2017-11-16 22:29
别先生
阅读(6154)
推荐(0)
2017年11月13日
摘要：
2017-11-13 22:49:48 1：两种方式： a、每一台机器都配一个本地文件系统上的yum仓库 file:///packege/path/ b、在局域网内部配置一台节点(server-base)的本地文件系统yum仓库，然后将其发布到web服务器中，其他节点就可以通过http://serv
阅读全文
posted @ 2017-11-13 23:55
别先生
阅读(2296)
推荐(0)
2017年11月12日
摘要：
1：Keepalived的官方网址：http://www.keepalived.org/ 2：Keepalived：可以实现高可靠； 高可靠的概念： HA(High Available), 高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。 3：高可
阅读全文
posted @ 2017-11-12 22:25
别先生
阅读(2204)
推荐(1)
摘要：
1：Nginx的相关概念知识： 1.1：反向代理： 反向代理（Reverse Proxy）方式是指以代理服务器来接受internet上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给internet上请求连接的客户端，此时代理服务器对外就表现为一个服务器。 1.2：负载
阅读全文
posted @ 2017-11-12 17:27
别先生
阅读(1154)
推荐(0)
浙公网安备 33010602011771号