摘要：
函数式编程灵活又性能优异，本文将阐述scala中的函数式编程。 1 系统、软件以及前提约束 win10 64位 以了解scala中的类与对象，并进行code https://www.jianshu.com/p/92f555f859c2 idea2018.1 2 操作 1 通常的函数定义 2 匿名函数 阅读全文
posted @ 2020-03-29 23:00
张力的程序园
阅读(149)
评论(0)
推荐(0)
摘要：
在熟悉了python的基本语法之后，我们继续学习了解python中的迭代器。 1 系统、软件以及前提约束 win10 64位 已在idea中完成熟悉了python基本语法 https://www.jianshu.com/p/f5aae11cf26c 2 操作 迭代器 在python命令行中执行以下命 阅读全文
posted @ 2020-03-29 22:50
张力的程序园
阅读(141)
评论(0)
推荐(0)
摘要：
上一节我们整合了flume+kafka，是将kafka的生产者作为flume的sink，本节将反其道行之，将kafka的消费者作为flume的source。 1 系统、软件以及前提约束 CentOS 7 64 工作站 作者的机子ip是192.168.100.200，请读者根据自己实际情况设置 已完成 阅读全文
posted @ 2020-03-29 22:42
张力的程序园
阅读(627)
评论(0)
推荐(0)
摘要：
上一节我们在CentOS中安装了kafka并对生产者消费者进行了测试。在实际生产中，flume经常配合kafka同时使用，本文将阐述如何使用flume收集数据到kafka。 1 系统、软件以及前提约束 CentOS 7 64 工作站 作者的机子ip是192.168.100.200，请读者根据自己实际 阅读全文
posted @ 2020-03-29 22:26
张力的程序园
阅读(574)
评论(0)
推荐(0)
摘要：
我们已经了解了使用flume监听端口以及文件内容，本节将展示使用flume去监听一个文件夹并且上传其中的文件到HDFS。 1 系统、软件以及前提约束 CentOS 7 64 工作站 作者的机子ip是192.168.100.200，请读者根据自己实际情况设置 已完成flume安装并监听端口 https 阅读全文
posted @ 2020-03-29 22:24
张力的程序园
阅读(592)
评论(0)
推荐(0)
摘要：
# 问题java中的线程同步机制是什么# 答案线程源自进程，是独立运行的基本单位，如果两个线程对同一个资源同时读写，那么这个资源就成了竞争性资源，此时必须提供同步机制，否则就会造成错误和混乱。例如，一个银行账号上有1000块钱，妻子在手机银行上消费了500块钱，丈夫在ATM机上取了500块钱，极有可 阅读全文
posted @ 2020-03-29 22:22
张力的程序园
阅读(83)
评论(0)
推荐(0)
摘要：
上一节我们使用flume去监听了一个端口的网络状态，本节将展示使用flume去监听一个静态文件。 1 系统、软件以及前提约束 CentOS 7 64 工作站 作者的机子ip是192.168.100.200，请读者根据自己实际情况设置 已完成flume安装并监听端口 https://www.jians 阅读全文
posted @ 2020-03-29 22:21
张力的程序园
阅读(609)
评论(0)
推荐(0)
摘要：
hbase是面向列的数据库，具有极其强劲的性能。本文将阐述hbase的单机安装。 1 系统、软件以及前提约束 CentOS 7 64 工作站 作者的机子ip是192.168.100.200，请读者根据自己实际情况设置 jdk1.8.0_162 已经安装完毕，并配置环境变量，作者的环境变量为/root 阅读全文
posted @ 2020-03-29 22:04
张力的程序园
阅读(172)
评论(0)
推荐(0)
摘要：
我们已经了解了使用flume监听端口以及文件内容，本节将展示使用flume导入数据到hbase。 1 系统、软件以及前提约束 CentOS 7 64 工作站 作者的机子ip是192.168.100.200，请读者根据自己实际情况设置 已完成flume安装并监听端口数据，flume的服务名称为a1 h 阅读全文
posted @ 2020-03-29 21:59
张力的程序园
阅读(855)
评论(0)
推荐(0)
摘要：
hive是能够使mapreduce过程简化的数据仓库，提供了众多的常用算子。hive的安装部署有三种：默认[使用自带deby数据库]、本地[使用mysql数据库]和远程[metastore和mysql不在同一个机子]。本文将阐述hive在CentOS7中的默认安装。 1 系统、软件以及前提约束 Ce 阅读全文
posted @ 2020-03-29 21:57
张力的程序园
阅读(279)
评论(0)
推荐(0)
摘要：
前面我们熟悉了Hbase的命令行操作，本节我们将了解如何使用java代码访问Hbase服务。 1 系统、软件以及前提约束 hbase已经安装完毕并且启动 https://www.jianshu.com/p/51fb48f7d1ea 本文中作者服务器的ip是192.168.100.200，请读者根据实 阅读全文
posted @ 2020-03-29 21:56
张力的程序园
阅读(434)
评论(0)
推荐(0)
摘要：
上一节我们了解了可以在mysql中存储hive元数据，从而可以保证多个hive命令行去访问hive服务。本节，我们将阐述使用beeline命令去访问hive服务。 1 系统、软件以及前提约束 已经安装mysql存储Hive元数据，并启动验证完毕 https://www.jianshu.com/p/c 阅读全文
posted @ 2020-03-29 21:30
张力的程序园
阅读(2200)
评论(0)
推荐(0)
摘要：
我们已经知道Hive的安装部署方式有三种，前面我们通过默认方式安装了Hive，即把元数据存储在Hive自带的deby数据库当中，这种方式简便但有缺陷，只能有一个会话。接下来我们将使用本地方式安装Hive，即把元数据存储在本地的mysql当中。 1 系统、软件以及前提约束 已经安装Hive默认模式 h 阅读全文
posted @ 2020-03-29 21:27
张力的程序园
阅读(447)
评论(0)
推荐(0)
摘要：
hadoop是大数据入门组件，主要包括两个服务，hdfs以及mapreduce，前者是存储，后者是计算。本文将阐述hadoop的安装。 1 系统、软件以及前提约束 CentOS 7 64 工作站 作者的机子ip是192.168.100.192，请读者根据自己实际情况设置 jdk1.8.0_162 已 阅读全文
posted @ 2020-03-29 21:16
张力的程序园
阅读(184)
评论(0)
推荐(0)
摘要：
"HCatalog is a table and storage management layer for Hadoop that enables users with different data processing tools — Pig, MapReduce — to more easily 阅读全文
posted @ 2020-03-29 21:13
张力的程序园
阅读(484)
评论(0)
推荐(0)
摘要：
在了解了Hadoop中的存储组件HDFS之后，我们再来看一下Hadoop中另一个重要组件的计算MapReduce。HDFS搞定海量的存储，MapReduce搞定海量的计算。hadoop如其他优秀的开源组件一样，也提供了丰富的demo，下面我们就来看一下如何使用mapreduce自带demo进行词频统 阅读全文
posted @ 2020-03-29 21:10
张力的程序园
阅读(377)
评论(0)
推荐(0)
摘要：
上一篇文章，我们完成了hadoop的集群安装，但从机子的节点分布图中我们可以看到namenode只在master机子上存在，一旦该机子宕机，则HDFS停服，所以我们需要一种机制来保证namenode的高可用性，这种风险也存在于resourcemanager。本文将阐述使用zookeeper来保证na 阅读全文
posted @ 2020-03-29 21:01
张力的程序园
阅读(440)
评论(0)
推荐(0)
摘要：
前面我们了解了git在本地的使用，如果我们需要多人来维护同一份代码，这时候就需要使用github了。本文将阐述如何使用github来管理代码。 1 系统、软件及前提约束 熟悉git的命令行操作 https://www.jianshu.com/nb/37086602 2 操作 2.1 注册github 阅读全文
posted @ 2020-03-29 20:54
张力的程序园
阅读(318)
评论(0)
推荐(0)
摘要：
前面几节我们了解了git以及github的用法，但公司一般不会把自己的代码保存到码云甚至github，所有就出现了这样一个需求，像github但是代码是存在于自己的服务器上的，而gitlab就是做这件事情的。 1、环境约束 CentOS7 64 gitlab ce 10.5.7 ce.0.el7.x 阅读全文
posted @ 2020-03-29 20:52
张力的程序园
阅读(314)
评论(0)
推荐(0)
摘要：
在使用了TortoiseSVN对项目进行版本管理后，我们也要熟悉在集成开发工具中svn的使用。本文将阐述在eclipse中如何使用svn进行版本管理。 1、系统和环境约束 已完成TortoiseSVN的操作 https://www.jianshu.com/p/4cf55b97fa64 2、安装svn 阅读全文
posted @ 2020-03-29 20:50
张力的程序园
阅读(149)
评论(0)
推荐(0)
浙公网安备 33010602011771号