大数据学习——scala函数与方法
摘要:package com /** * Created by Administrator on 2019/4/8. */ object TestMap { def ttt(f: Int => Int): Unit = { val r = f(10) println(r) } val f0 = (x: Int) => x * x def m0(x: ...
阅读全文
posted @
2019-05-31 14:43
o_0的园子
阅读(278)
推荐(0)
大数据学习——scala入门练习
摘要:package com /** * Created by ZX on 2015/11/6. */ object VariableDemo { def main(args: Array[String]) { //1定义变量----------------------------------------- //使用val定义的变量值是不可变的,相当于java里用fin...
阅读全文
posted @
2019-05-22 21:54
o_0的园子
阅读(654)
推荐(0)
大数据学习——kettle的简单使用
摘要:1 生成随机数保存到本地文件 新建转换——输入——生成随机数——输出——文本文件输出——保存到本地文件 2 在线预览生成结果 3 字段选择 4 增加常量 5 生成多条数据 右键生成随机数——改变开始复制的数量——复制的数量10——确定 6 过滤记录 7 字段运算 8 连接 笛卡尔输出 作业
阅读全文
posted @
2019-04-15 14:58
o_0的园子
阅读(929)
推荐(0)
大数据学习——KETTLE入门学习——kettle安装
摘要:https://blog.csdn.net/u012637358/article/details/82593492 下载的kettle是汉化的 改成英文的 工具——选项——选择英文
阅读全文
posted @
2019-04-09 10:10
o_0的园子
阅读(579)
推荐(0)
Linux安装Scala
摘要:下载Scala地址http://downloads.typesafe.com/scala/2.10.6/scala-2.10.6.tgz然后解压Scala到指定目录 tar -zxvf scala-2.10.6.tgz -C /usr/java 配置环境变量,将scala加入到PATH中 vi /e
阅读全文
posted @
2019-03-25 14:06
o_0的园子
阅读(578)
推荐(0)
idea 无法创建Scala class 选项解决办法汇总
摘要:原因一:没有添加scala sdk 解决:file=>project structure =>Global Libraries,添加scala-sdk: 没有scala sdk的可以去网上下载。 再检查一下.iml文件是否添加了scala sdk,没有的话加上: 原因二:可能是maven的配置问题:
阅读全文
posted @
2019-03-19 13:58
o_0的园子
阅读(691)
推荐(0)
idea 无法创建Scala class 选项解决办法汇总
摘要:原因一:没有添加scala sdk 解决:file=>project structure =>Global Libraries,添加scala-sdk: 没有scala sdk的可以去网上下载。 再检查一下.iml文件是否添加了scala sdk,没有的话加上: 原因二:可能是maven的配置问题:
阅读全文
posted @
2019-03-19 13:58
o_0的园子
阅读(1348)
推荐(0)
大数据学习——scala入门程序
摘要:安装scala.msi https://blog.csdn.net/sinat_32867867/article/details/80305302 notepad++
阅读全文
posted @
2019-03-07 11:57
o_0的园子
阅读(177)
推荐(0)
大数据学习——spark安装
摘要:1 下载安装包 2 上传并解压(不需要修改配置文件) 3 启动 进入spark/bin 计算单词出现次数 按照单词出现次数降序排列 把计算结果保存
阅读全文
posted @
2019-03-06 19:24
o_0的园子
阅读(164)
推荐(0)
大数据学习——kafka+storm+hdfs整合
摘要:1 需求 1 pom.xml 3 PushWords.java 4 WordCount.java 5 WordCountSplit.java 6 StormTopologyDriver.java
阅读全文
posted @
2019-02-27 10:06
o_0的园子
阅读(766)
推荐(0)
大数据学习——日志监控告警系统
摘要:https://blog.csdn.net/sdksdk0/article/details/73176639
阅读全文
posted @
2019-02-27 09:59
o_0的园子
阅读(1193)
推荐(0)
大数据学习——本地安装redis
摘要:下载安装包 https://github.com/MicrosoftArchive/redis 下载后解压 运行cmd 然后到redis路径 运行命令: redis-server redis.windows.conf
阅读全文
posted @
2019-02-25 20:50
o_0的园子
阅读(203)
推荐(0)
面试准备——Zookeeper
摘要:转自https://www.cnblogs.com/shan1393/p/9479109.html 1. Zookeeper是什么框架 分布式的、开源的分布式应用程序协调服务,原本是Hadoop、HBase的一个重要组件。它为分布式应用提供一致性服务的软件,包括:配置维护、域名服务、分布式同步、组服
阅读全文
posted @
2019-02-25 16:33
o_0的园子
阅读(196)
推荐(0)
大数据学习——Kafka集群部署
摘要:1下载安装包 2解压安装包 3修改配置文件 cp server.properties server.properties.bak /etc/profile 4分发安装包 修改 mini2上的配置文件 server.properties broker.id=1 host.name=mini2 adve
阅读全文
posted @
2019-02-25 13:14
o_0的园子
阅读(384)
推荐(0)
大数据学习——Storm+Kafka+Redis整合
摘要:1 pom.xml 2 MyLocalFileSpout.java 3 MySplitBolt.java 4 MyWordCountAndPrintBolt.java 5 StormTopologyDriver.java 6 TestRedis.java 在mini1的/root/apps/kafk
阅读全文
posted @
2019-02-21 22:35
o_0的园子
阅读(998)
推荐(1)
大数据学习——Storm集群搭建
摘要:安装storm之前要安装zookeeper 一.安装storm步骤 1.下载安装包 2.解压安装包 3.修改配置文件 修改环境变量/etc/profile 4.分发安装包 5.启动集群 storm的集群中的是三个角色 nimbus 主节点,管理节点 supervisor每个机器上的管理者 ui界面
阅读全文
posted @
2019-02-21 22:33
o_0的园子
阅读(328)
推荐(0)
大数据学习——Storm学习单词计数案例
摘要:需求:计算单词在文档中出现的次数,每出现一次就累加一次 遇到的问题 这个问题是<scope>provided</scope>作用域问题 https://www.cnblogs.com/biehongli/p/8316885.html 这个问题是需要把从文件中读取的内容放入list 代码如下 本地运行
阅读全文
posted @
2019-02-18 22:15
o_0的园子
阅读(472)
推荐(0)
大数据学习——hbase的shell客户端基本使用
摘要:1 基本shell命令 1 在hbase的 bin目录下进入命令行 ./hbase shell 2 查看有哪些表 list 3 创建一个表 create 't_user_info', {NAME => 'base_info'}, {NAME => 'extra_info', VERSIONS =>
阅读全文
posted @
2019-02-18 21:37
o_0的园子
阅读(1952)
推荐(0)
大数据学习——hbase数据库
摘要:Hhbase集群搭建 一 第一步 准备:搭建hadoop集群,搭建zookeeper 二 第二步:上传安装包 解压 1 tar -zxvf hbase-1.2.1-bin.tar.gz 重命名 2 mv hbase-1.2.1 hbase 删除不需要的文件 3 rm -rf docs 4修改conf
阅读全文
posted @
2019-02-17 14:20
o_0的园子
阅读(290)
推荐(0)
大数据学习——sql练习
摘要:1、 现有如下的建表语句和数据: 建表语句 现有数据表1,如下所示:
阅读全文
posted @
2019-02-16 21:29
o_0的园子
阅读(549)
推荐(0)