随笔分类 -  大数据学习

上一页 1 2 3 4 5 6 下一页
大数据学习——scala函数与方法
摘要:package com /** * Created by Administrator on 2019/4/8. */ object TestMap { def ttt(f: Int => Int): Unit = { val r = f(10) println(r) } val f0 = (x: Int) => x * x def m0(x: ... 阅读全文
posted @ 2019-05-31 14:43 o_0的园子 阅读(278) 评论(0) 推荐(0)
大数据学习——scala入门练习
摘要:package com /** * Created by ZX on 2015/11/6. */ object VariableDemo { def main(args: Array[String]) { //1定义变量----------------------------------------- //使用val定义的变量值是不可变的,相当于java里用fin... 阅读全文
posted @ 2019-05-22 21:54 o_0的园子 阅读(654) 评论(0) 推荐(0)
大数据学习——kettle的简单使用
摘要:1 生成随机数保存到本地文件 新建转换——输入——生成随机数——输出——文本文件输出——保存到本地文件 2 在线预览生成结果 3 字段选择 4 增加常量 5 生成多条数据 右键生成随机数——改变开始复制的数量——复制的数量10——确定 6 过滤记录 7 字段运算 8 连接 笛卡尔输出 作业 阅读全文
posted @ 2019-04-15 14:58 o_0的园子 阅读(929) 评论(0) 推荐(0)
大数据学习——KETTLE入门学习——kettle安装
摘要:https://blog.csdn.net/u012637358/article/details/82593492 下载的kettle是汉化的 改成英文的 工具——选项——选择英文 阅读全文
posted @ 2019-04-09 10:10 o_0的园子 阅读(579) 评论(1) 推荐(0)
Linux安装Scala
摘要:下载Scala地址http://downloads.typesafe.com/scala/2.10.6/scala-2.10.6.tgz然后解压Scala到指定目录 tar -zxvf scala-2.10.6.tgz -C /usr/java 配置环境变量,将scala加入到PATH中 vi /e 阅读全文
posted @ 2019-03-25 14:06 o_0的园子 阅读(578) 评论(0) 推荐(0)
idea 无法创建Scala class 选项解决办法汇总
摘要:原因一:没有添加scala sdk 解决:file=>project structure =>Global Libraries,添加scala-sdk: 没有scala sdk的可以去网上下载。 再检查一下.iml文件是否添加了scala sdk,没有的话加上: 原因二:可能是maven的配置问题: 阅读全文
posted @ 2019-03-19 13:58 o_0的园子 阅读(691) 评论(0) 推荐(0)
idea 无法创建Scala class 选项解决办法汇总
摘要:原因一:没有添加scala sdk 解决:file=>project structure =>Global Libraries,添加scala-sdk: 没有scala sdk的可以去网上下载。 再检查一下.iml文件是否添加了scala sdk,没有的话加上: 原因二:可能是maven的配置问题: 阅读全文
posted @ 2019-03-19 13:58 o_0的园子 阅读(1348) 评论(0) 推荐(0)
大数据学习——scala入门程序
摘要:安装scala.msi https://blog.csdn.net/sinat_32867867/article/details/80305302 notepad++ 阅读全文
posted @ 2019-03-07 11:57 o_0的园子 阅读(177) 评论(0) 推荐(0)
大数据学习——spark安装
摘要:1 下载安装包 2 上传并解压(不需要修改配置文件) 3 启动 进入spark/bin 计算单词出现次数 按照单词出现次数降序排列 把计算结果保存 阅读全文
posted @ 2019-03-06 19:24 o_0的园子 阅读(164) 评论(0) 推荐(0)
大数据学习——kafka+storm+hdfs整合
摘要:1 需求 1 pom.xml 3 PushWords.java 4 WordCount.java 5 WordCountSplit.java 6 StormTopologyDriver.java 阅读全文
posted @ 2019-02-27 10:06 o_0的园子 阅读(766) 评论(3) 推荐(0)
大数据学习——日志监控告警系统
摘要:https://blog.csdn.net/sdksdk0/article/details/73176639 阅读全文
posted @ 2019-02-27 09:59 o_0的园子 阅读(1193) 评论(0) 推荐(0)
大数据学习——本地安装redis
摘要:下载安装包 https://github.com/MicrosoftArchive/redis 下载后解压 运行cmd 然后到redis路径 运行命令: redis-server redis.windows.conf 阅读全文
posted @ 2019-02-25 20:50 o_0的园子 阅读(203) 评论(0) 推荐(0)
面试准备——Zookeeper
摘要:转自https://www.cnblogs.com/shan1393/p/9479109.html 1. Zookeeper是什么框架 分布式的、开源的分布式应用程序协调服务,原本是Hadoop、HBase的一个重要组件。它为分布式应用提供一致性服务的软件,包括:配置维护、域名服务、分布式同步、组服 阅读全文
posted @ 2019-02-25 16:33 o_0的园子 阅读(196) 评论(0) 推荐(0)
大数据学习——Kafka集群部署
摘要:1下载安装包 2解压安装包 3修改配置文件 cp server.properties server.properties.bak /etc/profile 4分发安装包 修改 mini2上的配置文件 server.properties broker.id=1 host.name=mini2 adve 阅读全文
posted @ 2019-02-25 13:14 o_0的园子 阅读(384) 评论(0) 推荐(0)
大数据学习——Storm+Kafka+Redis整合
摘要:1 pom.xml 2 MyLocalFileSpout.java 3 MySplitBolt.java 4 MyWordCountAndPrintBolt.java 5 StormTopologyDriver.java 6 TestRedis.java 在mini1的/root/apps/kafk 阅读全文
posted @ 2019-02-21 22:35 o_0的园子 阅读(998) 评论(0) 推荐(1)
大数据学习——Storm集群搭建
摘要:安装storm之前要安装zookeeper 一.安装storm步骤 1.下载安装包 2.解压安装包 3.修改配置文件 修改环境变量/etc/profile 4.分发安装包 5.启动集群 storm的集群中的是三个角色 nimbus 主节点,管理节点 supervisor每个机器上的管理者 ui界面 阅读全文
posted @ 2019-02-21 22:33 o_0的园子 阅读(328) 评论(0) 推荐(0)
大数据学习——Storm学习单词计数案例
摘要:需求:计算单词在文档中出现的次数,每出现一次就累加一次 遇到的问题 这个问题是<scope>provided</scope>作用域问题 https://www.cnblogs.com/biehongli/p/8316885.html 这个问题是需要把从文件中读取的内容放入list 代码如下 本地运行 阅读全文
posted @ 2019-02-18 22:15 o_0的园子 阅读(472) 评论(0) 推荐(0)
大数据学习——hbase的shell客户端基本使用
摘要:1 基本shell命令 1 在hbase的 bin目录下进入命令行 ./hbase shell 2 查看有哪些表 list 3 创建一个表 create 't_user_info', {NAME => 'base_info'}, {NAME => 'extra_info', VERSIONS => 阅读全文
posted @ 2019-02-18 21:37 o_0的园子 阅读(1952) 评论(1) 推荐(0)
大数据学习——hbase数据库
摘要:Hhbase集群搭建 一 第一步 准备:搭建hadoop集群,搭建zookeeper 二 第二步:上传安装包 解压 1 tar -zxvf hbase-1.2.1-bin.tar.gz 重命名 2 mv hbase-1.2.1 hbase 删除不需要的文件 3 rm -rf docs 4修改conf 阅读全文
posted @ 2019-02-17 14:20 o_0的园子 阅读(290) 评论(0) 推荐(0)
大数据学习——sql练习
摘要:1、 现有如下的建表语句和数据: 建表语句 现有数据表1,如下所示: 阅读全文
posted @ 2019-02-16 21:29 o_0的园子 阅读(549) 评论(0) 推荐(0)

上一页 1 2 3 4 5 6 下一页