大数据学习 - 随笔分类(第2页) - o_0的园子

大数据学习——scala函数与方法

摘要：package com /** * Created by Administrator on 2019/4/8. */ object TestMap { def ttt(f: Int => Int): Unit = { val r = f(10) println(r) } val f0 = (x: Int) => x * x def m0(x: ... 阅读全文

posted @ 2019-05-31 14:43 o_0的园子阅读(278) 评论(0) 推荐(0)

大数据学习——scala入门练习

摘要：package com /** * Created by ZX on 2015/11/6. */ object VariableDemo { def main(args: Array[String]) { //1定义变量----------------------------------------- //使用val定义的变量值是不可变的，相当于java里用fin... 阅读全文

posted @ 2019-05-22 21:54 o_0的园子阅读(654) 评论(0) 推荐(0)

大数据学习——kettle的简单使用

摘要：1 生成随机数保存到本地文件新建转换——输入——生成随机数——输出——文本文件输出——保存到本地文件 2 在线预览生成结果 3 字段选择 4 增加常量 5 生成多条数据右键生成随机数——改变开始复制的数量——复制的数量10——确定 6 过滤记录 7 字段运算 8 连接笛卡尔输出作业阅读全文

posted @ 2019-04-15 14:58 o_0的园子阅读(929) 评论(0) 推荐(0)

大数据学习——KETTLE入门学习——kettle安装

摘要：https://blog.csdn.net/u012637358/article/details/82593492 下载的kettle是汉化的改成英文的工具——选项——选择英文阅读全文

posted @ 2019-04-09 10:10 o_0的园子阅读(579) 评论(1) 推荐(0)

Linux安装Scala

摘要：下载Scala地址http://downloads.typesafe.com/scala/2.10.6/scala-2.10.6.tgz然后解压Scala到指定目录 tar -zxvf scala-2.10.6.tgz -C /usr/java 配置环境变量，将scala加入到PATH中 vi /e 阅读全文

posted @ 2019-03-25 14:06 o_0的园子阅读(578) 评论(0) 推荐(0)

idea 无法创建Scala class 选项解决办法汇总

摘要：原因一：没有添加scala sdk 解决：file=>project structure =>Global Libraries,添加scala-sdk: 没有scala sdk的可以去网上下载。再检查一下.iml文件是否添加了scala sdk，没有的话加上：原因二：可能是maven的配置问题：阅读全文

posted @ 2019-03-19 13:58 o_0的园子阅读(691) 评论(0) 推荐(0)

idea 无法创建Scala class 选项解决办法汇总

摘要：原因一：没有添加scala sdk 解决：file=>project structure =>Global Libraries,添加scala-sdk: 没有scala sdk的可以去网上下载。再检查一下.iml文件是否添加了scala sdk，没有的话加上：原因二：可能是maven的配置问题：阅读全文

posted @ 2019-03-19 13:58 o_0的园子阅读(1348) 评论(0) 推荐(0)

大数据学习——scala入门程序

摘要：安装scala.msi https://blog.csdn.net/sinat_32867867/article/details/80305302 notepad++ 阅读全文

posted @ 2019-03-07 11:57 o_0的园子阅读(177) 评论(0) 推荐(0)

大数据学习——spark安装

摘要：1 下载安装包 2 上传并解压（不需要修改配置文件） 3 启动进入spark/bin 计算单词出现次数按照单词出现次数降序排列把计算结果保存阅读全文

posted @ 2019-03-06 19:24 o_0的园子阅读(164) 评论(0) 推荐(0)

大数据学习——kafka+storm+hdfs整合

摘要：1 需求 1 pom.xml 3 PushWords.java 4 WordCount.java 5 WordCountSplit.java 6 StormTopologyDriver.java 阅读全文

posted @ 2019-02-27 10:06 o_0的园子阅读(766) 评论(3) 推荐(0)

大数据学习——日志监控告警系统

摘要：https://blog.csdn.net/sdksdk0/article/details/73176639 阅读全文

posted @ 2019-02-27 09:59 o_0的园子阅读(1192) 评论(0) 推荐(0)

大数据学习——本地安装redis

摘要：下载安装包 https://github.com/MicrosoftArchive/redis 下载后解压运行cmd 然后到redis路径运行命令: redis-server redis.windows.conf 阅读全文

posted @ 2019-02-25 20:50 o_0的园子阅读(203) 评论(0) 推荐(0)

面试准备——Zookeeper

摘要：转自https://www.cnblogs.com/shan1393/p/9479109.html 1. Zookeeper是什么框架分布式的、开源的分布式应用程序协调服务，原本是Hadoop、HBase的一个重要组件。它为分布式应用提供一致性服务的软件，包括：配置维护、域名服务、分布式同步、组服阅读全文

posted @ 2019-02-25 16:33 o_0的园子阅读(196) 评论(0) 推荐(0)

大数据学习——Kafka集群部署

摘要：1下载安装包 2解压安装包 3修改配置文件 cp server.properties server.properties.bak /etc/profile 4分发安装包修改 mini2上的配置文件 server.properties broker.id=1 host.name=mini2 adve 阅读全文

posted @ 2019-02-25 13:14 o_0的园子阅读(384) 评论(0) 推荐(0)

大数据学习——Storm+Kafka+Redis整合

摘要：1 pom.xml 2 MyLocalFileSpout.java 3 MySplitBolt.java 4 MyWordCountAndPrintBolt.java 5 StormTopologyDriver.java 6 TestRedis.java 在mini1的/root/apps/kafk 阅读全文

posted @ 2019-02-21 22:35 o_0的园子阅读(998) 评论(0) 推荐(1)

大数据学习——Storm集群搭建

摘要：安装storm之前要安装zookeeper 一.安装storm步骤 1.下载安装包 2.解压安装包 3.修改配置文件修改环境变量/etc/profile 4.分发安装包 5.启动集群 storm的集群中的是三个角色 nimbus 主节点，管理节点 supervisor每个机器上的管理者 ui界面阅读全文

posted @ 2019-02-21 22:33 o_0的园子阅读(328) 评论(0) 推荐(0)

大数据学习——Storm学习单词计数案例

摘要：需求：计算单词在文档中出现的次数，每出现一次就累加一次遇到的问题这个问题是<scope>provided</scope>作用域问题 https://www.cnblogs.com/biehongli/p/8316885.html 这个问题是需要把从文件中读取的内容放入list 代码如下本地运行阅读全文

posted @ 2019-02-18 22:15 o_0的园子阅读(472) 评论(0) 推荐(0)

大数据学习——hbase的shell客户端基本使用

摘要：1 基本shell命令 1 在hbase的 bin目录下进入命令行 ./hbase shell 2 查看有哪些表 list 3 创建一个表 create 't_user_info', {NAME => 'base_info'}, {NAME => 'extra_info', VERSIONS => 阅读全文

posted @ 2019-02-18 21:37 o_0的园子阅读(1952) 评论(1) 推荐(0)

大数据学习——hbase数据库

摘要：Hhbase集群搭建一第一步准备：搭建hadoop集群，搭建zookeeper 二第二步：上传安装包解压 1 tar -zxvf hbase-1.2.1-bin.tar.gz 重命名 2 mv hbase-1.2.1 hbase 删除不需要的文件 3 rm -rf docs 4修改conf 阅读全文

posted @ 2019-02-17 14:20 o_0的园子阅读(290) 评论(0) 推荐(0)

大数据学习——sql练习

摘要：1、现有如下的建表语句和数据：建表语句现有数据表1,如下所示: 阅读全文

posted @ 2019-02-16 21:29 o_0的园子阅读(549) 评论(0) 推荐(0)

随笔分类 - 大数据学习