01 2020 档案

Scala Map集合
摘要：package com.wyh.day01 object ScalaMap { def main(args: Array[String]): Unit = { /** * 不可变Map * */ //创建不可变集合，两种写法 var map1 = Map((1604093026, "王友虎"), 1 阅读全文
posted @ 2020-01-20 13:37 Xiaohu_BigData 阅读(434) 评论(0) 推荐(0)
Scala Set集合 元素唯一，无序
摘要：package com.wyh.day01 /** * Set集合 * 唯一，无序 * * Set中大部分方法与List一致，但是不可以进行排序 */ object ScalaSet { def main(args: Array[String]): Unit = { var set1 = Set(1 阅读全文
posted @ 2020-01-20 13:08 Xiaohu_BigData 阅读(461) 评论(0) 推荐(0)
Scala List集合 List 有序不唯一，元素可重复
摘要：package com.wyh.day01 import scala.collection.mutable.ListBuffer /** * List 有序不唯一，元素可重复 */ object ScalaList2 { case class stu(name: String, age: Int) 阅读全文
posted @ 2020-01-20 13:05 Xiaohu_BigData 阅读(954) 评论(0) 推荐(0)
Scala查看源码
摘要：package com.wyh.day01 /** * 1、代码格式化的快捷键 ctrl+alt+L\ * 2、scala查看源代码的快捷键 ctrl+b */ object ScalaLookSource { def main(args: Array[String]): Unit = { var 阅读全文
posted @ 2020-01-20 13:01 Xiaohu_BigData 阅读(485) 评论(0) 推荐(0)
Scala变量补充
摘要：package com.wyh.day01 object ScalaLanguage { def main(args: Array[String]): Unit = { /** * 定义变量和常量 * * 定义变量是 var * 定义常量是 val * * 区别： * 1、被var修饰的变量是可以重 阅读全文
posted @ 2020-01-20 12:59 Xiaohu_BigData 阅读(153) 评论(0) 推荐(0)
Scala高阶函数 2（以函数作为返回值，函数柯里化，应用函数）
摘要：package com.wyh.day01 object ScalaFun4 { def main(args: Array[String]): Unit = { /** * 以函数作为返回值 */ def A(s: String): String => String = { def B(s1: St 阅读全文
posted @ 2020-01-20 12:57 Xiaohu_BigData 阅读(563) 评论(0) 推荐(0)
Scala高阶函数 1
摘要：package com.wyh.day01 /** * * 高阶函数 */ object ScalaFun3 { def main(args: Array[String]): Unit = { //定义一个array数组 var arr = Array(1, 2, 3, 4, 6, 3, 4, 5, 阅读全文
posted @ 2020-01-20 12:55 Xiaohu_BigData 阅读(152) 评论(0) 推荐(0)
Scala匿名函数
摘要：package com.wyh.day01 /** * 面向函数编程 */ object ScalaFun2 { def main(args: Array[String]): Unit = { val result = A(f) println(result) val result2 = A(f1) 阅读全文
posted @ 2020-01-20 12:54 Xiaohu_BigData 阅读(226) 评论(0) 推荐(0)
Scala定义方法，可变参数，默认值，递归
摘要：package com.wyh.day01 object ScalaFun1 { def main(args: Array[String]): Unit = { val result = stringPan("数加") println(result) val result2 = SumData(1, 阅读全文
posted @ 2020-01-20 12:50 Xiaohu_BigData 阅读(535) 评论(0) 推荐(0)
Scala重写构造函数
摘要：package com.wyh.scala.classData object Demo4Class { def main(args: Array[String]): Unit = { val stu = new Student("张三", 23) println(stu) } } //(_name: 阅读全文
posted @ 2020-01-20 12:47 Xiaohu_BigData 阅读(903) 评论(0) 推荐(0)
Scala样例类及底层实现伴生对象
摘要：package com.wyh.day01 /** * 样例类的使用 * 1、使用case修饰类 * 2、不需要写构造方法，getter，setter方法，toString方法 * 3、直接通过对象名进行调用 * 4、自动重写方法 * */ object ScalaApply { def main( 阅读全文
posted @ 2020-01-20 12:45 Xiaohu_BigData 阅读(279) 评论(0) 推荐(0)
Scala面向对象之创建对象，重载构造方法，继承抽象类实现接口
摘要：package com.wyh.day01 object ScalaClass { def main(args: Array[String]): Unit = { val student = new Person("王友虎",21) var result = student.toString pri 阅读全文
posted @ 2020-01-20 12:43 Xiaohu_BigData 阅读(363) 评论(0) 推荐(0)
Scala变量
摘要：package com.wyh.scala.classData object Demo2 { def main(args: Array[String]): Unit = { /** * 语法基础 * */ /** * * 通过var 和val 定义变量 变量类型自动推断处理 根据= 右边推断出来 * 阅读全文
posted @ 2020-01-20 12:38 Xiaohu_BigData 阅读(164) 评论(0) 推荐(0)
Scala学习第一天（Hello world）
摘要：Scala编程语言抓住了很多开发者的眼球。如果你粗略浏览Scala的网站，你会觉得Scala是一种纯粹的面向对象编程语言，而又无缝地结合了命令式编程和函数式编程风格。Christopher Diggins认为： 不太久之前编程语言还可以毫无疑意地归类成“命令式”或者“函数式”或者“面向对象”。Sca 阅读全文
posted @ 2020-01-20 12:36 Xiaohu_BigData 阅读(206) 评论(0) 推荐(0)
大数据之路Week10_day07 (JavaAPI 操作Redis 模拟将redis当作缓存，从Mysql数据库中查询数据）
摘要：在现实生活中，当很多人去访问一个数据的时候，Mysql会很慢，甚至会挂掉，如果这里之间存在一个缓存的话，直接从内存中查询数据将会快很多。 这里就去模拟将redis看作是一个缓存，因为redis就是基于内存的数据库。 需要考虑的问题： 1、客户端发起请求的时候，先去缓存中查询。 2、如何设计redis 阅读全文
posted @ 2020-01-12 12:10 Xiaohu_BigData 阅读(537) 评论(0) 推荐(0)
大数据之路Week10_day07 (JavaAPI 操作Redis 与Hbase建立索引，通过查询redis中的索引查询Hbase数据）
摘要：在这里是简单模拟将索引存到redis中，再通过先查询索引再将Hbase中的数据查询出来。 需要考虑的问题： 1、建立redis的连接，建立Hbase的连接 2、如何创建索引，即创建索引的key和value的设计 3、如何通过将查到的索引，去查询到对应Hbase的数据 代码的难度并不大，主要是这个思路 阅读全文
posted @ 2020-01-12 12:03 Xiaohu_BigData 阅读(539) 评论(0) 推荐(0)
大数据之路Week10_day05 (JavaAPI 操作Redis 第一阶段）
摘要：刚开始学习JavaAPI的时候，主要是对redis中的字符串，字节位图，列表，集合，有序集合进行操作，并能够完成简单的需求。 package com.wyh.redis; import org.junit.After; import org.junit.Before; import org.juni 阅读全文
posted @ 2020-01-10 21:15 Xiaohu_BigData 阅读(254) 评论(0) 推荐(0)
大数据之路Week10_day05 (Redis总结I）
摘要：正文 1、为什么使用redis 分析:博主觉得在项目中使用redis，主要是从两个角度去考虑:性能和并发。当然，redis还具备可以做分布式锁等其他功能，但是如果只是为了分布式锁这些其他功能，完全还有其他中间件(如zookpeer等)代替，并不是非要使用redis。因此，这个问题主要从性能和并发两个 阅读全文
posted @ 2020-01-10 21:02 Xiaohu_BigData 阅读(198) 评论(0) 推荐(0)
大数据之路Week10_day05 (Redis的安装与简单命令使用）
摘要：Redis 支持单机版和集群,下面的步骤是单机版安装步骤 redis3.0.0版本的安装包百度云链接： 链接：https://pan.baidu.com/s/1mb_SdU5hHlrmUkWN7Drx0g 提取码：jz9r # yum install -y gcc-c++ 1.1 由于是c语言编写, 阅读全文
posted @ 2020-01-10 20:50 Xiaohu_BigData 阅读(178) 评论(0) 推荐(0)
大数据之路Week10_day04 (Hbase的二级索引，二级索引的本质就是建立各列值与行键之间的映射关系）
摘要：二级索引的本质就是建立各列值与行键之间的映射关系 HBASE是在hadoop之上构建非关系型，面向列存储的开源分布式结构化数据存储系统。 Hbase的局限性： HBase本身只提供基于行键和全表扫描的查询，而行键索引单一，对于多维度的查询困难。 所以我们引进一个二级索引的概念 常见的二级索引： HB 阅读全文
posted @ 2020-01-09 17:46 Xiaohu_BigData 阅读(349) 评论(0) 推荐(0)
大数据之路Week10_day01 (练习：通过设计rowkey来实现查询需求）
摘要：1、准备数据 链接：https://pan.baidu.com/s/1fRECXp0oWM1xgxc0uoniAA 提取码：4k43 2、需求如下 （1）查询出10条某个人的最近出现的位置信息 （2）查询出某个人在某一天在某个城市的所有位置信息 3、设计rowkey 手机号_（某一个大值 - 进入位 阅读全文
posted @ 2020-01-08 21:56 Xiaohu_BigData 阅读(282) 评论(0) 推荐(0)
大数据之路Week10_day01 (通过直接创建Hfile文件的方式往Hbase中插入数据）
摘要：package com.wyh.parctise; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hbase.HBaseConfigura 阅读全文
posted @ 2020-01-08 21:41 Xiaohu_BigData 阅读(395) 评论(0) 推荐(0)
大数据之路Week10_day01 (Hbase总结 II）
摘要：Hbase是数据库 特点： 1.面向列：Hbase是面向列的存储和权限控制，并支持独立索引。列式存储，其数据在表中是按照某列存储的，这样在查询只需要少数几个字段时，能大大减少读取的数据量。 2.多版本：Hbase每一个列的存储有多个Version（这个版本是针对列簇来说的）。 3.稀疏性：为空的列不 阅读全文
posted @ 2020-01-08 16:34 Xiaohu_BigData 阅读(289) 评论(0) 推荐(0)
Week09_day05(Java API操作Hbase)
摘要：package com.wyh.HbaseAPI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hbase.CellUtil; i 阅读全文
posted @ 2020-01-03 23:42 Xiaohu_BigData 阅读(227) 评论(0) 推荐(0)
Week09_day05(Hbase的基本使用)
摘要：使用HBase 和 Hbase使用帮助 1）、进入HBase #使用命令进入HBase Shell $ hbase shell The HBase shell is the (J)Ruby IRB with the above HBase-specific commands added. For m 阅读全文
posted @ 2020-01-03 22:18 Xiaohu_BigData 阅读(341) 评论(0) 推荐(0)
Zookeeper、Hadoop、Hbase的启动顺序以及关闭顺序
摘要：启动顺序 Hadoop及hbase集群启动顺序 zookeepeer -> hadoop -> hbase 停止顺序 Hadoop及hbase集群关闭顺序 hbase -> hadoop -> zookeepeer 启动和停止ZK /home/zookeeper-3.4.6/bin/zkServer 阅读全文
posted @ 2020-01-03 22:14 Xiaohu_BigData 阅读(3369) 评论(0) 推荐(1)
Week09_day05(Hbase的安装搭建)
摘要：搭建完全分布式集群 HBase集群建立在hadoop集群基础之上，所以在搭建HBase集群之前需要把Hadoop集群搭建起来，并且要考虑二者的兼容性.现在就以5台机器为例，搭建一个简单的集群. 软件版本：hbase-0.98.12.1-hadoop2-bin.tar.gz 3台机器IP：192.16 阅读全文
posted @ 2020-01-03 22:11 Xiaohu_BigData 阅读(310) 评论(0) 推荐(0)
Week09_day05(Hbase的介绍和工作原理)
摘要：HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于B 阅读全文
posted @ 2020-01-03 21:55 Xiaohu_BigData 阅读(254) 评论(0) 推荐(0)