大数据 - 随笔分类 - shaoyayu

Scala Actor Model

摘要：Scala Actor Model 概念理解 Actor Model是用来编写并行计算或分布式系统的高层次抽象（类似java中的Thread）让程序员不必为多线程模式下共享锁而烦恼,被用在Erlang 语言上, 高可用性99.9999999 % 一年只有31ms 宕机Actors将状态和行为封装在一阅读全文

posted @ 2020-12-02 16:02 shaoyayu 阅读(142) 评论(0) 推荐(0)

Scala 隐式转换

摘要：Scala 隐式转换隐式转换是在Scala编译器进行类型匹配时，如果找不到合适的类型，那么隐式转换会让编译器在作用范围内自动推导出来合适的类型。 1.隐式值与隐式参数隐式值是指在定义参数时前面加上implicit。隐式参数是指在定义方法时，方法中的部分参数是由implicit修饰【必须使用柯里化阅读全文

posted @ 2020-12-02 16:01 shaoyayu 阅读(157) 评论(0) 推荐(0)

Scala Trait+Match+Case class+偏函数

摘要：Scala Trait+Match+Case class+偏函数 trait 特性概念理解 Scala Trait(特征) 相当于 Java 的接口，实际上它比接口还功能强大。与接口不同的是，它还可以定义属性和方法的实现。一般情况下Scala的类可以继承多个Trait，从结果来看就是实现了多重阅读全文

posted @ 2020-12-02 15:59 shaoyayu 阅读(154) 评论(0) 推荐(0)

Scala 元组

摘要：Scala 元组元组定义与列表一样，与列表不同的是元组可以包含不同类型的元素。元组的值是通过将单个的值包含在圆括号中构成的。创建元组与取值 val tuple = new Tuple（1）可以使用new val tuple2 = Tuple（1,2）可以不使用new，也可以直接写成val 阅读全文

posted @ 2020-12-02 15:58 shaoyayu 阅读(350) 评论(0) 推荐(0)

Scala里面的Set与Map

摘要：Scala里面的Set与Map Set package icu.shaoyayu.scala /** * @author shaoyayu * @date 2020/7/26 11:15 * @E_Mail * @Version 1.0.0 * @readme ： * set介绍 * */ obje 阅读全文

posted @ 2020-12-02 15:55 shaoyayu 阅读(212) 评论(0) 推荐(0)

Scala字符串与集合

摘要：Scala字符串与集合 package icu.shaoyayu.scala import scala.collection.mutable.{ArrayBuffer, ListBuffer} /** * @author shaoyayu * @date 2020/7/25 16:26 * @E_M 阅读全文

posted @ 2020-12-02 15:53 shaoyayu 阅读(311) 评论(0) 推荐(0)

Scala 中方法与函数

摘要：Scala 中方法与函数方法 package icu.shaoyayu.scala /** * @author shaoyayu * @date 2020/7/23 23:16 * @E_Mail * @Version 1.0.0 * @readme ： */ object Lesson3 { d 阅读全文

posted @ 2020-12-02 15:52 shaoyayu 阅读(172) 评论(0) 推荐(0)

Scala 基础

摘要：Scala 基础数据类型数据类型描述 Byte 8bit的有符号数字,范围在-128 -- 127 Short 16 bit有符号数字,范围在-32768 -- 32767 Int 32 bit有符号数字,范围-2147483648到2147483647 Long 64 bit有符号数字,范围- 阅读全文

posted @ 2020-12-02 15:50 shaoyayu 阅读(112) 评论(0) 推荐(0)

Scala 介绍与环境配置

摘要：Scala 介绍与环境配置 Scala介绍官方文档 Scala用一种简洁的高级语言将面向对象和函数式编程结合在一起。 Scala的静态类型有助于避免复杂应用程序中的错误，其JVM和JavaScript运行时使您可以轻松访问庞大的库生态系统来构建高性能系统。 Spark1.6中使用的是Scala2. 阅读全文

posted @ 2020-12-02 15:49 shaoyayu 阅读(161) 评论(0) 推荐(0)

Zookeeper 与RMI

摘要：Zookeeper 与RMI 参考： https://my.oschina.net/huangyong/blog/345164 https://www.jianshu.com/p/d8ffa1ff0727 https://developer.ibm.com/zh/articles/os-cn-zoo 阅读全文

posted @ 2020-12-02 15:47 shaoyayu 阅读(218) 评论(0) 推荐(0)

Zookeeper java API

摘要：Zookeeper java API 测试 pom  <dependency> <groupId>org.apache.zookeeper</group 阅读全文

posted @ 2020-12-02 15:46 shaoyayu 阅读(1366) 评论(0) 推荐(0)

Zookeeper 安装与配置

摘要：Zookeeper 安装与配置我使用的是解压版的，直接解压配置环境变量就行了，这里不对安装进行过多的描述 zook.cfg 在文件的/conf/下面的模板配置文件修改成zook.cfg 文件 # The number of milliseconds of each tick tickTime=2 阅读全文

posted @ 2020-12-02 15:44 shaoyayu 阅读(469) 评论(0) 推荐(0)

Zookeeper 架构

摘要：Zookeeper 架构材料大部分来源于网上，我会备注网址学习学习推荐阅读：https://developer.ibm.com/zh/articles/os-cn-zookeeper/ 项目介绍转至元数据结尾由 Benjamin Reed创建, 最终由 Carlos D. Morales修阅读全文

posted @ 2020-12-02 15:43 shaoyayu 阅读(346) 评论(0) 推荐(0)

HBase 优化

摘要：HBase 优化表优化在使用List Put写入的时候可能会丢失一些数据，包括读写的时候都有可能存在丢书数据的情况表切分默认的表是存储再同一个Region上面的，当表太大的时候，表会自动的切分到其他的Region上面。手动切分 # 手动的切分表名 >split ‘表名’ 这样当数据太大的时阅读全文

posted @ 2020-12-02 15:40 shaoyayu 阅读(145) 评论(0) 推荐(0)

HBase 与 MapReduce 整合

摘要：HBase 与 MapReduce 整合 phoenix.apache.org Mapreduce运行3种方式本地方式运行： pc环境 1.1、将 Hadoop安装本地解压 1.2、配置 Hadoop的环境变量添加%HADOOP_HOME% 修改%PATH%添加%HADOOP_HOME%/bin 阅读全文

posted @ 2020-12-02 15:39 shaoyayu 阅读(1295) 评论(0) 推荐(0)

Hbase protobuf Java API

摘要：案例： 3、通话记录：手机号对方手机号通话时长时间通话类型（主叫/被叫）后续更新阅读全文

posted @ 2020-12-02 15:37 shaoyayu 阅读(111) 评论(0) 推荐(0)

HBase数据库设计

摘要：HBase数据库设计题目： 1、人员-角色人员有多个角色角色优先级角色有多个人员人员删除添加角色角色可以添加删除人员人员角色删除添加 2、组织架构部门-子部门查询顶级部门查询每个部门的所有子部门部门添加、删除子部门部门添加、删除 3、通话记录：手机号对方手阅读全文

posted @ 2020-12-02 15:36 shaoyayu 阅读(535) 评论(0) 推荐(0)

HBase与Protobuf

摘要：HBase与Protobuf 简介官方文档什么是 Google Protocol Buffer？假如您在网上搜索，应该会得到类似这样的文字介绍： Google Protocol Buffer( 简称 Protobuf) 是 Google 公司内部的混合语言数据标准，目前已经正在使用的有超过 4 阅读全文

posted @ 2020-08-10 06:40 shaoyayu 阅读(1104) 评论(0) 推荐(0)

HBase Java API

摘要：HBase API 说明这里我配置的是HBase-0.98.23-hadoop2，api也是使用的是这个版本的 pom文件 <!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-client/0.98.23-hadoop2 - 阅读全文

posted @ 2020-08-10 06:39 shaoyayu 阅读(234) 评论(0) 推荐(0)

HBase全分布式部署

摘要：HBase全分布式部署 1、HDFS上的独立HBase 在独立的hbase上有时有用的变体是，所有守护程序都在一个JVM中运行，而不是持久化到本地文件系统，而是持久化到HDFS实例。当您打算使用简单的部署概要文件时，可以考虑使用此概要文件，虽然负载很轻，但是数据必须在节点间来回移动。写入要复制数据阅读全文

posted @ 2020-08-10 06:38 shaoyayu 阅读(2113) 评论(0) 推荐(0)

shaoyayu

热爱微服务、数据中台、三维重建和孪生系统。

随笔分类 - 大数据

公告