2021 年 1月随笔档案 - 陕西小楞娃

Scala_match、case、implicitt(四)

摘要：trait object Test05_trait { def main(args: Array[String]): Unit = { val person = new Person("AA"); person.hello() person.happy() person.ku() person.Ha 阅读全文

posted @ 2021-01-31 23:42 陕西小楞娃阅读(89) 评论(0) 推荐(0)

Scala_集合(三)

摘要：数组 // var 约等于final 不可变描述的是val指定的引用的值(值: 字面值，地址) val array01 = Array[Int](1,2,3,4) //错误 array01 = Array[Int](1,2,3,4) array01(1) = 99 println(array01(1 阅读全文

posted @ 2021-01-31 12:51 陕西小楞娃阅读(64) 评论(0) 推荐(0)

Scala基础用法(二)

摘要：流程控制 if var a = 3; if(a > 0){ println(s"$a > 0") }else{ println(s"$a < 0") } 3 > 0 whilr var b = 3; while (b < 10){ println(b) b += 1; } 3 4 5 6 7 8 9 阅读全文

posted @ 2021-01-31 12:40 陕西小楞娃阅读(131) 评论(0) 推荐(0)

Scala-idea搭建(一)

摘要：1.plugin中安装scala插件 2.项目设置 project structure Global Libraies --> + --> Download 2.11.xx版本右键、Copy to Project Libraies Libraies目录中会出现 3.创建基本项目 scala -> 阅读全文

posted @ 2021-01-31 12:18 陕西小楞娃阅读(90) 评论(0) 推荐(0)

zookeeper

摘要：为什么用zk做分布式协调服务 1.leader肯定会挂 2.服务不可用 3.zk可以快速选主，并且瞬间能提高到挂掉之前的状态 zk目录结构 1.zookeeper是一个目录树结构 2.node可以存储数据，最大1MB 3.分为临时节点、持久节点、序列临时节点、序列持久节点、client连接先连接se 阅读全文

posted @ 2021-01-31 12:10 陕西小楞娃阅读(90) 评论(0) 推荐(0)

redis客户端高低版本简单实战、雪崩、击穿、穿透、布隆过滤器(三)

摘要：获取所有配置config get * 临时修改外部连接配置config set protected-mode no 代码地址:https://gitee.com/Xiaokeworksveryhard/big-data.git redis思路导图数组长度也不是越长越好，占内存，数组长度计算公式布阅读全文

posted @ 2021-01-24 13:08 陕西小楞娃阅读(77) 评论(0) 推荐(0)

redis集群理论与实战(二)

摘要：joyieldInc代理下载编译好的文件 git地址： https://github.com/joyieldInc/predixy 编译文件地址: https://github.com/joyieldInc/predixy/releases/download/1.0.5/predixy-1.0.5 阅读全文

posted @ 2021-01-23 13:46 陕西小楞娃阅读(150) 评论(0) 推荐(0)

redis集群理论与实战

摘要：理论 1.业务拆分 2.数据不能拆、使用算法,将数据分片 a.hash+取模 b.random随机分配一般可以做消息队列 c.一致性hash/映射算法 1.算法生成hash环 2.机器node01、node02是物理机，可以在环上根据算法生成对应的物理点 3.凡是数据物理点之前的数据都属于该机器的阅读全文

posted @ 2021-01-23 12:27 陕西小楞娃阅读(128) 评论(0) 推荐(0)

oracle单表循环修改表字段

摘要：DECLARE i number; j number; BEGIN i := 1; j := 0; select count(*) into j from table where scenaio = 0 ; loop exit when i > j ; update table set scenai 阅读全文

posted @ 2021-01-20 21:26 陕西小楞娃阅读(165) 评论(0) 推荐(0)

redis的集群、主从复制、CAP、paxos

摘要：redis单机、单节点、单实例问题： 1.单点故障 2.容量有限 3.压力看图复习解决办法：AKF X: 全量、镜像 Y: 业务、功能 Z: 优先级、逻辑再拆分 x: x轴解决压力问题，x轴增加多台主从机器，主机写，从机读取，环节了压力 Y: y轴解决容量问题，相当于微服务分库，按照业务进行拆阅读全文

posted @ 2021-01-19 00:22 陕西小楞娃阅读(252) 评论(0) 推荐(0)

redis持久化RDB、fork、copywrite

摘要：缓存：数据可以丢、追求极速！数据库: 数据绝对不能丢的，速度+持久性 so：当数据库的时候，需要数据持久化！存储层： 1.快照、副本 2.日志怎么持久化？ 1.在当前县城开始持久化，假如8点开始持久化，8点半持久化完成，8点时候a=10 8点半时候a=20,那么到底持久化10还是20，如果持阅读全文

posted @ 2021-01-19 00:17 陕西小楞娃阅读(294) 评论(0) 推荐(0)

redis消息、管道、事务、modules

摘要：和redis建立socket链接 nc localhost 6379 [root@redis ~]# nc localhost 6379 keys * *5 $6 unkey2 $5 unkey $2 k1 $2 k2 $6 unkey1 set nckey a +OK flushall +OK [ 阅读全文

posted @ 2021-01-19 00:14 陕西小楞娃阅读(80) 评论(0) 推荐(0)

redis五种基本类型

摘要：String类型 set k1 aaa append k1 "bbb" getrange k1 0 -1 setrange k1 5(不能负数) ccc 替换，不够就补 object help object encoding k1 字符串是 embstr、raw、int incr k2 incrby 阅读全文

posted @ 2021-01-17 12:38 陕西小楞娃阅读(105) 评论(0) 推荐(0)

redis安装(二)

摘要：1，yum install wget2,cd ~3,mkdir soft4,cd soft5,wget http://download.redis.io/releases/redis-5.0.5.tar.gz6,tar xf redis...tar.gz7,cd redis-src8,看README 阅读全文

posted @ 2021-01-17 12:21 陕西小楞娃阅读(54) 评论(0) 推荐(0)

redis原理(一)

摘要：1.数据是存储在文件中的 2.linux读取方式: grep、awk 3.程序读取方式：java 4.常识常识：磁盘： 1，寻址：ms 2，带宽：G/M 内存： 1，寻址：ns 2，带宽：很大秒>毫秒>微秒>纳秒磁盘比内存在寻址上慢了10W倍 I/O buffer：成本问题磁盘与磁道，扇区阅读全文

posted @ 2021-01-17 12:20 陕西小楞娃阅读(84) 评论(0) 推荐(0)

项目实战 -sqoop写入Mysql(三)

摘要：1.参考官网文档：http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_importing_data_into_hive_2 2.sqoop可以将mysql写入hive、HDFS、hbase中 3.sqoop可以将hive、HDFS、hbas 阅读全文

posted @ 2021-01-16 13:16 陕西小楞娃阅读(177) 评论(0) 推荐(0)

项目实战 -MapReduce将Hbase写入Mysql(三)

摘要：上课人数：指标男生女生戴眼镜不戴眼镜戴眼镜男生不戴眼镜男生戴眼镜女生不戴眼镜女生张三男戴眼镜李四男生不戴眼镜需求：通过一个MR将所有存在的值都计算出来 map：输入一条记录，输出是K-V键值对的数据男生张三戴眼镜张三戴眼镜男生张三男生李四不戴眼镜李四阅读全文

posted @ 2021-01-01 19:26 陕西小楞娃阅读(119) 评论(0) 推荐(0)