杨杨09265 - 博客园

nginx-https

摘要： 1.安装cfssl(如果有这一步可以忽略) wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 wget https://pkg.cfssl.o 阅读全文

posted @ 2021-09-23 23:09 杨杨09265 阅读(57) 评论(0) 推荐(0)

docker私仓

摘要： 1.创建证书 ip地址设置成当前地址 mkdir /root/certs cd /root/certs openssl req -newkey rsa:4096 -nodes -sha256 -keyout /root/certs/ca.key -x509 -days 365 -out /root/ 阅读全文

posted @ 2021-09-23 22:56 杨杨09265 阅读(37) 评论(0) 推荐(0)

sql解析

摘要： 1.概述 sql在很多地方都有应用，如关系型数据库，大数据等。本文主讲解要用代码实现sql的解析。 2.sql解析首先通过sql语句的语法规则生成一个相互依赖的字句，如where子句，from子句，selelct子句。第二步解析各个sql子句为sqlNode，sqlNode主要包含node类型和阅读全文

posted @ 2021-05-19 20:06 杨杨09265 阅读(334) 评论(0) 推荐(0)

oneid方法-图计算

摘要：背景，对于多源数据由于格式和字段不同，加上数据库的特性导致每个业务线里的记录的唯一id不同。通过图算法，首先对于任意业务线里的数据，唯一id先构建一个图节点，然后将所有非空可以作为唯一值的字段（身份证号，手机号等）做一个图节点，然后将这些节点连接在一起。每个图节点创建时连接相同值的节点，如第一个业阅读全文

posted @ 2021-05-18 19:54 杨杨09265 阅读(1058) 评论(0) 推荐(0)

kafka分布式存储

摘要： 1.概述之前提到过分布式存储，重点是要保持一致性，raft方案和paxos方案都是自己来完成这一切的，而kafka则主要依赖于zookeeper。 2.分布式存储的协调者 Controller，这个类的对象运行在一台机器上，首先通过zookeeper选出一台机器，每一个broker都会在Cont 阅读全文

posted @ 2021-05-13 01:05 杨杨09265 阅读(150) 评论(0) 推荐(0)

akka的简单demo

摘要： 1.概述 akka是actor模型的实现，可自行实现actor和beheavor。 2.简单demo import akka.actor.typed.ActorRef; import akka.actor.typed.ActorSystem; import akka.actor.typed.Beha 阅读全文

posted @ 2021-05-12 00:20 杨杨09265 阅读(842) 评论(0) 推荐(0)

分布式存储解决方案

摘要： 1.概述分布式存储核心问题是要解决读写一致性问题，同时保证高可用。paxos是通过以接收最新最多的提案为准的方式，raft也是一个分布式存储的解决方案当更简单易于理解。 2.paxos方案首先有倡议者提出提案，即数据修改请求，当达到接受者节点后，会向倡议者发送此时尚无提案的响应，倡议者收到响应后阅读全文

posted @ 2021-05-11 02:10 杨杨09265 阅读(532) 评论(0) 推荐(0)

paddle原理

摘要： memory模块主要负责内存的分配和回收，直接供外部使用的是malloc和memcpy，其中malloc主要调用了buddy_allocator，buddy_allocator调用了system_allocator，其中system_allocator直接实现了cpu和gpu的内存分配，buddy_ 阅读全文

posted @ 2021-04-21 19:14 杨杨09265 阅读(248) 评论(0) 推荐(0)

flink(一)

摘要： jobgraph包含若干个jobvertex，每个jobvertex包含若干个operatorId，一个operatorId包含一个操作，jobvertex的输入来自jobedge，然后将结果输出到IntermediateDataSet。heartbeat心跳监视程序，HeartbeatTarget 阅读全文

posted @ 2021-04-13 01:20 杨杨09265 阅读(158) 评论(0) 推荐(0)

gremlin

摘要：一、概述一个图遍历和图计算的查询语言，可以适配任何图数据库，只有开放制定gremlin-plugin。二、Traversal 即迭代器，图数据的一个遍历，如以下语句， g.traversal().V() 其中g代表图书库，traversal即为开始一个迭代，V是一个step，一个step代表一阅读全文

posted @ 2021-03-29 19:41 杨杨09265 阅读(201) 评论(0) 推荐(0)

yangyang12138

导航

公告