返回顶部
人生三重境界:昨夜西风凋碧树,独上高楼,望尽天涯路。 衣带渐宽终不悔,为伊消得人憔悴。 众里寻他千百度,蓦然回首,那人却在灯火阑珊处。

欢迎来到大码王的博客

扩大
缩小
This browser cannot use a canvas. This browser cannot use a canvas. This browser cannot use a canvas.

2020年7月9日

[置顶] python实现单链表

摘要:为什么需要链表? 对于上部分顺序表的学习,我们了解到在构建顺序表时需要预先知道数据大小来申请连续的存储空间,而在进行扩充的时候又需要进行数据的搬迁,所以使用起来并不是很灵活。 那我们就想,能不能存在一种数据结构是的在数据扩充的时候,在原有的数据完全不变化,扩充一个数据就增加一个,我们需要这样的一个数 阅读全文

posted @ 2020-07-09 15:24 大码王 阅读(10) 评论(0) 推荐(0) 编辑

[置顶] Flink 作业问题分析和调优实践

摘要:1. 原理剖析 2. 性能定位 3. 经典场景调优 4. 内存调优 Checkpoint 机制 1.什么是 checkpoint 简单地说就是 Flink 为了达到容错和 exactly-once 语义的功能,定期把 state 持久化下来,而这一持久化的过程就叫做 checkpoint ,它是 F 阅读全文

posted @ 2020-07-09 11:18 大码王 阅读(12) 评论(0) 推荐(0) 编辑

[置顶] flink 有状态 udf引发的大坑一

摘要:场景 最近在做一个画像的任务,sql实现的,其中有一个udf,会做很多事情,包括将从redis读出历史值加权,并将中间结果和加权后的结果更新到redis。 大家都知道,flink 是可以支持事件处理的,也就是可以没有时间的概念,那么在聚合,join等操作的时候,flink内部会维护一个状态,假如此时 阅读全文

posted @ 2020-07-09 10:16 大码王 阅读(16) 评论(0) 推荐(0) 编辑

[置顶] flink checkpoint 在 window 操作下 全局配置失效的问题

摘要:背景 flink 版本号 1.6.2 flink 集群模式 flink on yarn 使用flink 读取kafka 数据 简单处理之后使用自定义richWindowFunction 处理数据的时候出现异常报错: AsynchronousException{java.lang.Exception: 阅读全文

posted @ 2020-07-09 10:01 大码王 阅读(12) 评论(0) 推荐(0) 编辑

2020年7月8日

[置顶] python实现十大经典排序算法

摘要:使用场景: 1,空间复杂度 越低越好、n值较大: 堆排序 O(nlog2n) O(1) 2,无空间复杂度要求、n值较大: 桶排序 O(n+k) O(n+k) 经典排序算法图解: 经典排序算法的复杂度: 大类一(比较排序法): 1、冒泡排序(Bubble Sort)【前后比较-交换】 python代码 阅读全文

posted @ 2020-07-08 16:18 大码王 阅读(11) 评论(0) 推荐(0) 编辑

2020年7月6日

[置顶] Flink on yarn 常见错误

摘要:1 Retrying connect to server Flink on yarn 依赖 hadoop 集群,在没有启动hadoop之前,直接执行Flink启动命令 ./bin/yarn-session.sh -n 1 -jm 1024 -tm 4096 结果就是flink连不上ResourceM 阅读全文

posted @ 2020-07-06 15:49 大码王 阅读(23) 评论(0) 推荐(0) 编辑

[置顶] 搭建Spark所遇过的坑

摘要:一.经验 1.Spark Streaming包含三种计算模式:nonstate .stateful .window 2.kafka可通过配置文件使用自带的zookeeper集群 3.Spark一切操作归根结底是对RDD的操作 4.部署Spark任务,不用拷贝整个架包,只需拷贝被修改的文件,然后在目标 阅读全文

posted @ 2020-07-06 10:53 大码王 阅读(47) 评论(0) 推荐(0) 编辑

2020年6月24日

[置顶] 人工智能深度学习入门练习之(35)深度学习 – 过拟合与dropout机制

摘要:过拟合,欠拟合 过拟合(overfitting):学习能力过强,以至于把训练样本所包含的不太一般的特性都学到了。 欠拟合(underfitting):学习能太差,训练样本的一般性质尚未学好。 下面是直观解释: 下面再举一个具体的例子: 如果我们有6个数据,我们选择用怎么样的回归曲线对它拟合呢?看下图 阅读全文

posted @ 2020-06-24 10:12 大码王 阅读(14) 评论(0) 推荐(0) 编辑

2020年6月23日

[置顶] 人工智能深度学习入门练习之(34)深度学习 – 多层神经网络

摘要:深度学习 – 多层神经网络 单层网络 先回顾一下单层网络,即一个神经元(自适应线性单元),如下图所示。 可以使用梯度下降法训练模型,确定权重与偏置。 多层神经网络历史 深度学习涉及训练多层神经网络,也称为深度神经网络。 在20世纪50年代Rosenblatt感知器被开发出来之后,直到1986年hin 阅读全文

posted @ 2020-06-23 17:52 大码王 阅读(24) 评论(0) 推荐(0) 编辑

[置顶] 人工智能深度学习入门练习之(33)深度学习 – 自适应线性单元

摘要:深度学习 – 自适应线性单元 如前所述,在 20 世纪 50 年代,感知器 (Rosenblatt, 1956, 1958) 成为第一个能根据每个类别的输入样本来学习权重的模型。约在同一时期,自适应线性单元 (adaptive linearelement, ADALINE) 简单地返回函数 f(x) 阅读全文

posted @ 2020-06-23 17:43 大码王 阅读(21) 评论(0) 推荐(0) 编辑

[置顶] 人工智能深度学习入门练习之(32)深度学习 – 感知器

摘要:深度学习 – 人工神经元 关于人工神经元,前面章节稍微提过,本章将详细讨论。 生物神经元 人脑有数十亿个神经元。神经元是人脑中相互连接的神经细胞,参与处理和传递化学信号和电信号。树突是从其他神经元接收信息的分枝。 细胞核处理从树突接收到的信息。轴突是一种神经细胞用来传递信息的生物电缆。突触是轴突和其 阅读全文

posted @ 2020-06-23 17:31 大码王 阅读(22) 评论(0) 推荐(0) 编辑

[置顶] 人工智能深度学习入门练习之(31)深度学习 – 运行平台

摘要:GPU 对比 CPU 要运行深度学习项目,建议使用gpu,cpu与gpu比较如下: 规格 英特尔酷睿i7-6900k处理器极限版 英伟达GeForce GTX I 080 Ti 时钟频率 3.2 GHz < 1.5 GHz 核数 8 3584 内存带宽 64 GB/s 484 GB/s 浮点计算 4 阅读全文

posted @ 2020-06-23 17:12 大码王 阅读(7) 评论(0) 推荐(0) 编辑

[置顶] 人工智能深度学习入门练习之(30)深度学习 – 人工神经网络

摘要:本章我们将从生物神经元开始学习人工神经网络。 生物神经元 哺乳动物的大脑有数十亿个神经元。神经元是人脑中相互连接的神经细胞。神经元参与处理和传递化学信号和电信号,它们接受信号输入,在细胞核中处理信号,如果信号强度大于某个阈值,就会把信号输出。 人类的大脑可以学习识别物体。例如,婴儿多次看到椅子,并听 阅读全文

posted @ 2020-06-23 17:04 大码王 阅读(17) 评论(0) 推荐(0) 编辑

[置顶] 人工智能深度学习入门练习之(29)深度学习 – 介绍

摘要:具有感知、学习、推理和解决问题等认知功能的机器被认为拥有人工智能。 当机器具有认知能力时,人工智能就产生了。人类在相关领域的能力是人工智能的衡量标准。 弱人工智能 弱人工智能执行特定任务,甚至比人类做得更好,例如,围棋人工智能AlphaGo。弱人工智能是目前人工智能的主要研究领域。 强人工智能 强人 阅读全文

posted @ 2020-06-23 17:01 大码王 阅读(18) 评论(0) 推荐(0) 编辑

[置顶] 区块链入门到实战(38)之Solidity – 条件语句

摘要:Solidity支持条件语句,让程序可以根据条件执行不同的操作。条件语句包括: if if...else if...else if 语法 if (条件表达式) { 被执行语句(如果条件为真) } 示例 展示if语句用法。 pragma solidity ^0.5.0; contract Solidi 阅读全文

posted @ 2020-06-23 16:53 大码王 阅读(11) 评论(0) 推荐(0) 编辑

[置顶] 区块链入门到实战(37)之Solidity – 循环语句

摘要:与其他语言类似,Solidity语言支持循环结构,Solidity提供以下循环语句。 while do ... while for 循环控制语句:break、continue。 Solidity – while循环 语法 Solidity 中, while循环的语法如下: while (表达式) { 阅读全文

posted @ 2020-06-23 16:49 大码王 阅读(13) 评论(0) 推荐(0) 编辑

[置顶] 区块链入门到实战(36)之Solidity – 运算符

摘要:Solidity – 算术运算符 Solidity 支持的算术运算符,如下表所示: 假设变量A的值为10,变量B的值为20。 序号运算符与描述 1 + (加)求和例: A + B = 30 2 – (减)相减例: A – B = -10 3 * (乘)相乘例: A * B = 200 4 / (除) 阅读全文

posted @ 2020-06-23 16:35 大码王 阅读(9) 评论(0) 推荐(0) 编辑

[置顶] 区块链入门到实战(35)之Solidity – 变量作用域

摘要:局部变量的作用域仅限于定义它们的函数,但是状态变量可以有三种作用域类型。 Public – 公共状态变量可以在内部访问,也可以通过消息访问。对于公共状态变量,将生成一个自动getter函数。 Internal – 内部状态变量只能从当前合约或其派生合约内访问。 Private – 私有状态变量只能从 阅读全文

posted @ 2020-06-23 16:31 大码王 阅读(8) 评论(0) 推荐(0) 编辑

[置顶] 区块链入门到实战(34)之Solidity – 变量

摘要:Solidity 支持三种类型的变量: 状态变量 – 变量值永久保存在合约存储空间中的变量。 局部变量 – 变量值仅在函数执行过程中有效的变量,函数退出后,变量无效。 全局变量 – 保存在全局命名空间,用于获取区块链相关信息的特殊变量。 Solidity 是一种静态类型语言,这意味着需要在声明期间指 阅读全文

posted @ 2020-06-23 16:30 大码王 阅读(13) 评论(0) 推荐(0) 编辑

[置顶] 区块链入门到实战(33)之Solidity – 数据类型

摘要:在用任何语言编写程序时,都需要使用变量来存储各种信息。变量是内存空间的名称,变量有不同类型,例如整型、字符串类型等等。操作系统根据变量的数据类型分配内存。 Solidity中,变量类型有以下几大类: 值类型 地址类型 引用类型 值类型 类型保留字取值 布尔型 bool true/false 整型 i 阅读全文

posted @ 2020-06-23 16:28 大码王 阅读(13) 评论(0) 推荐(0) 编辑

2020年7月9日

python实现单链表

摘要:为什么需要链表? 对于上部分顺序表的学习,我们了解到在构建顺序表时需要预先知道数据大小来申请连续的存储空间,而在进行扩充的时候又需要进行数据的搬迁,所以使用起来并不是很灵活。 那我们就想,能不能存在一种数据结构是的在数据扩充的时候,在原有的数据完全不变化,扩充一个数据就增加一个,我们需要这样的一个数 阅读全文

posted @ 2020-07-09 15:24 大码王 阅读(10) 评论(0) 推荐(0) 编辑

Flink 作业问题分析和调优实践

摘要:1. 原理剖析 2. 性能定位 3. 经典场景调优 4. 内存调优 Checkpoint 机制 1.什么是 checkpoint 简单地说就是 Flink 为了达到容错和 exactly-once 语义的功能,定期把 state 持久化下来,而这一持久化的过程就叫做 checkpoint ,它是 F 阅读全文

posted @ 2020-07-09 11:18 大码王 阅读(12) 评论(0) 推荐(0) 编辑

flink 有状态 udf引发的大坑一

摘要:场景 最近在做一个画像的任务,sql实现的,其中有一个udf,会做很多事情,包括将从redis读出历史值加权,并将中间结果和加权后的结果更新到redis。 大家都知道,flink 是可以支持事件处理的,也就是可以没有时间的概念,那么在聚合,join等操作的时候,flink内部会维护一个状态,假如此时 阅读全文

posted @ 2020-07-09 10:16 大码王 阅读(16) 评论(0) 推荐(0) 编辑

flink checkpoint 在 window 操作下 全局配置失效的问题

摘要:背景 flink 版本号 1.6.2 flink 集群模式 flink on yarn 使用flink 读取kafka 数据 简单处理之后使用自定义richWindowFunction 处理数据的时候出现异常报错: AsynchronousException{java.lang.Exception: 阅读全文

posted @ 2020-07-09 10:01 大码王 阅读(12) 评论(0) 推荐(0) 编辑

2020年7月8日

python实现十大经典排序算法

摘要:使用场景: 1,空间复杂度 越低越好、n值较大: 堆排序 O(nlog2n) O(1) 2,无空间复杂度要求、n值较大: 桶排序 O(n+k) O(n+k) 经典排序算法图解: 经典排序算法的复杂度: 大类一(比较排序法): 1、冒泡排序(Bubble Sort)【前后比较-交换】 python代码 阅读全文

posted @ 2020-07-08 16:18 大码王 阅读(11) 评论(0) 推荐(0) 编辑

2020年7月6日

Flink on yarn 常见错误

摘要:1 Retrying connect to server Flink on yarn 依赖 hadoop 集群,在没有启动hadoop之前,直接执行Flink启动命令 ./bin/yarn-session.sh -n 1 -jm 1024 -tm 4096 结果就是flink连不上ResourceM 阅读全文

posted @ 2020-07-06 15:49 大码王 阅读(23) 评论(0) 推荐(0) 编辑

搭建Spark所遇过的坑

摘要:一.经验 1.Spark Streaming包含三种计算模式:nonstate .stateful .window 2.kafka可通过配置文件使用自带的zookeeper集群 3.Spark一切操作归根结底是对RDD的操作 4.部署Spark任务,不用拷贝整个架包,只需拷贝被修改的文件,然后在目标 阅读全文

posted @ 2020-07-06 10:53 大码王 阅读(47) 评论(0) 推荐(0) 编辑

2020年6月24日

人工智能深度学习入门练习之(35)深度学习 – 过拟合与dropout机制

摘要:过拟合,欠拟合 过拟合(overfitting):学习能力过强,以至于把训练样本所包含的不太一般的特性都学到了。 欠拟合(underfitting):学习能太差,训练样本的一般性质尚未学好。 下面是直观解释: 下面再举一个具体的例子: 如果我们有6个数据,我们选择用怎么样的回归曲线对它拟合呢?看下图 阅读全文

posted @ 2020-06-24 10:12 大码王 阅读(14) 评论(0) 推荐(0) 编辑

2020年6月23日

人工智能深度学习入门练习之(34)深度学习 – 多层神经网络

摘要:深度学习 – 多层神经网络 单层网络 先回顾一下单层网络,即一个神经元(自适应线性单元),如下图所示。 可以使用梯度下降法训练模型,确定权重与偏置。 多层神经网络历史 深度学习涉及训练多层神经网络,也称为深度神经网络。 在20世纪50年代Rosenblatt感知器被开发出来之后,直到1986年hin 阅读全文

posted @ 2020-06-23 17:52 大码王 阅读(24) 评论(0) 推荐(0) 编辑

人工智能深度学习入门练习之(33)深度学习 – 自适应线性单元

摘要:深度学习 – 自适应线性单元 如前所述,在 20 世纪 50 年代,感知器 (Rosenblatt, 1956, 1958) 成为第一个能根据每个类别的输入样本来学习权重的模型。约在同一时期,自适应线性单元 (adaptive linearelement, ADALINE) 简单地返回函数 f(x) 阅读全文

posted @ 2020-06-23 17:43 大码王 阅读(21) 评论(0) 推荐(0) 编辑

人工智能深度学习入门练习之(32)深度学习 – 感知器

摘要:深度学习 – 人工神经元 关于人工神经元,前面章节稍微提过,本章将详细讨论。 生物神经元 人脑有数十亿个神经元。神经元是人脑中相互连接的神经细胞,参与处理和传递化学信号和电信号。树突是从其他神经元接收信息的分枝。 细胞核处理从树突接收到的信息。轴突是一种神经细胞用来传递信息的生物电缆。突触是轴突和其 阅读全文

posted @ 2020-06-23 17:31 大码王 阅读(22) 评论(0) 推荐(0) 编辑

人工智能深度学习入门练习之(31)深度学习 – 运行平台

摘要:GPU 对比 CPU 要运行深度学习项目,建议使用gpu,cpu与gpu比较如下: 规格 英特尔酷睿i7-6900k处理器极限版 英伟达GeForce GTX I 080 Ti 时钟频率 3.2 GHz < 1.5 GHz 核数 8 3584 内存带宽 64 GB/s 484 GB/s 浮点计算 4 阅读全文

posted @ 2020-06-23 17:12 大码王 阅读(7) 评论(0) 推荐(0) 编辑

人工智能深度学习入门练习之(30)深度学习 – 人工神经网络

摘要:本章我们将从生物神经元开始学习人工神经网络。 生物神经元 哺乳动物的大脑有数十亿个神经元。神经元是人脑中相互连接的神经细胞。神经元参与处理和传递化学信号和电信号,它们接受信号输入,在细胞核中处理信号,如果信号强度大于某个阈值,就会把信号输出。 人类的大脑可以学习识别物体。例如,婴儿多次看到椅子,并听 阅读全文

posted @ 2020-06-23 17:04 大码王 阅读(17) 评论(0) 推荐(0) 编辑

人工智能深度学习入门练习之(29)深度学习 – 介绍

摘要:具有感知、学习、推理和解决问题等认知功能的机器被认为拥有人工智能。 当机器具有认知能力时,人工智能就产生了。人类在相关领域的能力是人工智能的衡量标准。 弱人工智能 弱人工智能执行特定任务,甚至比人类做得更好,例如,围棋人工智能AlphaGo。弱人工智能是目前人工智能的主要研究领域。 强人工智能 强人 阅读全文

posted @ 2020-06-23 17:01 大码王 阅读(18) 评论(0) 推荐(0) 编辑

区块链入门到实战(38)之Solidity – 条件语句

摘要:Solidity支持条件语句,让程序可以根据条件执行不同的操作。条件语句包括: if if...else if...else if 语法 if (条件表达式) { 被执行语句(如果条件为真) } 示例 展示if语句用法。 pragma solidity ^0.5.0; contract Solidi 阅读全文

posted @ 2020-06-23 16:53 大码王 阅读(11) 评论(0) 推荐(0) 编辑

区块链入门到实战(37)之Solidity – 循环语句

摘要:与其他语言类似,Solidity语言支持循环结构,Solidity提供以下循环语句。 while do ... while for 循环控制语句:break、continue。 Solidity – while循环 语法 Solidity 中, while循环的语法如下: while (表达式) { 阅读全文

posted @ 2020-06-23 16:49 大码王 阅读(13) 评论(0) 推荐(0) 编辑

区块链入门到实战(36)之Solidity – 运算符

摘要:Solidity – 算术运算符 Solidity 支持的算术运算符,如下表所示: 假设变量A的值为10,变量B的值为20。 序号运算符与描述 1 + (加)求和例: A + B = 30 2 – (减)相减例: A – B = -10 3 * (乘)相乘例: A * B = 200 4 / (除) 阅读全文

posted @ 2020-06-23 16:35 大码王 阅读(9) 评论(0) 推荐(0) 编辑

区块链入门到实战(35)之Solidity – 变量作用域

摘要:局部变量的作用域仅限于定义它们的函数,但是状态变量可以有三种作用域类型。 Public – 公共状态变量可以在内部访问,也可以通过消息访问。对于公共状态变量,将生成一个自动getter函数。 Internal – 内部状态变量只能从当前合约或其派生合约内访问。 Private – 私有状态变量只能从 阅读全文

posted @ 2020-06-23 16:31 大码王 阅读(8) 评论(0) 推荐(0) 编辑

区块链入门到实战(34)之Solidity – 变量

摘要:Solidity 支持三种类型的变量: 状态变量 – 变量值永久保存在合约存储空间中的变量。 局部变量 – 变量值仅在函数执行过程中有效的变量,函数退出后,变量无效。 全局变量 – 保存在全局命名空间,用于获取区块链相关信息的特殊变量。 Solidity 是一种静态类型语言,这意味着需要在声明期间指 阅读全文

posted @ 2020-06-23 16:30 大码王 阅读(13) 评论(0) 推荐(0) 编辑

区块链入门到实战(33)之Solidity – 数据类型

摘要:在用任何语言编写程序时,都需要使用变量来存储各种信息。变量是内存空间的名称,变量有不同类型,例如整型、字符串类型等等。操作系统根据变量的数据类型分配内存。 Solidity中,变量类型有以下几大类: 值类型 地址类型 引用类型 值类型 类型保留字取值 布尔型 bool true/false 整型 i 阅读全文

posted @ 2020-06-23 16:28 大码王 阅读(13) 评论(0) 推荐(0) 编辑

区块链入门到实战(32)之Solidity – 代码注释

摘要:Solidity 支持c风格和c++风格的注释。 //之后到行尾的文本,都被看作注释,编译器忽略此内容 /* 与 */ 之间的文本被看作注释, 编译器忽略此内容 示例 注释示例。 function getResult() public view returns(uint){ // 这是一行注释,类似 阅读全文

posted @ 2020-06-23 16:27 大码王 阅读(4) 评论(0) 推荐(0) 编辑

区块链入门到实战(31)之Solidity – 第一个程序

摘要:为简单起见,我们使用在线Solidity开发工具Remix IDE编译和运行Solidity程序。 第1步 – 在File explorers选项卡下,新建一个test1.sol文件,代码如下: 示例 pragma solidity ^0.5.0; contract SolidityTest { c 阅读全文

posted @ 2020-06-23 16:26 大码王 阅读(12) 评论(0) 推荐(0) 编辑

2020年6月22日

区块链入门到实战(30)之Solidity – 基础语法

摘要:一个 Solidity 源文件可以包含任意数量的合约定义、import指令和pragma指令。 让我们从一个简单的 Solidity 源程序开始。下面是一个 Solidity 源文件的例子: pragma solidity >=0.4.0 <0.6.0; contract SimpleStorage 阅读全文

posted @ 2020-06-22 17:40 大码王 阅读(11) 评论(0) 推荐(0) 编辑

区块链入门到实战(29)之Solidity – 环境搭建

摘要:在线开发环境Remix(推荐) 学习Solidity推荐使用在线开发环境Remix,本教程的例子将使用Remix开发运行。 安装本地编译器 安装 nodejs / npm node官方网站下载node,推荐LTS版本,按提示完成安装,npm会同时装上。 验证Node版本: Kevin@QIKEGU 阅读全文

posted @ 2020-06-22 17:33 大码王 阅读(11) 评论(0) 推荐(0) 编辑

区块链入门到实战(28)之Solidity – 介绍

摘要:Solidity语言是一种面向合约的高级编程语言,用于在以太坊区块链网络上实现智能合约。Solidity语言深受c++、Python和JavaScript的影响,针对以太坊(Ethereum)虚拟机(EVM)设计。 Solidity语言是静态类型语言,支持继承、库和复杂的用户定义类型。 可以使用So 阅读全文

posted @ 2020-06-22 17:22 大码王 阅读(13) 评论(0) 推荐(0) 编辑

导航

……