2020年7月9日

摘要： 1. 原理剖析 2. 性能定位 3. 经典场景调优 4. 内存调优 Checkpoint 机制 1.什么是 checkpoint 简单地说就是 Flink 为了达到容错和 exactly-once 语义的功能，定期把 state 持久化下来，而这一持久化的过程就叫做 checkpoint ，它是 F 阅读全文

posted @ 2020-07-09 11:18 大码王阅读(610) 评论(0) 推荐(0)

flink入门到实战（8）flink 有状态 udf引发的大坑一

摘要：场景最近在做一个画像的任务，sql实现的，其中有一个udf，会做很多事情，包括将从redis读出历史值加权，并将中间结果和加权后的结果更新到redis。大家都知道，flink 是可以支持事件处理的，也就是可以没有时间的概念，那么在聚合，join等操作的时候，flink内部会维护一个状态，假如此时阅读全文

posted @ 2020-07-09 10:16 大码王阅读(1928) 评论(0) 推荐(0)

flink入门到实战（7）flink checkpoint 在 window 操作下全局配置失效的问题

摘要：背景 flink 版本号 1.6.2 flink 集群模式 flink on yarn 使用flink 读取kafka 数据简单处理之后使用自定义richWindowFunction 处理数据的时候出现异常报错: AsynchronousException{java.lang.Exception: 阅读全文

posted @ 2020-07-09 10:01 大码王阅读(1112) 评论(0) 推荐(0)

2020年7月8日

数据结构之（4）python实现十大经典排序算法

摘要：使用场景： 1，空间复杂度越低越好、n值较大：堆排序 O(nlog2n) O(1) 2，无空间复杂度要求、n值较大：桶排序 O(n+k) O(n+k) 经典排序算法图解：经典排序算法的复杂度：大类一（比较排序法）： 1、冒泡排序（Bubble Sort）【前后比较-交换】 python代码阅读全文

posted @ 2020-07-08 16:18 大码王阅读(346) 评论(0) 推荐(0)

2020年7月6日

大数据集群运维（23）Flink on yarn 常见错误

摘要： 1 Retrying connect to server Flink on yarn 依赖 hadoop 集群，在没有启动hadoop之前，直接执行Flink启动命令 ./bin/yarn-session.sh -n 1 -jm 1024 -tm 4096 结果就是flink连不上ResourceM 阅读全文

posted @ 2020-07-06 15:49 大码王阅读(4317) 评论(0) 推荐(0)

2020年6月24日

人工智能深度学习入门练习之（35）深度学习 – 过拟合与dropout机制

摘要：过拟合，欠拟合过拟合（overfitting）：学习能力过强，以至于把训练样本所包含的不太一般的特性都学到了。欠拟合（underfitting）：学习能太差，训练样本的一般性质尚未学好。下面是直观解释：下面再举一个具体的例子：如果我们有6个数据，我们选择用怎么样的回归曲线对它拟合呢？看下图阅读全文

posted @ 2020-06-24 10:12 大码王阅读(394) 评论(0) 推荐(0)

2020年6月23日

人工智能深度学习入门练习之（34）深度学习 – 多层神经网络

摘要：深度学习 – 多层神经网络单层网络先回顾一下单层网络，即一个神经元（自适应线性单元），如下图所示。可以使用梯度下降法训练模型，确定权重与偏置。多层神经网络历史深度学习涉及训练多层神经网络，也称为深度神经网络。在20世纪50年代Rosenblatt感知器被开发出来之后，直到1986年hin 阅读全文

posted @ 2020-06-23 17:52 大码王阅读(1973) 评论(0) 推荐(0)

人工智能深度学习入门练习之（33）深度学习 – 自适应线性单元

摘要：深度学习 – 自适应线性单元如前所述，在 20 世纪 50 年代，感知器 (Rosenblatt, 1956, 1958) 成为第一个能根据每个类别的输入样本来学习权重的模型。约在同一时期，自适应线性单元 (adaptive linearelement, ADALINE) 简单地返回函数 f(x) 阅读全文

posted @ 2020-06-23 17:43 大码王阅读(1047) 评论(0) 推荐(0)

人工智能深度学习入门练习之（32）深度学习 – 感知器

摘要：深度学习 – 人工神经元关于人工神经元，前面章节稍微提过，本章将详细讨论。生物神经元人脑有数十亿个神经元。神经元是人脑中相互连接的神经细胞，参与处理和传递化学信号和电信号。树突是从其他神经元接收信息的分枝。细胞核处理从树突接收到的信息。轴突是一种神经细胞用来传递信息的生物电缆。突触是轴突和其阅读全文

posted @ 2020-06-23 17:31 大码王阅读(1232) 评论(0) 推荐(0)

人工智能深度学习入门练习之（31）深度学习 – 运行平台

摘要： GPU 对比 CPU 要运行深度学习项目，建议使用gpu，cpu与gpu比较如下：规格英特尔酷睿i7-6900k处理器极限版英伟达GeForce GTX I 080 Ti 时钟频率 3.2 GHz < 1.5 GHz 核数 8 3584 内存带宽 64 GB/s 484 GB/s 浮点计算 4 阅读全文

posted @ 2020-06-23 17:12 大码王阅读(355) 评论(0) 推荐(0)

人工智能深度学习入门练习之（30）深度学习 – 人工神经网络

摘要：本章我们将从生物神经元开始学习人工神经网络。生物神经元哺乳动物的大脑有数十亿个神经元。神经元是人脑中相互连接的神经细胞。神经元参与处理和传递化学信号和电信号，它们接受信号输入，在细胞核中处理信号，如果信号强度大于某个阈值，就会把信号输出。人类的大脑可以学习识别物体。例如，婴儿多次看到椅子，并听阅读全文

posted @ 2020-06-23 17:04 大码王阅读(560) 评论(0) 推荐(0)

人工智能深度学习入门练习之（29）深度学习 – 介绍

摘要：具有感知、学习、推理和解决问题等认知功能的机器被认为拥有人工智能。当机器具有认知能力时，人工智能就产生了。人类在相关领域的能力是人工智能的衡量标准。弱人工智能弱人工智能执行特定任务，甚至比人类做得更好，例如，围棋人工智能AlphaGo。弱人工智能是目前人工智能的主要研究领域。强人工智能强人阅读全文

posted @ 2020-06-23 17:01 大码王阅读(355) 评论(0) 推荐(0)

区块链入门到实战（38）之Solidity – 条件语句

摘要： Solidity支持条件语句，让程序可以根据条件执行不同的操作。条件语句包括： if if...else if...else if 语法 if (条件表达式) { 被执行语句(如果条件为真) } 示例展示if语句用法。 pragma solidity ^0.5.0; contract Solidi 阅读全文

posted @ 2020-06-23 16:53 大码王阅读(880) 评论(0) 推荐(0)

区块链入门到实战（37）之Solidity – 循环语句

摘要：与其他语言类似，Solidity语言支持循环结构，Solidity提供以下循环语句。 while do ... while for 循环控制语句：break、continue。 Solidity – while循环语法 Solidity 中， while循环的语法如下： while (表达式) { 阅读全文

posted @ 2020-06-23 16:49 大码王阅读(1783) 评论(0) 推荐(0)

区块链入门到实战（36）之Solidity – 运算符

摘要： Solidity – 算术运算符 Solidity 支持的算术运算符，如下表所示：假设变量A的值为10，变量B的值为20。序号运算符与描述 1 + (加)求和例: A + B = 30 2 – (减)相减例: A – B = -10 3 * (乘)相乘例: A * B = 200 4 / (除) 阅读全文

posted @ 2020-06-23 16:35 大码王阅读(914) 评论(0) 推荐(0)

区块链入门到实战（35）之Solidity – 变量作用域

摘要：局部变量的作用域仅限于定义它们的函数，但是状态变量可以有三种作用域类型。 Public – 公共状态变量可以在内部访问，也可以通过消息访问。对于公共状态变量，将生成一个自动getter函数。 Internal – 内部状态变量只能从当前合约或其派生合约内访问。 Private – 私有状态变量只能从阅读全文

posted @ 2020-06-23 16:31 大码王阅读(364) 评论(0) 推荐(0)

区块链入门到实战（34）之Solidity – 变量

摘要： Solidity 支持三种类型的变量：状态变量 – 变量值永久保存在合约存储空间中的变量。局部变量 – 变量值仅在函数执行过程中有效的变量，函数退出后，变量无效。全局变量 – 保存在全局命名空间，用于获取区块链相关信息的特殊变量。 Solidity 是一种静态类型语言，这意味着需要在声明期间指阅读全文

posted @ 2020-06-23 16:30 大码王阅读(983) 评论(0) 推荐(0)

区块链入门到实战（33）之Solidity – 数据类型

摘要：在用任何语言编写程序时，都需要使用变量来存储各种信息。变量是内存空间的名称，变量有不同类型，例如整型、字符串类型等等。操作系统根据变量的数据类型分配内存。 Solidity中，变量类型有以下几大类：值类型地址类型引用类型值类型类型保留字取值布尔型 bool true/false 整型 i 阅读全文

posted @ 2020-06-23 16:28 大码王阅读(347) 评论(0) 推荐(0)

区块链入门到实战（32）之Solidity – 代码注释

摘要： Solidity 支持c风格和c++风格的注释。 //之后到行尾的文本，都被看作注释，编译器忽略此内容 /* 与 */ 之间的文本被看作注释，编译器忽略此内容示例注释示例。 function getResult() public view returns(uint){ // 这是一行注释，类似阅读全文

posted @ 2020-06-23 16:27 大码王阅读(313) 评论(0) 推荐(0)

区块链入门到实战（31）之Solidity – 第一个程序

摘要：为简单起见，我们使用在线Solidity开发工具Remix IDE编译和运行Solidity程序。第1步 – 在File explorers选项卡下，新建一个test1.sol文件，代码如下：示例 pragma solidity ^0.5.0; contract SolidityTest { c 阅读全文

posted @ 2020-06-23 16:26 大码王阅读(437) 评论(0) 推荐(0)

公告