块存储、文件存储、对象存储的区别

摘要: 块存储、文件存储、对象存储的区别 1.块级概念:块级是指以扇区为基础,一个或我连续的扇区组成一个块,也叫物理块。它是在文件系统与块设备(例如:磁盘驱动器)之间。典型设备:磁盘阵列,硬盘,虚拟硬盘 2.文件级概念:文件级是指文件系统,单个文件可能由于一个或多个逻辑块组成,且逻辑块之间是不连续分布。逻辑 阅读全文
posted @ 2020-06-19 18:00 码虫虫 阅读(1251) 评论(0) 推荐(0) 编辑

Hibench做Hadoop基准测试遇到的问题

摘要: Hadoop 2.7.4集群基准测试 DN:32C 128G * 8,1块HDD 4T hibench.scale.profile bigdata hibench.default.map.parallelism 64 hibench.default.shuffle.parallelism 64 遇到 阅读全文
posted @ 2020-06-19 11:54 码虫虫 阅读(1101) 评论(0) 推荐(0) 编辑

MySQL的JSON使用中文做key

摘要: {"你好": {"我好": "123"}} SELECT sname,JSON_EXTRACT(info, '$."你好"."我好"') FROM t_json; 阅读全文
posted @ 2019-08-06 18:03 码虫虫 阅读(1588) 评论(0) 推荐(0) 编辑

爱上统计学

摘要: 第5章 计算相关系数 相关系数是最早由统计学家卡尔·皮尔逊设计的统计指标,是研究变量之间线性相关程度的量,一般用字母 r 表示。由于研究对象的不同,相关系数有多种定义方式,较为常用的是皮尔逊相关系数 正相关,负相关 决定系数(coefficient of determination),有的教材上翻译 阅读全文
posted @ 2019-04-18 20:56 码虫虫 阅读(600) 评论(0) 推荐(0) 编辑

机器学习相关文章

摘要: 基于TensorFlow打造强化学习API Deep Reinforcement Learning: Pong from Pixels (介绍 深度强化学习、DQN、vanilla 策略梯度、A3C) 译文 阅读全文
posted @ 2018-07-09 10:35 码虫虫 阅读(91) 评论(0) 推荐(0) 编辑

sklearn笔记

摘要: 1. 数据预处理 sklearn.preprocessing.scale( data ),sklearn.preprocessing.StandardScaler 对给定数据进行标准化(均值、方差) sklearn.preprocessing.MinMaxScaler 将属性缩放到一个指定范围 sk 阅读全文
posted @ 2018-06-26 09:42 码虫虫 阅读(225) 评论(0) 推荐(0) 编辑

测试 jupyter notebook rest api

摘要: 创建目录Method:POSTURL:http://localhost:8888/api/contentsBody/raw: {"type":"directory"}Response:{ "created": "2017-09-29T02:27:48.277551Z", "type": "direc 阅读全文
posted @ 2017-09-29 16:19 码虫虫 阅读(2504) 评论(4) 推荐(0) 编辑

概率论与数理统计,笔记

摘要: 本文内容取自《概率论与数理统计 浙江大学 第四版》 目录 7第一章 概率论的基本概念 11 确定性现象随机现象:在大量重复试验中其结果又具有统计规律性的现象 1. 随机试验 11 2. 样本空间、随机事件 12 随机试验E,E的所有可能结果组成的集合称为E的样本空间,记为S,样本空间的每个元素,即E 阅读全文
posted @ 2017-09-20 09:22 码虫虫 阅读(12557) 评论(0) 推荐(1) 编辑

RDD、DataFrame和DataSet的区别

摘要: http://www.jianshu.com/p/c0181667daa0 阅读全文
posted @ 2017-08-07 10:06 码虫虫 阅读(119) 评论(0) 推荐(0) 编辑

[转]Spark算子

摘要: spark 阅读全文
posted @ 2017-08-04 09:35 码虫虫 阅读(163) 评论(0) 推荐(0) 编辑