2016年2月19日

摘要:Blog List Spark " Spark官方文档 中文翻译 " "Spark快速入门 Spark 1.6.0" " Spark SQL 官方文档 中文翻译 " "Spark SQL 之 Migration Guide" "Spark SQL 之 Performance Tuning & Dis 阅读全文
posted @ 2016-02-19 09:45 BYRans 阅读 (755) 评论 (0) 编辑

2019年5月14日

摘要:DeepOrigin: End to End Deep Learning for Detection of New Malware Families 标签(空格分隔): 论文 论文基本信息 会议: IEEE(2018 International Joint Conference on Neural 阅读全文
posted @ 2019-05-14 20:34 BYRans 阅读 (68) 评论 (0) 编辑

2019年1月18日

摘要:【论文笔记】Malware Detection with Deep Neural Network Using Process Behavior 论文基本信息 会议: IEEE(2016 IEEE 40th Annual Computer Software and Applications Confe 阅读全文
posted @ 2019-01-18 22:07 BYRans 阅读 (305) 评论 (0) 编辑

2017年2月22日

摘要:Scala入门 【1】 转载请注明出处: "http://www.cnblogs.com/BYRans/" 1 基础 val定义的为常量,var为变量 val name:Type = ,变量名后加冒号,然后定义变量类型 Scala有7种 数值类型 :Byte、Char、Short、Int、Long、 阅读全文
posted @ 2017-02-22 21:09 BYRans 阅读 (1968) 评论 (0) 编辑

2016年11月25日

摘要:RocketMQ与Kafka对比(18项差异) 原文链接: "https://github.com/alibaba/RocketMQ/blob/master/wiki/kafka_partitions_problem.md" 淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件,使用Mysq 阅读全文
posted @ 2016-11-25 10:41 BYRans 阅读 (6996) 评论 (1) 编辑

2016年11月11日

摘要:Kafka简介 转载请注明出处: "http://www.cnblogs.com/BYRans/" Apache Kafka发源于LinkedIn,于2011年成为Apache的孵化项目,随后于2012年成为Apache的主要项目之一。Kafka使用Scala和Java进行编写。Apache Kaf 阅读全文
posted @ 2016-11-11 17:08 BYRans 阅读 (12543) 评论 (2) 编辑

2016年10月10日

摘要:Spark存储管理(读书笔记) 转载请注明出处: "http://www.cnblogs.com/BYRans/" Spark的存储管理 RDD的存放和管理都是由Spark的存储管理模块实现和管理的。本文从架构和功能两个角度对Spark的存储管理模块进行介绍。 架构角度 从架构角度,存储管理模块主要 阅读全文
posted @ 2016-10-10 14:21 BYRans 阅读 (3210) 评论 (0) 编辑

2016年10月9日

摘要:Spark调度管理(读书笔记) 转载请注明出处: "http://www.cnblogs.com/BYRans/" Spark调度管理 本文主要介绍在单个任务内Spark的调度管理,Spark调度相关概念如下: Task(任务):单个分区数据及上的最小处理流程单元。 TaskSet(任务集):由一组 阅读全文
posted @ 2016-10-09 21:48 BYRans 阅读 (1070) 评论 (0) 编辑

2016年9月20日

摘要:Spark基本工作流程及YARN cluster模式原理 转载请注明出处: "http://www.cnblogs.com/BYRans/" Spark基本工作流程 相关术语解释 Spark应用程序相关的几个术语: Worker:集群中任何可以运行Application代码的节点,类似于YARN中的 阅读全文
posted @ 2016-09-20 16:34 BYRans 阅读 (9260) 评论 (0) 编辑

2016年6月7日

摘要:YARN资源调度器 转载请注明出处: "http://www.cnblogs.com/BYRans/" 概述 集群资源是非常有限的,在多用户、多任务环境下,需要有一个协调者,来保证在有限资源或业务约束下有序调度任务,YARN资源调度器就是这个协调者。 YARN调度器有多种实现,自带的调度器为Capa 阅读全文
posted @ 2016-06-07 17:19 BYRans 阅读 (3846) 评论 (0) 编辑

2016年5月24日

摘要:HDFS Federation (读书笔记) HDFS的架构 HDFS包含两个层次: 命名空间管理 (Namespace) 和 块/存储管理 (Block Storage)。 命名空间管理(Namespace) HDFS的命名空间包含目录、文件和块。命名空间管理是指命名空间支持对HDFS中的目录、文 阅读全文
posted @ 2016-05-24 21:04 BYRans 阅读 (1857) 评论 (0) 编辑

2016年5月21日

摘要:YARN基本框架介绍 转载请注明出处: "http://www.cnblogs.com/BYRans/" 在之前的博客《 "YARN与MRv1的对比" 》中介绍了YARN对Hadoop 1.0的完善。本文将重点介绍下YARN各个模块的作用与YARN运行流程。 YARN模块介绍 概述 YARN是一个资 阅读全文
posted @ 2016-05-21 08:20 BYRans 阅读 (6734) 评论 (0) 编辑

2016年5月19日

摘要:YARN与MRv1的对比 转载请注明出处: "http://www.cnblogs.com/BYRans/" Hadoop 1.0存在的问题 由于Hadoop 1.0的良好特性,Hadoop 1.0被应用到了各行各业。但是Hadoop的最初设计是为了用于搜索引擎业务(如Yahoo、Google等公司 阅读全文
posted @ 2016-05-19 17:18 BYRans 阅读 (2032) 评论 (1) 编辑

2016年4月25日

摘要:Linux下部署FTP服务器 下载安装包 在这里介绍的是离线部署FTP,首先下载对应的rpm包,下载链接为: "下载vsftpd服务" ) "下载FTP客户端" 安装ftp服务器 关闭防火墙 关闭selinux 查看是否安装vsftp 如果出现vsftpd x.x.x xx.el5,说明已经安装 v 阅读全文
posted @ 2016-04-25 16:13 BYRans 阅读 (421) 评论 (0) 编辑

2016年3月18日

摘要:Spark官方文档 中文翻译 转载请注明出处: "http://www.cnblogs.com/BYRans/" "1 概述(Overview)" "2 引入Spark(Linking with Spark)" "3 初始化Spark(Initializing Spark)" "3.1 使用Spar 阅读全文
posted @ 2016-03-18 16:59 BYRans 阅读 (20927) 评论 (3) 编辑

2016年2月19日

摘要:Blog List Spark " Spark官方文档 中文翻译 " "Spark快速入门 Spark 1.6.0" " Spark SQL 官方文档 中文翻译 " "Spark SQL 之 Migration Guide" "Spark SQL 之 Performance Tuning & Dis 阅读全文
posted @ 2016-02-19 09:45 BYRans 阅读 (755) 评论 (0) 编辑

导航

统计