置顶随笔

摘要: Blog List Spark " Spark官方文档 中文翻译 " "Spark快速入门 Spark 1.6.0" " Spark SQL 官方文档 中文翻译 " "Spark SQL 之 Migration Guide" "Spark SQL 之 Performance Tuning & Dis阅读全文
posted @ 2016-02-19 09:45 BYRans 阅读(696) 评论(0) 编辑

2019年5月14日

摘要: DeepOrigin: End to End Deep Learning for Detection of New Malware Families 标签(空格分隔): 论文 论文基本信息 会议: IEEE(2018 International Joint Conference on Neural 阅读全文
posted @ 2019-05-14 20:34 BYRans 阅读(27) 评论(0) 编辑

2019年1月18日

摘要: 【论文笔记】Malware Detection with Deep Neural Network Using Process Behavior 论文基本信息 会议: IEEE(2016 IEEE 40th Annual Computer Software and Applications Confe阅读全文
posted @ 2019-01-18 22:07 BYRans 阅读(224) 评论(0) 编辑

2017年2月22日

摘要: Scala入门 【1】 转载请注明出处: "http://www.cnblogs.com/BYRans/" 1 基础 val定义的为常量,var为变量 val name:Type = ,变量名后加冒号,然后定义变量类型 Scala有7种 数值类型 :Byte、Char、Short、Int、Long、阅读全文
posted @ 2017-02-22 21:09 BYRans 阅读(1768) 评论(0) 编辑

2016年11月25日

摘要: RocketMQ与Kafka对比(18项差异) 原文链接: "https://github.com/alibaba/RocketMQ/blob/master/wiki/kafka_partitions_problem.md" 淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件,使用Mysq阅读全文
posted @ 2016-11-25 10:41 BYRans 阅读(6003) 评论(1) 编辑

2016年11月11日

摘要: Kafka简介 转载请注明出处: "http://www.cnblogs.com/BYRans/" Apache Kafka发源于LinkedIn,于2011年成为Apache的孵化项目,随后于2012年成为Apache的主要项目之一。Kafka使用Scala和Java进行编写。Apache Kaf阅读全文
posted @ 2016-11-11 17:08 BYRans 阅读(11621) 评论(2) 编辑

2016年10月10日

摘要: Spark存储管理(读书笔记) 转载请注明出处: "http://www.cnblogs.com/BYRans/" Spark的存储管理 RDD的存放和管理都是由Spark的存储管理模块实现和管理的。本文从架构和功能两个角度对Spark的存储管理模块进行介绍。 架构角度 从架构角度,存储管理模块主要阅读全文
posted @ 2016-10-10 14:21 BYRans 阅读(3091) 评论(0) 编辑

2016年10月9日

摘要: Spark调度管理(读书笔记) 转载请注明出处: "http://www.cnblogs.com/BYRans/" Spark调度管理 本文主要介绍在单个任务内Spark的调度管理,Spark调度相关概念如下: Task(任务):单个分区数据及上的最小处理流程单元。 TaskSet(任务集):由一组阅读全文
posted @ 2016-10-09 21:48 BYRans 阅读(1029) 评论(0) 编辑

2016年9月20日

摘要: Spark基本工作流程及YARN cluster模式原理 转载请注明出处: "http://www.cnblogs.com/BYRans/" Spark基本工作流程 相关术语解释 Spark应用程序相关的几个术语: Worker:集群中任何可以运行Application代码的节点,类似于YARN中的阅读全文
posted @ 2016-09-20 16:34 BYRans 阅读(8831) 评论(0) 编辑

2016年6月7日

摘要: YARN资源调度器 转载请注明出处: "http://www.cnblogs.com/BYRans/" 概述 集群资源是非常有限的,在多用户、多任务环境下,需要有一个协调者,来保证在有限资源或业务约束下有序调度任务,YARN资源调度器就是这个协调者。 YARN调度器有多种实现,自带的调度器为Capa阅读全文
posted @ 2016-06-07 17:19 BYRans 阅读(3654) 评论(0) 编辑

2016年5月24日

摘要: HDFS Federation (读书笔记) HDFS的架构 HDFS包含两个层次: 命名空间管理 (Namespace) 和 块/存储管理 (Block Storage)。 命名空间管理(Namespace) HDFS的命名空间包含目录、文件和块。命名空间管理是指命名空间支持对HDFS中的目录、文阅读全文
posted @ 2016-05-24 21:04 BYRans 阅读(1664) 评论(0) 编辑

2016年5月21日

摘要: YARN基本框架介绍 转载请注明出处: "http://www.cnblogs.com/BYRans/" 在之前的博客《 "YARN与MRv1的对比" 》中介绍了YARN对Hadoop 1.0的完善。本文将重点介绍下YARN各个模块的作用与YARN运行流程。 YARN模块介绍 概述 YARN是一个资阅读全文
posted @ 2016-05-21 08:20 BYRans 阅读(6426) 评论(0) 编辑

2016年5月19日

摘要: YARN与MRv1的对比 转载请注明出处: "http://www.cnblogs.com/BYRans/" Hadoop 1.0存在的问题 由于Hadoop 1.0的良好特性,Hadoop 1.0被应用到了各行各业。但是Hadoop的最初设计是为了用于搜索引擎业务(如Yahoo、Google等公司阅读全文
posted @ 2016-05-19 17:18 BYRans 阅读(1870) 评论(1) 编辑

2016年4月25日

摘要: Linux下部署FTP服务器 下载安装包 在这里介绍的是离线部署FTP,首先下载对应的rpm包,下载链接为: "下载vsftpd服务" ) "下载FTP客户端" 安装ftp服务器 关闭防火墙 关闭selinux 查看是否安装vsftp 如果出现vsftpd x.x.x xx.el5,说明已经安装 v阅读全文
posted @ 2016-04-25 16:13 BYRans 阅读(397) 评论(0) 编辑

2016年3月18日

摘要: Spark官方文档 中文翻译 转载请注明出处: "http://www.cnblogs.com/BYRans/" "1 概述(Overview)" "2 引入Spark(Linking with Spark)" "3 初始化Spark(Initializing Spark)" "3.1 使用Spar阅读全文
posted @ 2016-03-18 16:59 BYRans 阅读(20309) 评论(3) 编辑

2016年2月19日

摘要: Blog List Spark " Spark官方文档 中文翻译 " "Spark快速入门 Spark 1.6.0" " Spark SQL 官方文档 中文翻译 " "Spark SQL 之 Migration Guide" "Spark SQL 之 Performance Tuning & Dis阅读全文
posted @ 2016-02-19 09:45 BYRans 阅读(696) 评论(0) 编辑

公告

导航

统计

  • 随笔 - 35
  • 文章 - 0
  • 评论 - 44
  • 引用 - 0