代码改变世界

Flink架构、原理与部署测试

2017-01-18 19:03 by Florian, 228 阅读, 收藏, 编辑
摘要: Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时,提供支持流处理和批处理两种类型应用的功能。 现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型,因为它们所提供的SLA(Service Level Aggreement)是完全阅读全文

图解Spark API

2016-12-15 23:37 by Florian, 468 阅读, 收藏, 编辑
摘要: 初识spark,需要对其API有熟悉的了解才能方便开发上层应用。本文用图形的方式直观表达相关API的工作特点,并提供了解新的API接口使用的方法。例子代码全部使用python实现。 1. 数据源准备 准备输入文件: 启动pyspark: 使用textFile创建RDD: 查看RDD分区与数据: 2.阅读全文

汇编器构造

2016-08-27 01:45 by Florian, 648 阅读, 收藏, 编辑
摘要: 汇编器构造 一、 汇编器简介 前面介绍了编译器构造和静态链接器构造的具体方法,而且我们实现了一个将高级语言转化为汇编语言的编译器,同时又实现了一个将多个目标文件链接为一个可执行文件的链接器。现在需要一个连接这两个模块的功能模块——汇编器,它能将一个单独的汇编文件转换为一个可重定位目标文件,如图1-1阅读全文

Oracle11g CentOS7安装记录

2016-08-14 13:21 by Florian, 478 阅读, 收藏, 编辑
摘要: 1. 操作系统环境、安装包准备 宿主机:Max OSX 10.10.5 虚拟机:Parallel Desktop 10.1.1 虚拟机操作系统:CentOS 7 x86_64 DVD 1511.iso Oracle:linux.x64_11gR2_database_1of2.zip linux.x6阅读全文

如何创造一门编程语言?

2016-08-14 03:46 by Florian, 693 阅读, 收藏, 编辑
摘要: 编程语言,作为人与计算机沟通的桥梁,有着重要和深远的意义。有过计算机编程经验的人,多少学习或掌握过一到多种编程语言。计算机专业领域的编程语言成百上千种,主流的编程语言也有数十种之多。每种编程语言面向的领域和特性都不尽相同,不过归根结底是为了解决人与计算机之间沟通的效率问题,提高计算机的生产力。想必有阅读全文

为何计算机人应该懂一点编译知识?

2016-08-13 21:23 by Florian, 331 阅读, 收藏, 编辑
摘要: 快餐式的学习确实会在短期内对个人迅速了解未知事物有所帮助,而作为专业人士要保持长期的竞争力,提高专业素养是必不可少而又漫长的过程,了解和学习基础理论并加以实践是一种行之有效的方式。阅读全文

Ambari服务依赖关系图生成脚本

2016-07-13 13:05 by Florian, 114 阅读, 收藏, 编辑
摘要: 1. 生成服务依赖关系 2. 在线生成依赖关系图 访问url:http://www.webgraphviz.com/阅读全文

自动添加Linux登录账户,并授予sudo权限

2016-07-11 14:46 by Florian, 137 阅读, 收藏, 编辑
摘要: ``` !/bin/bash USER=test PASS=$USER GROUP=root HOME=/data/home/$USER if user not exist if [[ $(cat /etc/passwd | grep E '^$USER:' c) == "0" ]]; then u阅读全文

使用Nginx+Lua代理Hadoop HA

2016-06-27 23:04 by Florian, 768 阅读, 收藏, 编辑
摘要: 一、Hadoop HA的Web页面访问 Hadoop开启HA后,会同时存在两个Master组件提供服务,其中正在使用的组件称为Active,另一个作为备份称为Standby,例如HDFS的NameNode、YARN 的ResourceManager。HDFS的web页面只有通过Active的Name阅读全文

ARM的栈指令

2016-03-07 13:09 by Florian, 1173 阅读, 收藏, 编辑
摘要: ARM的指令系统中关于栈指令的内容比较容易引起迷惑,这是因为准确描述一个栈的特点需要两个参数: 栈地址的增长方向 :ARM将向高地址增长的栈称为 递增栈 (Descendent Stack),将向低地址增长的栈称为 递减栈 (Acendant Stack) 栈指针的指向位置 :ARM将栈指针指向栈顶阅读全文