02 2018 档案
摘要：近期先把Kylin教程整理完毕，后续根据大家需求（可能会发起投票），整理其他技术栈知识教程。 OK，那么接上一篇文章，感性认知了Kylin之后，我们先来看一下如何部署Kylin吧。 序号也依然沿用上一篇文章的递增。 二、Kylin的部署与使用 2.1 部署前的准备工作 Kylin的工作默认依赖于Hi
阅读全文
摘要：一、Kylin介绍 1.1 现状 Hadoop于2006年初步实现，改变了企业级的大数据存储（基于HDFS）和批处理（主要基于MR）问题，10几年过去了，数据量随着互联网的发展井喷式增长，如何高速、低延迟的分析数据成为后续面临的挑战，辟如我们面临的一些质疑：Hadoop老矣，尚能饭否？ 其中也出现过
阅读全文
摘要：大数据平台是为了计算，现今社会所产生的越来越大的数据量，以存储、运算、展现作为目的的平台。大数据技术是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。 ——
阅读全文
摘要：面对招聘这个难题，各大公司经过不断的实践和总结，都有了自己一套行之有效的流程，四代在参考了主流的面试思想后，精心准备了一套面试流程，实际效果还算差强人意。 挑选简历 面试的第一关是挑选简历。 很多人觉得，面试开始于进入对方公司的时候，或者是面对试题，或者面对面试官的时候，四代觉的这个时候表现已经有点
阅读全文
摘要：从鼬加入的那一周开始，四代就开始着手准备起草代码规范了。 代码规范不可少 很多人理直气壮的认为，创业团队，或者说人数少的团队根本不需要代码规范。 他们的口头禅经常是：“没办法啊！我们需要快速的完成客户的需求啊！客户最重要啊！实行代码规范只会拖慢项目的进度！而且时间太紧，我们也不能搞那么多的学习啊！”
阅读全文
摘要：作者：刘念 来源：人民日报 原题为《也说“佛系青年”》 油腻大叔”还没走远，“佛系青年”又刷屏了。您别误会，跟宗教没有任何关系，就是借这个符号，讲一种怎么都行、不大走心、看淡一切的活法。约车，司机到门口也行，自己走两步也行；“双11”，抢着也行抢不到也行；饿了，有啥吃啥，凑合就行；干活，说我好也行，
阅读全文
摘要：Struts2-day01 一、 框架概述 什么是框架，为什么使用框架，框架优点 框架（framework）是一个基本概念上的结构，用于去解决或者处理复杂的问题 框架，即framework。其实就是某种应用的半成品，就是一组组件，供你选用完成你自己的系统。简单说就是使用别人搭好的舞台，你来做表演。
阅读全文
摘要：原文地址：github.com/kdn251/interviews 译文出自：掘金翻译计划 译者：王下邀月熊 校对者：PhxNirvana、根号三 这个 链接 用来查看本翻译与英文版是否有差别（如果你没有看到 README.md 发生变化，那就意味着这份翻译文档是最新的）。 Interviews 软
阅读全文
摘要：最近看了一篇文章 The Product Managers' Guide to Continuous Delivery and DevOps 文中对「持续集成（Continuous Integration）」、「持续交付（Continuous Delivery）」和「持续部署（Continuous
阅读全文
摘要：CDN的全称是Content Delivery Network，即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的
阅读全文
摘要：本文将会简单介绍Kubernetes的核心概念。因为这些定义可以在Kubernetes的文档中找到，所以文章也会避免用大段的枯燥的文字介绍。相反，我们会使用一些图表（其中一些是动画）和示例来解释这些概念。我们发现一些概念（比如Service）如果没有图表的辅助就很难全面地理解。在合适的地方我们也会提
阅读全文
摘要：一、WebLogic的介绍 WebLogic是美国bea公司出品的一个application server，确切的说是一个基于Javaee架构的中间件，纯java开发的，最新版本WebLogic Server 9.0是迄今为止发布的最卓越的BEA应用服务器。BEA WebLogic是用于开发、集成、
阅读全文
摘要：本文目的在于记录和回顾.不建议当教程. Linux上没有ksh的话yum install ksh就可以了 直接上图 vim一个文件后缀名是ksh 内容是和shell差不多 然后赋予这个文件可执行权限 最后运行这个命令 看到控制台上打印出了hello world! 我用这个链接虚拟机工具是putty和
阅读全文
摘要：-- Start 什么是 Shell 如果把 Linux 比作一个蛋，那么 Shell 就是蛋壳，我们需要通过 Shell 来使用系统。 Shell 的种类 最早的 Shell 是 Bourne Shell(sh), 随着 Linux 的发展, 又出现好多 Shell，如： csh, tcsh, k
阅读全文
摘要：本导图已在github开源： github.com/caiyongji/f…
阅读全文
摘要：对的，我这里要讲的不是如何掌握一种程序语言，而是所有的…… 很多编程初学者至今还在给我写信请教，问我该学习什么程序语言，怎么学习。由于我知道标题问题的答案，所以总感觉这个问题是如此“低级”，一直没来得及回复 :P 可是逐渐的，我发现原来不只是小白们有这个问题，就连美国大公司的很多资深工程师，其实也没
阅读全文
摘要：1.上传 2.解压 配不配环境变量都行 进入到jdk-9.0.4的bin目录下 执行./jshell命令 我第一次出现如下的情况 等了一会没反应就ctrl+z了.然后又重新执行./shell命令 超时了.... 再来一次 成功进入交互式命令行里面.这个是java9新特性可以直接在这里执行java语句
阅读全文
摘要：1、课程名称 电商实时交易风控系统 2、课程目标 1、了解电子商务交易的风险点 2、了解电子商务交易中风险点的处理策略 3、利用Storm技术开发基于规则判定的风控系统 4、掌握企业中风控系统的一般架构和业务流程 3、背景知识 3.1、信用卡的交易风险及常见策略 3.1.1、用户逾期风险控制 用户主
阅读全文
摘要：课程介绍 课程名称： 点击流日志分析 1、什么是点击流系统？记录用户在网站上的操作，用户行为轨迹。 2、日志有哪些需要注意的地方，如何采集日志（flume），日志格式，日志包含的信息量（字段） 3、分析什么？ 网址来源，TOPK 客户端流量占比 Android、IOS、..... 网页热力图 课程目
阅读全文
摘要：课程介绍 课程名称： 日志监控告警系统 基于的日志进行监控，监控需要一定规则，对触发监控规则的日志信息进行告警，告警的方式，是短信和邮件。 log4j >error,info,debug 应用程序程序的日志 error级别 TimeOutException 角标越界IndexXXXException
阅读全文
摘要：mount/umount挂载/卸载 对于Linux用户来讲，不论有几个分区，分别分给哪一个目录使用，它总归就是一个根目录、一个独立且唯一的文件结构 Linux中每个分区都是用来组成整个文件系统的一部分，她在用一种叫做“挂载”的处理方法，它整个文件系统中包含了一整套的文件和目录，并将一个分区和一个目录
阅读全文
摘要：1）yy （功能描述：复制光标当前一行） y数字y （功能描述：复制一段(从第几行到第几行)）2）p （功能描述：箭头移动到目的行粘贴）3）u （功能描述：撤销上一步）4）dd （功能描述：删除光标当前行）d数字d （功能描述：删除光标(含)后多少行）5）x （功能描述：删除一个字母，相当于del）
阅读全文
摘要：深入分析Parquet列式存储格式 Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，2015年5月从Apache的孵化器里毕业成为Apache顶级项目，最新的版本是1.8.0。 列式存储 列式存储和行式存储相比有哪些优势呢？ 1.可以跳过不符合条件的数据，只
阅读全文
摘要：对无界数据集的连续处理 在我们详细介绍Flink之前，让我们从更高的层面上回顾处理数据时可能遇到的数据集的类型以及您可以选择处理的执行模型的类型。这两个想法经常被混淆，清楚地区分它们是有用的。 首先，两种类型的数据集 无界：连续追加的无限数据集 有界：有限的，不变的数据集 传统上被认为是有限或“批量
阅读全文
摘要：此文于2015 年 8 月 10 日发布 Tachyon 是什么 Tachyon 是 AMPLab 开发的一款内存分布式文件系统。它介于计算层和存储层之间，可以简单的理解为存储层在内存内的一个 Cache 系统。同 Spark 和 Hadoop 一样，Tachyon 是完全开源的，并且也是一个以 J
阅读全文
摘要：这羊头很酷... Apache Impala是Apache Hadoop的开源本地分析数据库。Impala由Cloudera，MapR，Oracle和Amazon提供。 在Hadoop上进行BI风格的查询 Impala为Hadoop上的BI /分析查询提供了低延迟和高并发性（不是由Apache Hi
阅读全文
摘要：Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。 KYLIN是什么? - 可扩展超快OLAP引擎: Kylin是为减少
阅读全文
摘要：涉及概念梳理：命名空间 4.1.1、命名空间的结构 1) Table：表，所有的表都是命名空间的成员，即表必属于某个命名空间，如果没有指定，则在default默认的命名空间中。 2) RegionServer group：一个命名空间包含了默认的RegionServer Group。 3) Perm
阅读全文
摘要：高可用 在HBase中Hmaster负责监控RegionServer的生命周期，均衡RegionServer的负载，如果Hmaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可用配置。 1) 关闭HBase集群（如果没
阅读全文
摘要：HBase读数据流程 1) HRegionServer保存着meta表以及表数据，要访问表数据，首先Client先去访问zookeeper，从zookeeper里面获取meta表所在的位置信息，即找到这个meta表在哪个HRegionServer上保存着。 2) 接着Client通过刚才获取到的HR
阅读全文
摘要：问题描述如下： 出现此问题可能是zookeeper不稳定造成的，采用的是虚拟机，经常挂起的状态，使用hbase的list命令出现下面错误，这个可能是hbase的稳定性造成的.可能还有其他方法.我的集群是这种情况. 注意:本博文目的是为了记录和复习,不建议作为教程. 感谢http://www.cnbl
阅读全文
摘要：1.1. 命令 名称 命令表达式 创建表 create '表名', '列族名1','列族名2','列族名N' 查看所有表 list 描述表 describe ‘表名’ 判断表存在 exists '表名' 判断是否禁用启用表 is_enabled '表名' is_disabled ‘表名’ 添加记录
阅读全文
摘要：快照使用 编辑 快照使用 如果你创建了多于一个的虚拟机快照，那么，你将有多个还原点可以用于恢复。当你创建了一个快照，那快照些现在可写的在那个点上就变成了只读的。使用in-file delta技术就能创建新文件记录所有的关于原始磁盘文件的变更（delta）。 文件大小 文件大小 快照文件的大小不能超过
阅读全文
摘要：1.如图,勾选撰写栏 勾选全部会话 下面的是一个很方便的小技巧.分屏 如下图垂直排列 水平排列等等
阅读全文
摘要：[root@hadoop1 bin]# rpm -qa|grep ntp 没有的话用yum -y install ntp安装(要记着每台机器上都要安装) [root@hadoop1 bin]# vi /etc/ntp.conf 修改内容如下 a）修改1（设置本地网络上的主机不受限制。）#restri
阅读全文
摘要：对于我们当前这种案例，主要目标是把 z01 这台服务器设置为时间服务器，剩下的 z02，z03 这两台机器同步 z01 的时间，我们需要这样做的原因是因为，整个集群架构中的时间，要保持一致。 ** 检查当前系统时区，使用命令： # date -R，如图： 注意这里，如果显示的时区不是 + 0800，
阅读全文
摘要：一、命令行 （1）使用zookeeper安装bin目录下的./zkCli.sh连接到zookeeper服务器上，基本语法如下： 一、命令行 ./zkCli.sh -timeout 0 -r -server ip:port 其中，-timeout表示当前会话的超时时间，zookeper依靠与客户端的心
阅读全文
摘要：Znode有两种类型： 短暂（ephemeral）：客户端和服务器端断开连接后，创建的节点自己删除 持久（persistent）：客户端和服务器端断开连接后，创建的节点不删除 2）Znode有四种形式的目录节点（默认是persistent ） （1）持久化目录节点（PERSISTENT） 客户端与z
阅读全文
摘要：1）半数机制：集群中半数以上机器存活，集群可用。所以zookeeper适合装在奇数台机器上。 2）Zookeeper虽然在配置文件中并没有指定master和slave。但是，zookeeper工作时，是有一个节点为leader，其他则为follower，Leader是通过内部的选举机制临时产生的 3
阅读全文
摘要：Hadoop编译源码 克隆一个虚拟机 然后一步一步安装就行 安装所需:链接: https://pan.baidu.com/s/1jIZlQmi 密码: gggv 5.1 前期准备工作 1）CentOS联网 配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的 注
阅读全文
摘要：图中涉及的技术名词解释如下： 1）Sqoop：sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle 等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库
阅读全文
摘要：基本语法 crontab [选项] 选项： -e： 编辑crontab定时任务 -l： 查询crontab任务 -r： 删除当前用户所有的crontab任务 2）参数说明 [root@localhost ~]# crontab -e （1）进入crontab编辑界面。会打开vim编辑你的工作。 *
阅读全文
摘要：YUM（全称为 Yellow dog Updater, Modified）是一个在Fedora和RedHat以及CentOS中的Shell前端软件包管理器。基于RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软件包，无须繁琐地一次次下载、安装。
阅读全文
摘要：图像识别（image recognition）是现在的热门技术。 文字识别、车牌识别、人脸识别都是它的应用。但是，这些都算初级应用，现在的技术已经发展到了这样一种地步：计算机可以识别出，这是一张狗的照片，那是一张猫的照片。 这是怎么做到的？ 让我们从人眼说起，学者发现，人的视觉细胞对物体的边缘特别敏
阅读全文
摘要：眼下最热门的技术，绝对是人工智能。 人工智能的底层模型是"神经网络"（neural network）。许多复杂的应用（比如模式识别、自动控制）和高级模型（比如深度学习）都基于它。学习人工智能，一定是从它开始。 什么是神经网络呢？网上似乎缺乏通俗的解释。 前两天，我读到 Michael Nielsen
阅读全文
摘要：centos安装locate命令 centos6.3刚初始化安装完毕，有个配置文件不知道存在什么地方，想用locate命令来查找下，发现系统提示，找不到该命令。以前经常用的命令为什么找不到了呢？？？原来现在的6.3的已经将原来的locate命令因为效率低下的问题，已经弃用了。用现在最新的mlocat
阅读全文
摘要：最近，我在学习Linux，下面是一些笔记。 使用电脑的时候，经常需要查找文件。 在Linux中，有很多方法可以做到这一点。国外网站LinuxHaxor总结了五条命令，你可以看看自己知道几条。大多数程序员，可能经常使用其中的2到3条，对这5条命令都很熟悉的人应该是不多的。 1. find find是最
阅读全文
摘要：很多人说，不知道怎么写文档，都是凭着感觉写。 网上也很少有资料，教你写文档。这已经影响了中文软件的发展。 英语世界里，文档非常受重视，许多公司和组织都有自己的文档规范，清楚地规定写作要求，比如微软、MailChimp、Apple、Yahoo、docker、Struts 等等（维基百科有一份完整的清单
阅读全文
摘要：SSH是每一台Linux电脑的标准配置。 随着Linux设备从电脑逐渐扩展到手机、外设和家用电器，SSH的使用范围也越来越广。不仅程序员离不开它，很多普通用户也每天使用。 SSH具备多种功能，可以用于很多场合。有些事情，没有它就是办不成。本文是我的学习笔记，总结和解释了SSH的常见用法，希望对大家有
阅读全文
摘要：上一篇文章分析了互联网的总体构思，从下至上，每一层协议的设计思想。 这是从设计者的角度看问题，今天我想切换到用户的角度，看看用户是如何从上至下，与这些协议互动的。 互联网协议入门（二） 作者：阮一峰 （接上文） 七、一个小结 先对前面的内容，做一个小结。 我们已经知道，网络通信就是交换数据包。电脑A
阅读全文
摘要：我们每天使用互联网，你是否想过，它是如何实现的？ 全世界几十亿台电脑，连接在一起，两两通信。上海的某一块网卡送出信号，洛杉矶的另一块网卡居然就收到了，两者实际上根本不知道对方的物理位置，你不觉得这是很神奇的事情吗？ 互联网的核心是一系列协议，总称为"互联网协议"（Internet Protocol
阅读全文
摘要：软件开发是"抽象化"原则（Abstraction）的一种体现。 所谓"抽象化"，就是指从具体问题中，提取出具有共性的模式，再使用通用的解决方法加以处理。 开发软件的时候，一方面，我们总是希望使用别人已经写好的代码，另一方面，又希望自己写的代码尽可能重用，以求减少工作量。要做到这两个目标，这需要"抽象
阅读全文
摘要：所有应用软件之中，数据库可能是最复杂的。 MySQL的手册有3000多页，PostgreSQL的手册有2000多页，Oracle的手册更是比它们相加还要厚。 但是，自己写一个最简单的数据库，做起来并不难。Reddit上面有一个帖子，只用了几百个字，就把原理讲清楚了。下面是我根据这个帖子整理的内容。
阅读全文
摘要：每年都有无数年轻程序员，加入软件行业。 他们在学校里学过编程，但是对这个行业的现实一无所知。 Patrick McKenzie 是美国一家小软件公司的老板，他写了一篇长文，介绍这个行业的一些实际情况。我看了以后很感慨，有些地方很受启发。我选择了一部分，翻译如下。 一、90%的编程工作来自内部软件 计
阅读全文
摘要：在Ubuntu下安装GCC和其他一些Linux系统有点不一样。方法一：该方法超简单:sudo apt-get build-depgcc就上面这条命令就可以搞定方法二：sudo apt-get install build-essential还是简单，一句命令也可以搞定安装完了可以执行gcc--vers
阅读全文
摘要：编程新手都有一个同样的问题："我应该学习哪一种语言？"。 《Unix编程艺术》（Eric Raymond著）第十四章，对各种语言进行了评价，正好可以用来回答这个问题。下面是我的笔记，整理了六种主要计算机语言的优缺点。读完就会知道，对于不同的任务，应该选择哪一种语言了。 原文写于2003年。网上曾经有
阅读全文
摘要：从打开电源到开始操作，计算机的启动是一个非常复杂的过程。 我一直搞不清楚，这个过程到底是怎么回事，只看见屏幕快速滚动各种提示...... 这几天，我查了一些资料，试图搞懂它。下面就是我整理的笔记。 零、boot的含义 先问一个问题，"启动"用英语怎么说？ 回答是boot。可是，boot原来的意思是靴
阅读全文
摘要：DNS 是互联网核心协议之一。不管是上网浏览，还是编程开发，都需要了解一点它的知识。 本文详细介绍DNS的原理，以及如何运用工具软件观察它的运作。我的目标是，读完此文后，你就能完全理解DNS。 一、DNS 是什么？ DNS （Domain Name System 的缩写）的作用非常简单，就是根据域名
阅读全文
摘要：软件架构（software architecture）就是软件的基本结构。 合适的架构是软件成功的最重要因素之一。大型软件公司通常有专门的架构师职位（architect），只有资深程序员才可以担任。 O'Reilly 出版过一本免费的小册子《Software Architecture Pattern
阅读全文
摘要：1、 有人曾经问我："成年后，有没有书籍改变过你的世界观？" 我想了想，还真有这样的书。那时，我已经工作好几年了，偶然在图书馆翻到一本旧书《熵：一种新的世界观》（上海译文出版社，1987）。 那本书是科普著作，介绍物理学概念"熵"。中学毕业后，我再没有碰过物理学，但是没想到读完以后，我看待世界的眼光
阅读全文
浙公网安备 33010602011771号