2017年4月5日
Linux（六）shell操作实用技巧
摘要： 一、shell操作日期时间 linux 系统为我们提供了一个命令 date，专门用来显示或者设置系统日期时间的。 语法格式为： date [OPTION]... [+FORMAT] 或者 date [-u|--utc|--universal] [MMDDhhmm[[CC]YY][.ss]] 常用的可 阅读全文
posted @ 2017-04-05 20:29 凌-风 阅读(681) 评论(0) 推荐(0) 编辑
spark(二)
摘要： 一、spark的提交模式 --master（standalone\YRAN\mesos） standalone:-client -cluster 如果我们用client模式去提交程序，我们在哪个地方提交的代码，哪个地方就启动driver；如果我们用的是cluster模式去提交，spark会在集群随机 阅读全文
posted @ 2017-04-05 11:50 凌-风 阅读(973) 评论(0) 推荐(0) 编辑
2017年4月4日
Linux（五）shell编程基础
摘要： 一、Linux shell简介 1、shell概述 Shell 是用户与内核进行交互操作的一种接口，目前最流行的 Shell 称为 bash Shell Shell 是一门编程语言<解释型的编程语言>，即 shell 脚本<就是在用 linux 的 shell 命令编程>， Shell 是一种脚本语 阅读全文
posted @ 2017-04-04 22:49 凌-风 阅读(778) 评论(0) 推荐(0) 编辑
Linux （四）其他一些服务的实现
摘要： 一、防火墙 防火墙根据配置文件/etc/sysconfig/iptables 来控制本机的“出、入”网络访问行为 其对行为的配置策略有四个策略表 1、 基础必备技能 查看防火墙状态 service iptables status 开启防火墙 service iptables start 关闭防火墙 阅读全文
posted @ 2017-04-04 21:38 凌-风 阅读(353) 评论(0) 推荐(0) 编辑
Linux（三）高级文本处理命令
摘要： 一、cut （cut 命令可以从一个文本文件或者文本流中提取文本列 ） 1、cut语法 cut -d '分隔字符' -f fields 用于有特定分隔字符 cut -c 字符区间 用于排列整齐的信息 选项与参数： -d：后面接分隔字符。与 -f 一起使用 -f：依据 -d 的分隔字符将一段信息分割成 阅读全文
posted @ 2017-04-04 18:27 凌-风 阅读(768) 评论(0) 推荐(0) 编辑
2017年4月3日
linux(二) 基本使用命令
摘要： 一、常用命令归纳分类 课外网站 http://man.linuxde.net/ http://www.jb51.net/linux/ https://jaywcjlove.github.io/linux-command/ 如果想查看命令的使用手册可以使用 man, 例如man clear 二、常用命 阅读全文
posted @ 2017-04-03 21:09 凌-风 阅读(525) 评论(0) 推荐(0) 编辑
Linux(一)——认识Linux
摘要： 一、Linux介绍 （安装的是Centos6.7） 1、Linux 系统是一套免费使用和自由传播的类 Unix 操作系统（主要用在服务器上），是一个基于 POSIX 和 UNIX 的多用户、多任务、支持多线程和多 CPU 的操作系统。它能运行主要的UNIX 工具软件、应用程序和网络协议。它支持 32 阅读全文
posted @ 2017-04-03 15:07 凌-风 阅读(1784) 评论(0) 推荐(0) 编辑
2017年4月1日
spark（一）
摘要： 一、spark 学习 1、 spark学习的三种地方： （1）Spark.apache.org 官方文档 （2）spark的源代码的官方网站 https://github.com/apache/spark （3）spark的官方的博客 https://databricks.com/blog 大数据改 阅读全文
posted @ 2017-04-01 11:50 凌-风 阅读(550) 评论(0) 推荐(0) 编辑
2017年3月30日
KafKa
摘要： 一、Kafaka 介绍 Apache Kafka 是分布式发布-订阅消息系统。 它最初由 LinkedIn 公司开发， 之后成为 Apache 项目的一部分。 Kafka 是一种快速、 可扩展的、 设计内在就是 分布式的， 分区的和可复制的提交日志服务 Kafka 是一个消息系统， 原本开发自 Li 阅读全文
posted @ 2017-03-30 21:05 凌-风 阅读(682) 评论(1) 推荐(0) 编辑
Flume
摘要： 一、Flume概述 Flume是一个分布式的数据收集系统， 具有高可靠、 高可用、 事务管理、 失 败重启等功能。 数据处理速度快， 完全可以用于生产环境。 Flume的核心是agent。 agent是一个java进程， 运行在日志收集端， 通过agent 接收日志， 然后暂存起来， 再发送到目的地 阅读全文
posted @ 2017-03-30 18:38 凌-风 阅读(316) 评论(0) 推荐(0) 编辑