大道至简(老徐)

2018年10月18日

摘要： ## Docker简介 ### 1、介绍容器技术和 Docker 已经成为了 IT 圈里最火爆的话题。时至今日，还是有人会心存困惑：Docker 究竟是什么？使用 Docker 的最大好处是什么？为什么它会受到这么多用户的热烈追捧？有什么相关数据作为参考？在这篇文章中，作者将悉数回答所有这些问题。 ![1539749606742](http://pfdxgd2ao.bkt.clouddn.... 阅读全文

posted @ 2018-10-18 19:05 大道至简(老徐) 阅读(835) 评论(0) 推荐(0)

2018年10月16日

Linux常用命令

摘要： ## Linux常用命令 ### 1、服务 1. 启动服务 ```shell $>service firewalld start # 本质上调用的是下面的命令 $>systemctl start docker.service # ``` 2. 停止服务 ```shell $>service firewalld stop $>systemc... 阅读全文

posted @ 2018-10-16 22:14 大道至简(老徐) 阅读(138) 评论(0) 推荐(0)

Docker常用命令

摘要： ## Docker常用命令 ### 2 、Docker常用命令 #### 2.1 镜像管理 1. 搜索docker hub上的指定镜像 ```shell $>docker search centos ``` 操作结果如下图所示： ![1539500273902](http://pfdxgd2ao.bkt.clouddn.com/xpc_docker_005... 阅读全文

posted @ 2018-10-16 20:16 大道至简(老徐) 阅读(144) 评论(0) 推荐(0)

Spark资源管理

摘要： ## Spark资源管理 ### 1、介绍 Spark资源管控分为spark集群自身可支配资源配置和job所用资源配置。 ### 2、spark集群支配资源控制在spark的conf/spark-env.sh文件中可以指定master和worker的支配资源数。 #### 2.1 Spark集群可支配资源配置 1. 每个worker使用内核数 ```shell # 每个... 阅读全文

posted @ 2018-10-16 20:15 大道至简(老徐) 阅读(618) 评论(0) 推荐(0)

在Centos 7上安装Docker

摘要： ## 在Centos 7上安装Docker ### 1、docker介绍 docker是类似于vmware的虚拟化软件，可以开发、容纳、运行应用程序的平台，在容器中安全的隔离运行应用程序。 ### 2、Docker引擎 Docker引擎是cs结构的软件架构，server端以服务方式运行在后台，RestAPI和CLI方式在客户端进行访问。 ### 3、安装docker 安装docker时... 阅读全文

posted @ 2018-10-16 20:14 大道至简(老徐) 阅读(113) 评论(0) 推荐(0)

Docker网络管理

摘要： ## Docker网络管理 ### 1、介绍网络管理是docker中重要的部分，由于需要构建集群，容器之间需要进行通信，尤其是跨主机之间的容器间进行通信。 ### 2、网络管理 docker有三种网络类型，bridge、host和none。 1. 查看docker的网络帮助 ```shell # 查看network命令帮助 $>docker network --he... 阅读全文

posted @ 2018-10-16 20:13 大道至简(老徐) 阅读(197) 评论(0) 推荐(0)

Tensorflow 入门

摘要： ## Tensorflow 入门 ### 1、介绍 TensorFlow™ 是一个采用数据流图（data flow graphs），用于数值计算的开源软件库。节点（Nodes）在图中表示数学操作，图中的线（edges）则表示在节点间相互联系的多维数据数组，即张量（tensor）。它灵活的架构让你可以在多种平台上展开计算，例如台式计算机中的一个或多个CPU（或GPU），服务器，移动设备等等。Te... 阅读全文

posted @ 2018-10-16 20:12 大道至简(老徐) 阅读(241) 评论(0) 推荐(0)

Spark远程调试函数

摘要： ## Spark远程调试函数 ### 1、sendInfo 该函数用于分布式程序的调试，非常方便，在spark的rdd操作中嵌入sendInfo，启动nc服务器后，可以收集到所有需要的运行时信息，该函数可以捕获host、进程id、线程名称等主要的信息。 ### 2、函数实现 ```scala def sendInfo(obj: Object, m: String, param: Strin... 阅读全文

posted @ 2018-10-16 20:11 大道至简(老徐) 阅读(364) 评论(0) 推荐(0)

Spark核心组件

摘要： ## Spark核心组件 ### 1、RDD resilient distributed dataset, 弹性分布式数据集。逻辑上的组件,是spark的基本抽象，代表不可变，分区化的元素集合,可以进行并行操作。该类封装了RDD的基本操作，例如map、filter、persist等,除此以外，PairRDDFunctions封装了KV类型RDD的操作，例如groupByKey和join。对于s... 阅读全文

posted @ 2018-10-16 20:10 大道至简(老徐) 阅读(1995) 评论(0) 推荐(0)

Spark job执行流程消息图

摘要： ## Spark job执行流程消息图 ### 1、介绍 ![](http://pfdxgd2ao.bkt.clouddn.com/xpc_spark_074.png) 阅读全文

posted @ 2018-10-16 20:06 大道至简(老徐) 阅读(455) 评论(0) 推荐(0)

大道至简

道可道，非常道！

公告