摘要: SSH密钥对登录的原理和实践 SSH密钥对登录的原理和实践 1、ssh密钥对登录的基本思路是:要登录谁,就把公钥放到谁身上,就可以授权登录谁。 2、本地登录设备称为ssh客户端,被登录的设备称为ssh服务器。 3、原理图描述如下: 4、SSH的公钥分为openssh格式和IETF格式。 其中putt 阅读全文
posted @ 2018-01-28 21:44 Jonson Li 阅读(642) 评论(0) 推荐(0) 编辑
摘要: ssh 无密码登录要使用公钥与私钥。linux下可以用用ssh-keygen生成公钥/私钥对,下面我以CentOS为例。有机器A(192.168.1.155),B(192.168.1.181)。现想A通过ssh免密码登录到B。1.在A机下生成公钥/私钥对。 [chenlb@A ~]$ ssh-key 阅读全文
posted @ 2018-01-28 13:55 Jonson Li 阅读(357) 评论(0) 推荐(0) 编辑
摘要: 已经开始接触Linux用户管理,用户组管理,以及权限管理这几个逼格满满的关键字。这几个关键字对于前端程序猿的我来说真的是很高大上有木有,以前尝试学 Linux 的时候看到这些名词总是下意识的跳过不敢看有木有,一提起这几个名词马上脑海中总是升腾起无限的崇拜有木有!今天就硬着头皮捯饬捯饬这几个概念,希望 阅读全文
posted @ 2018-01-28 13:19 Jonson Li 阅读(367) 评论(0) 推荐(0) 编辑
摘要: 活动信息 ▼ 主题:如何让飘在半空的计算机视觉技术与需求落地? 时间:7月20日(周三)晚8点-9点 地点:将门计算机视觉微信群 嘉宾介绍 ▼ 杨安国 DeepSee CEO 曾就职于国内知名大型央企,上市公司以及500强外企,参与过多个大型项目,熟悉计算机视觉端到端产品以及系统平台研发。对业内公司 阅读全文
posted @ 2017-07-31 20:49 Jonson Li 阅读(534) 评论(0) 推荐(0) 编辑
摘要: 以下内容为由4月27日由将门主办的“计算机视觉”主题技术专家微信群分享嘉宾实录。 分享嘉宾:阿里云研究员华先胜博士 自我介绍 我在2001年北大数学系十年寒窗博士毕业以后加入了微软亚洲研究院,在之后9年半的时间在研究院一直从事图像和视频的分析工作。2010年底我突然变得有点迷盲,虽然一直也在做产品, 阅读全文
posted @ 2017-07-31 20:47 Jonson Li 阅读(534) 评论(0) 推荐(0) 编辑
摘要: 以下内容整理自4月20日由将门主办的“计算机视觉”主题技术专家微信群分享嘉宾实录。 分享嘉宾:SenseTime(商汤科技)CEO 徐立。 300多位来自谷歌、Facebook、微软、Nvidia、滴滴等公司的技术人士、以及MIT、Stanford、CMU、清华、北大等高校的计算机系优秀学生听取了本 阅读全文
posted @ 2017-07-31 20:45 Jonson Li 阅读(911) 评论(0) 推荐(0) 编辑
摘要: 计算机视觉 1. 嘉宾:商汤科技CEO 徐立 文章回顾:计算机视觉的完整链条,从成像到早期视觉再到识别理解 2. 嘉宾:格灵深瞳CTO 赵勇 文章回顾:计算机视觉在安防、交通、机器人、无人车等领域的应用 3. 嘉宾:上交大教授 马利庄 文章回顾:可视媒体大数据的智能处理技术与应用 4. 嘉宾:阿里资 阅读全文
posted @ 2017-07-31 20:26 Jonson Li 阅读(3761) 评论(0) 推荐(1) 编辑
摘要: 现如今,卷积神经网络在人工智能领域应用的广泛性及重要性可谓是不言而喻。为了让大家对卷积的类型有一个清晰明了的认识,我快速概述了几种不同类型的二维卷积及其好处。 卷积(Convolutions) 首先,我们需要就定义卷积层的几个参数。 图1 二维卷积、内核大小为3、步幅为1 内核大小:内核大小定义了卷 阅读全文
posted @ 2017-07-31 15:42 Jonson Li 阅读(580) 评论(0) 推荐(0) 编辑
摘要: 【原创 深度学习与TensorFlow 动手实践系列 - 4】第四课:卷积神经网络 - 高级篇 提纲: 1. AlexNet:现代神经网络起源 2. VGG:AlexNet增强版 3. GoogleNet:多维度识别 4. ResNet:机器超越人类识别 5. DeepFace:结构化图片的特殊处理 阅读全文
posted @ 2017-06-19 15:41 Jonson Li 阅读(677) 评论(0) 推荐(1) 编辑
摘要: 【原创 深度学习与TensorFlow 动手实践系列 - 3】第三课:卷积神经网络 - 基础篇 提纲: 1. 链式反向梯度传到 2. 卷积神经网络 - 卷积层 3. 卷积神经网络 - 功能层 4. 实例:卷积神经网络MNIST分类 期待目标: 1. 清楚神经网络优化原理,掌握反向传播计算。 2. 掌 阅读全文
posted @ 2017-06-06 19:26 Jonson Li 阅读(972) 评论(0) 推荐(0) 编辑
摘要: 第二课 传统神经网络 《深度学习》整体结构: 线性回归 -> 神经网络 -> 卷积神经网络(CNN)-> 循环神经网络(RNN)- LSTM 目标分类(人脸识别,物品识别,场景识别,文字识别),目标检测(安防,自动驾驶),视频分类(视频检索),语句生成(自动翻译,智能对话) 提纲: 1. 神经网络起 阅读全文
posted @ 2017-06-06 17:19 Jonson Li 阅读(605) 评论(0) 推荐(0) 编辑
摘要: 最近一直在研究机器学习,看过两本机器学习的书,然后又看到深度学习,对深度学习产生了浓厚的兴趣,希望短时间内可以做到深度学习的入门和实践,因此写一个深度学习系列吧,通过实践来掌握《深度学习》和 TensorFlow,希望做成一个系列出来,加油! 学习内容包括了: 1. 小象学院的《深度学习》课程 2. 阅读全文
posted @ 2017-06-06 13:47 Jonson Li 阅读(792) 评论(0) 推荐(0) 编辑
摘要: 原文地址:http://colah.github.io/posts/2014-07-Conv-Nets-Modular/ Conv Nets: A Modular Perspective Posted on July 8, 2014 neural networks, deep learning, c 阅读全文
posted @ 2017-05-30 23:29 Jonson Li 阅读(346) 评论(0) 推荐(0) 编辑
摘要: 【导读】TensorFlow 在 2015 年年底一出现就受到了极大的关注,经过一年多的发展,已经成为了在机器学习、深度学习项目中最受欢迎的框架之一。自发布以来,TensorFlow 不断在完善并增加新功能,直到在这次大会上发布了稳定版本的 TensorFlow V1.0。这次是谷歌第一次举办的Te 阅读全文
posted @ 2017-05-27 11:57 Jonson Li 阅读(922) 评论(0) 推荐(0) 编辑
摘要: 【原创 Hadoop&Spark 动手实践 12】Spark MLLib 基础、应用与信用卡欺诈检测系统动手实践 阅读全文
posted @ 2017-05-22 10:31 Jonson Li 阅读(401) 评论(0) 推荐(0) 编辑
摘要: 【原创 Hadoop&Spark 动手实践 13】Spark综合案例:简易电影推荐系统 阅读全文
posted @ 2017-05-22 10:31 Jonson Li 阅读(537) 评论(0) 推荐(0) 编辑
摘要: 【原创 Hadoop&Spark 动手实践 7】Spark 应用经验、调优与动手实践 目标: 1. 了解Spark 应用经验与调优的理论与方法,如果遇到Spark调优的事情,有理论思考框架。 2. 把调优的过程,进行动手实践,完成一些调优的优化过程,加深理解。 3. 做一个完整的调优的案例,再次加深 阅读全文
posted @ 2017-05-22 10:30 Jonson Li 阅读(321) 评论(0) 推荐(0) 编辑
摘要: 【原创 Hadoop&Spark 动手实践 9】SparkSQL程序设计基础与动手实践(上) 目标: 1. 理解Spark SQL最基础的原理 2. 可以使用Spark SQL完成一些简单的数据分析任务 3. 可以利用Spark SQL完成一个完整的案例 阅读全文
posted @ 2017-05-22 10:30 Jonson Li 阅读(182) 评论(0) 推荐(0) 编辑
摘要: 【原创 Hadoop&Spark 动手实践 10】Spark SQL 程序设计基础与动手实践(下) 目标: 1. 深入理解Spark SQL 程序设计的原理 2. 通过简单的命令来验证Spark SQL的运行原理 3. 通过一个完整的案例来验证Spark SQL的运行原理,自己实际动手来进行掌握 4 阅读全文
posted @ 2017-05-22 10:30 Jonson Li 阅读(167) 评论(0) 推荐(0) 编辑
摘要: 【原创 Hadoop&Spark 动手实践 11】Spark Streaming 应用与动手实践 目标: 1. 掌握Spark Streaming的基本原理 2. 完成Spark Streaming最简单的演练和动手实验 3. 完成一个完整的Spark Streaming的实际案例(用户手机信息实时 阅读全文
posted @ 2017-05-22 10:30 Jonson Li 阅读(387) 评论(0) 推荐(0) 编辑
摘要: 【原创 Hadoop&Spark 动手实践 6】Spark 编程实例与案例演示 Spark 编程实例和简易电影分析系统的编写 目标: 1. 掌握理论:了解Spark编程的理论基础 2. 搭建开发环境:自己可以搭建Spark程序开发的环境 3. 动手实践简单的示例:完成一些简单的动手实验,可以帮助Sp 阅读全文
posted @ 2017-05-22 10:29 Jonson Li 阅读(574) 评论(0) 推荐(0) 编辑
摘要: 【原创 Hadoop&Spark 动手实践 7】Spark计算引擎剖析与动手实践 目标: 1. 理解Spark计算引擎的理论知识 2. 动手实践更深入的理解Spark计算引擎的细节 3. 通过编程案例加深理解 阅读全文
posted @ 2017-05-22 10:29 Jonson Li 阅读(198) 评论(0) 推荐(0) 编辑
摘要: Spark 基础入门,集群搭建以及Spark Shell 主要借助Spark基础的PPT,再加上实际的动手操作来加强概念的理解和实践。 Spark 安装部署 理论已经了解的差不多了,接下来是实际动手实验: 练习1 利用Spark Shell(本机模式) 完成WordCount spark-shell 阅读全文
posted @ 2017-05-13 17:58 Jonson Li 阅读(407) 评论(0) 推荐(0) 编辑
摘要: 简介 Apache Hadoop 2.0 包含 YARN,它将资源管理和处理组件分开。基于 YARN 的架构不受 MapReduce 约束。本文将介绍 YARN,以及它相对于 Hadoop 中以前的分布式处理层的一些优势。本文将了解如何使用 YARN 的可伸缩性、效率和灵活性增强您的集群。 回页首 阅读全文
posted @ 2017-05-11 09:52 Jonson Li 阅读(732) 评论(-1) 推荐(0) 编辑
摘要: 目录(?)[-] 一软件环境 二创建maven工程 三添加maven依赖 四配置log4j 五启动Hadoop 六运行WordCount从本地读取文件 七运行WordCount从HDFS读取文件 八代码下载 目录(?)[-] 介绍如何在Intellij Idea中通过创建maven工程配置MapRe 阅读全文
posted @ 2017-05-09 23:32 Jonson Li 阅读(2310) 评论(0) 推荐(0) 编辑
摘要: 转载地址:http://blog.csdn.net/napoay/article/details/54136398 目录(?)[+] 转载地址:http://blog.csdn.net/napoay/article/details/54136398 目录(?)[+] 一、机器环境 系统:MAC OS 阅读全文
posted @ 2017-05-09 23:28 Jonson Li 阅读(1519) 评论(0) 推荐(0) 编辑
摘要: 开始聊MapReduce,MapReduce是Hadoop的计算框架,我学Hadoop是从Hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关,我开始学习某一套技术总是想着这套技术到底能干什么,只有当我真正理解了这套技 阅读全文
posted @ 2017-05-09 12:12 Jonson Li 阅读(987) 评论(1) 推荐(0) 编辑
摘要: Systemctl是一个systemd工具,主要负责控制systemd系统和服务管理器。 Systemd是一个系统管理守护进程、工具和库的集合,用于取代System V初始进程。Systemd的功能是用于集中管理和配置类UNIX系统。 在Linux生态系统中,Systemd被部署到了大多数的标准Li 阅读全文
posted @ 2017-05-09 08:35 Jonson Li 阅读(416) 评论(0) 推荐(0) 编辑
摘要: 简介 HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。 HDFS有很多特点: ① 保存多个副本,且提供容错机制,副本丢失 阅读全文
posted @ 2017-05-09 00:27 Jonson Li 阅读(518) 评论(0) 推荐(0) 编辑
摘要: HDFS Architecture HDFS Architecture(HDFS 架构) Introduction(简介) Assumptions and Goals(假设和目标) Hardware Failure(硬件失效是常态) Streaming Data Access(支持流式访问) Lar 阅读全文
posted @ 2017-05-08 12:20 Jonson Li 阅读(330) 评论(0) 推荐(0) 编辑
摘要: Linux 命令行快捷键 - 移动光标 涉及在linux命令行下进行快速移动光标、命令编辑、编辑后执行历史命令、Bang(!)命令、控制命令等。让basher更有效率。 常用 ctrl+左右键:在单词之间跳转 ctrl+a:跳到本行的行首 ctrl+e:跳到页尾 Ctrl+u:删除当前光标前面的文字 阅读全文
posted @ 2017-05-08 11:19 Jonson Li 阅读(442) 评论(0) 推荐(0) 编辑
摘要: 本节所用命令的帮助入口: 上一篇文章中我们介绍了一些常用的移动命令,本篇将继续介绍更多的命令,使你在文档中自由穿梭。 [ 利用跳转表 ] 在vim中,很多命令可以引起跳转,vim会记住把跳转前光标的位置记录到跳转表中,并提供了一些命令来根据跳转表进行跳转。要知道哪些命令引起跳转,参见”:help j 阅读全文
posted @ 2017-05-08 11:16 Jonson Li 阅读(468) 评论(0) 推荐(0) 编辑
摘要: vi/vim使用进阶: 指随意动,移动如飞 (一) << 返回vim使用进阶: 目录 本节所用命令的帮助入口: :help usr_03.txt :help motion.txt :help usr_29.txt :help scroll.txt vim提供的移动方式多如牛毛,但我们并不需要掌握全部 阅读全文
posted @ 2017-05-08 11:15 Jonson Li 阅读(352) 评论(0) 推荐(0) 编辑
摘要: 目录: 第一部分:操作系统准备工作: 1. 安装部署CentOS7.3 1611 2. CentOS7软件安装(net-tools, wget, vim等) 3. 更新CentOS7的Yum源,更新软件速度更快 4. CentOS 用户配置,Sudo授权 第二部分:Java环境准备 1. JDK1. 阅读全文
posted @ 2017-05-07 23:48 Jonson Li 阅读(635) 评论(0) 推荐(0) 编辑
摘要: 本节内容 1.概览 1.1 Spark SQL 1.2 DatSets和DataFrame2.动手干活 2.1 契入点:SparkSession 2.2 创建DataFrames 2.3 非强类型结果集操作 2.4 程序化执行SQL查询 2.5 全局临时视图 2.6 创建DataSets 2.7 与 阅读全文
posted @ 2017-05-07 21:40 Jonson Li 阅读(777) 评论(0) 推荐(0) 编辑
摘要: 本节内容 1.Kafka基础概念 1.1 出世背景 1.2 基本原理 1.2.1.前置知识 1.2.2.架构和原理 1.2.3.基本概念 1.2.4.kafka特点 2.Kafka初体验 2.1 环境准备 2.2 Kafka小试牛刀 2.2.1单个broker初体验 2.2.2 多个broker初体 阅读全文
posted @ 2017-05-07 21:39 Jonson Li 阅读(308) 评论(0) 推荐(0) 编辑
摘要: 本节内容 1.遗留问题解答 2.Spark调优初体验 2.1 利用WebUI分析程序瓶颈 2.2 设置合适的资源 2.3 调整任务的并发度 2.4 修改存储格式 3.Spark调优经验 3.1 Spark原理及调优工具 3.2 运行环境优化 3.2.1 防止不必要的分发 3.2.2 提高数据本地性 阅读全文
posted @ 2017-05-07 21:37 Jonson Li 阅读(1557) 评论(1) 推荐(0) 编辑
摘要: 本节内容 1.遗留问题解答 2.Spark核心概念 2.1 RDD及RDD操作 2.2 Transformation和Action 2.3 Spark程序架构 2.4 Spark on Yarn运行流程 2.5 WordCount执行原理 3.Spark计算引擎原理 3.1 Spark内部原理 3. 阅读全文
posted @ 2017-05-07 21:36 Jonson Li 阅读(603) 评论(0) 推荐(0) 编辑
摘要: 本节内容 1.遗留问题答疑 1.1 典型问题解答 1.2 知识点回顾 2.Spark编程基础 2.1 Spark开发四部曲 2.2 RDD典型实例 2.3 非RDD典型实例 3.问题解答 4.参考资料 每一次答疑阶段,我都会站在老师的角度去思考一下,如果是我,我应该怎么回答,每每如此,不禁吓出一身冷 阅读全文
posted @ 2017-05-07 21:34 Jonson Li 阅读(414) 评论(0) 推荐(0) 编辑
摘要: 本节内容 1.大数据基础 1.1大数据平台基本框架 1.2学习大数据的基础 1.3学习Spark的Hadoop基础 2.Hadoop生态基本介绍 2.1Hadoop生态组件介绍 2.2Hadoop计算框架介绍 3.Spark概述 3.1 Spark出现的技术背景 3.2 Spark核心概念介绍 4. 阅读全文
posted @ 2017-05-07 21:32 Jonson Li 阅读(565) 评论(0) 推荐(0) 编辑