03 2019 档案

HDFS
摘要：数据块多份复制储存的示意： 对于/users/sameerp/data/part-0,r:2,{1,3},…… 复制备份数2，存储的blockID为1和3 block1 的两个备份存储在DataNode0和DataNode2；block3的两个备份储存在DataNode4和DataNode6两个服务 阅读全文
posted @ 2019-03-29 20:45 举个栗子^-^ 阅读(158) 评论(0) 推荐(0)
从RAID看垂直伸缩到水平伸缩的演化
摘要：磁盘的读写过程，最消耗时间的地方就是在磁盘中磁道寻址的过程，而一旦寻址完成，写入数据的速度很快。 连续写入：写入只寻址一次 存储位置与逻辑位置相邻 不用多次寻址随机写入：每写一次 便寻址一次 增加了磁盘的寻址时间 为什么很多数据库索引采用b+树，而不是完全二叉树？因为b+树的节点包含多个信息，可以连 阅读全文
posted @ 2019-03-29 14:59 举个栗子^-^ 阅读(310) 评论(0) 推荐(0)
移动计算比移动数据更划算
摘要：杀毒软件从服务器更新病毒库，然后在 Windows 内查杀病毒，也是一种移动计算（病毒库）比移动数据（Windows 可能感染病毒的程序）更划算的例子。 大数据的分布式都是有状态的，这个无状态是网站架构里的无状态应用：：无状态服务的主要好处是服务间无需同步状态或者数据，便于扩缩容。 阅读全文
posted @ 2019-03-28 20:20 举个栗子^-^ 阅读(527) 评论(0) 推荐(0)
大数据应用领域
摘要：收集数据--分析，计算--建立模型--预测判断 阅读全文
posted @ 2019-03-27 19:55 举个栗子^-^ 阅读(196) 评论(0) 推荐(0)
大数据应用发展史
摘要：想飞就飞： 未来的软件开发不再是需求-分析-设计-实现的确定性过程，而是定义问题和目标，收集数据，提供数据，再由神经网络不断探索最优解的非确定性过程。 阅读全文
posted @ 2019-03-27 11:57 举个栗子^-^ 阅读(261) 评论(0) 推荐(0)
从0开始学大数据
摘要：数据平台： 江： 1.论文奠定技术发展基石；2.业务催生技术不断突破；3.效率倒逼技术迭代更新； 阅读全文
posted @ 2019-03-27 11:20 举个栗子^-^ 阅读(179) 评论(0) 推荐(0)
开篇词 | 为什么说每个软件工程师都应该懂大数据技术？
摘要： 阅读全文
posted @ 2019-03-26 20:13 举个栗子^-^ 阅读(188) 评论(0) 推荐(0)
linux命令之ll按时间和大小排序显示
摘要：按大小排序 按时间排序 阅读全文
posted @ 2019-03-26 14:46 举个栗子^-^ 阅读(23739) 评论(0) 推荐(2)
linux命令之env和export
摘要：1.查看环境变量： 2.常用环境变量： 3.变量种类： 4.设置变量的三种方法： export 说明在shell中执行程序时，shell会提供一组环境变量。export可新增，修改或删除环境变量，供后续执行的程序使用。export的效力仅及于该此登陆操作。 参数： -f 代表[变量名称]中为函数名称 阅读全文
posted @ 2019-03-25 12:02 举个栗子^-^ 阅读(5032) 评论(0) 推荐(0)
linux文件重命名
摘要：rename 命令用字符串替换的方式批量改变文件名。 语法 rename(参数) 参数 原字符串：将文件名需要替换的字符串； 目标字符串：将文件名中含有的原字符替换成目标字符串； 文件：指定要改变文件名的文件列表。 实例 将main1.c重命名为main.c rename main1.c main. 阅读全文
posted @ 2019-03-12 18:05 举个栗子^-^ 阅读(22994) 评论(0) 推荐(0)
linux端口netstat
摘要：netstat -aptn命令行，查看所有开启的端口号 netstat -nupl 查看所有udp端口号 netstat -ntpl 查看所有tcp端口号 查看某服务占用的端口情况，比如：Nginx [root@hserver1 ~]# netstat -ntulp | grep nginx tcp 阅读全文
posted @ 2019-03-11 14:39 举个栗子^-^ 阅读(792) 评论(0) 推荐(0)
Linux下去掉^M的方法
摘要：昨天在登陆云服务器时候报错。 -bash: $'\r': command not found -bash: $'\r': command not found -bash: $'\r': command not found -bash: /etc/profile: line 11: syntax er 阅读全文
posted @ 2019-03-09 15:54 举个栗子^-^ 阅读(2449) 评论(0) 推荐(0)
使用tomcat作为容器安装Jenkins
摘要：安装前准备环境：jdk，maven，tomcat jdk 参考centos安装jdk：https://www.cnblogs.com/pipiyan/p/10491876.html maven 已有安装包，直接解压 链接：https://pan.baidu.com/s/11Bvzj0NAJGdJ-a 阅读全文
posted @ 2019-03-07 20:15 举个栗子^-^ 阅读(475) 评论(0) 推荐(0)
centos安装jdk
摘要：1.7版本 1.下载 首先到官网下载jdk，http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html，我下载jdk-7u45-linux-x64.tar.gz 2、解压源码包 在/usr/l 阅读全文
posted @ 2019-03-07 19:55 举个栗子^-^ 阅读(166) 评论(0) 推荐(0)
Linux关闭防火墙命令
摘要：问题:老是关闭防火墙太麻烦，所以选择彻底关闭防火墙，发现每次都记不住命令! 下面是red hat/CentOs7关闭防火墙的命令! 1:查看防火状态 systemctl status firewalld service iptables status 2:暂时关闭防火墙 systemctl stop 阅读全文
posted @ 2019-03-07 18:38 举个栗子^-^ 阅读(901) 评论(0) 推荐(0)
python矩阵相加
摘要：举个栗子： 阅读全文
posted @ 2019-03-06 20:09 举个栗子^-^ 阅读(5816) 评论(0) 推荐(0)
python列表逆序三种方法
摘要：栗子： # 题目：将一个数组逆序输出。 # # 程序分析：用第一个与最后一个交换。 import random list =[random.randint(0,100) for _ in range(21)] print(list) #数应该先排序 def bubbleSort(arr): for i in range(1, len(arr)): for j in ran... 阅读全文
posted @ 2019-03-05 17:55 举个栗子^-^ 阅读(14782) 评论(0) 推荐(1)
python之random
摘要：栗子： random 每次只能随机生成一个数，要是和上述一样生成一个列表;使用列表生成式； random 随机数生成 Python中的random模块用于生成随机数。下面介绍一下random模块中最常用的几个函数。 random.random random.random() 用于生成一个0到1的随机 阅读全文
posted @ 2019-03-05 16:45 举个栗子^-^ 阅读(418) 评论(0) 推荐(0)
linux命令之sed
摘要：sed是stream editor(流式编辑器)的缩写，它可以对文本流、指定文件集或标准输入进行文本编辑。功能非常强大。 1. sed两大原则 sed命令总是以单个字母开头。比如 上例中s是替换命令，s后面是分割符号，啥都行（一般用‘/’），比如上例子与下面命令等价： sed多数命令允许在前面加个地 阅读全文
posted @ 2019-03-04 17:37 举个栗子^-^ 阅读(470) 评论(0) 推荐(0)
linux命令之scp
摘要：1．命令格式： scp [参数] [原路径] [目标路径] 常用命令 ：scp -r /home/* root@172.16.2.222:/home/ 2．命令参数： 3.举个栗子： 两台机器IP分别为：A.104.238.161.75，B.43.224.34.73。 在A服务器上操作，将B服务器上 阅读全文
posted @ 2019-03-04 17:10 举个栗子^-^ 阅读(1387) 评论(0) 推荐(0)
linux命令之上传文件和下载文件
摘要：lrzsz-0.12.20.tar.gz是一款linux下命令行界面上支持上传和下载的第三方工具，能够起到很方便的作用。 检查是否安装 1、首先，查看虚拟机中，有没有安装rz。输入rz，回车，提示：未找到命令，证明rz没有安装，则按照步骤2、3进行安装。 安装： 1.官网下载： 官网下载地址：htt 阅读全文
posted @ 2019-03-04 16:02 举个栗子^-^ 阅读(130469) 评论(0) 推荐(3)
tar，jar和war都是什么
摘要：jar 即Java Archive，java的类进行编译生成的class文件,通常是开发时要引用通用类，打成包便于存放管理。 但如果直接发布这些class文件的话会很不方便，所以就把许多的class文件打包成一个jar，jar中除了class文件还可以包括一些资源和配置文件，通常一个jar包就是一个 阅读全文
posted @ 2019-03-04 15:36 举个栗子^-^ 阅读(880) 评论(1) 推荐(0)
linux命令之tar
摘要：tar 这五个是独立的命令，压缩解压都要用到其中一个，可以和别的命令连用但只能用其中一个。下面的参数是根据需要在压缩或解压档案时可选的。 下面的参数是根据需要在压缩或解压档案时可选的。 举个栗子 ：一些关于-f 和 c,r,u,t,x 的故事 压缩 解压 总结 博文推荐：https://www.jb 阅读全文
posted @ 2019-03-02 18:38 举个栗子^-^ 阅读(279) 评论(0) 推荐(0)
excel 恢复忘记保存的文档
摘要：如果在做Excel的过程遇见突发情况忘记保存文件，那么不要担心，你再次打开这个文件时会有提示，你只需要点击恢复文件即可。 假设因为某些原因，你不小心点了关闭，或者你不知道那个关闭按钮是什么意思，所以就随手点了它，没关系，还有补救的方法。 假设因为某些原因，你不小心点了关闭，或者你不知道那个关闭按钮是 阅读全文
posted @ 2019-03-02 18:11 举个栗子^-^ 阅读(847) 评论(0) 推荐(0)
linux常用命令
摘要： 阅读全文
posted @ 2019-03-02 18:01 举个栗子^-^ 阅读(245) 评论(0) 推荐(0)
centos7及以上安装git服务
摘要：检查git是否安装或者是版本 whereis git等命令来检查是否已经安装了git版本的 git --version检测到我的环境自带的git版本 已安装但不是想要的版本需要卸载 yum remove git卸载git 查看yum源中版本是否是需要安装的版本： yum info git命令查看yu 阅读全文
posted @ 2019-03-01 12:53 举个栗子^-^ 阅读(256) 评论(0) 推荐(0)
excel常用函数之find，left，right，mid，len
摘要：mid =MID(A2,FIND("时间",A2)+2,10) 第一个 ： 提取对象 第二个： 开始位置 第三个： 提取多少 find =FIND（“时间”，A2，1） 第一个： 查找目标 第二个： 查找范围 第三个： 省略表示从第一个字符开始查找；+2表示再往后数2个字符开始取 left =LEF 阅读全文
posted @ 2019-03-01 10:05 举个栗子^-^ 阅读(5499) 评论(0) 推荐(0)