2018 年 2月随笔档案 - Michael_Tong唐唐

ubuntu16.04初始化配置

摘要：允许root登录启动网卡DHCP并配置DNS 注：如果是静态IP地址就做如下设置允许root登录更新阿里源如果不能update则执行安装轻量级桌面xfce[优先选择]apt-get install xubuntu-desktop 如果你只想安装必要的桌面管理软件而不想安装一些诸如 Evol 阅读全文

posted @ 2018-02-28 10:16 Michael_Tong唐唐阅读(2224) 评论(0) 推荐(0)

IO在block级别的过程分析

摘要：btt User Guide在百度找了3天没找到，bing也不行，结果google第一页第5个结果就是。可恶的GFW 参见： http://www.fis.unipr.it/doc/blktrace-1.0.1/blktrace.pdf https://allstar.jhuapl.edu/rep 阅读全文

posted @ 2018-02-26 02:43 Michael_Tong唐唐阅读(774) 评论(0) 推荐(1)

读Understanding the Linux Kernel, 3rd Edition有感

摘要：14.3.2.2. Avoiding request queue congestion Each request queue has a maximum number of allowed pending requests.By default, a queue has at most 128 pe 阅读全文

posted @ 2018-02-26 01:46 Michael_Tong唐唐阅读(670) 评论(0) 推荐(0)

dd命令的conv=fsync,oflag=sync/dsync

摘要：conv的参数有 1.sync Pad every input block to size of 'ibs' with trailing zero bytes. When used with 'block' or 'unblock', pad with spaces instead of zero 阅读全文

posted @ 2018-02-25 03:49 Michael_Tong唐唐阅读(6479) 评论(0) 推荐(3)

blktrace btt结果分析

摘要：对于btt的结果分析十分的困难，我和同事花了很多的时间在网上查找btt输出的每一项参数的意义，试图更好的分析bio的统计信息，但网上文章一大抄，翻来覆去就是那几篇文章。本文中内容参考了以下网址： 1.btt官方网址：http://git.kernel.dk/cgit/blktrace/tree/b 阅读全文

posted @ 2018-02-24 16:13 Michael_Tong唐唐阅读(2625) 评论(0) 推荐(0)

关于Ceph现状与未来的一些思考

摘要：http://blog.csdn.net/mightysheldor/article/details/51093476 Ceph从2004年提交了第一行代码，至今为止已经10年了。这个起源于Sage博士论文，最早致力于开发下一代高性能分布式文件系统的项目，现在也成为了开源社区众人皆知的明星项目。特别阅读全文

posted @ 2018-02-24 12:52 Michael_Tong唐唐阅读(409) 评论(0) 推荐(0)

samba性能调优

摘要：不知道有多少公司的内部打印及文件服务器是用的Linux，我想肯定不会太多，因为Windows实现起来更方便，更快速，当然，Windows也是更Danger。因为Windows有太多不确定性的东西，Virus，木马，等等。但Linux也不见得太安全，不过因为我对Linux非常熟了，而且在Wind 阅读全文

posted @ 2018-02-24 12:12 Michael_Tong唐唐阅读(10275) 评论(0) 推荐(0)

blktrace分析IO

摘要：http://bean-li.github.io/blktrace-to-report/ 前言上篇博客介绍了iostat的一些输出，这篇介绍blktrace这个神器。上一节介绍iostat的时候，我们心心念念希望得到块设备处理io的service time，而不是service time + wa 阅读全文

posted @ 2018-02-24 09:47 Michael_Tong唐唐阅读(1035) 评论(0) 推荐(0)

RAID5---块，条带，校验，旋转，同步/异

摘要：冗余(奇偶校验)块：RAID5中在同一个条带中用一个块来存放冗余信息，冗余信息示其他块的"异或"值，这样在同一条带中就只有(n-1)个块是实际的数据，所以RAID5中阵列容量是(n-1)块单盘容量。 RAID5相关知识：块：块是阵列中对单个磁盘存取的单位。比如块大小64K，那么系统把0－63K数据阅读全文

posted @ 2018-02-23 17:01 Michael_Tong唐唐阅读(1387) 评论(0) 推荐(0)

关于raid5的一系列问题

摘要：前几天我的一个同事在对计划采购的存储进行测试，期间聊到了raid5的话题,我和他的意见产生了分歧。他的说法是raid5不能挂太多盘是因为如果挂太多盘写惩罚会非常严重导致性能下降。而我的观点则是对于raid5来说，磁盘越多性能越好，不能挂太多盘是因为容错性下降的原因。首先，先明确raid5的写惩罚是阅读全文

posted @ 2018-02-23 16:34 Michael_Tong唐唐阅读(4624) 评论(2) 推荐(0)

在 Linux 下使用mdadm创建 RAID 5

摘要：在 RAID 5 中，数据条带化后存储在分布式奇偶校验的多个磁盘上。分布式奇偶校验的条带化意味着它将奇偶校验信息和条带化数据分布在多个磁盘上，这样会有很好的数据冗余。在 Linux 中配置 RAID 5 对于此 RAID 级别它至少应该有三个或更多个磁盘。RAID 5 通常被用于大规模生产环境中，阅读全文

posted @ 2018-02-23 15:34 Michael_Tong唐唐阅读(14033) 评论(0) 推荐(0)

Linux文件读写机制及优化方式

摘要：本文只讨论Linux下文件的读写机制，不涉及不同读取方式如read,fread,cin等的对比，这些读取方式本质上都是调用系统api read，只是做了不同封装。以下所有测试均使用open, read, write这一套系统api 缓存缓存是用来减少高速设备访问低速设备所需平均时间的组件，文件读写阅读全文

posted @ 2018-02-23 15:14 Michael_Tong唐唐阅读(326) 评论(0) 推荐(0)

VFS文件系统结构分析

摘要：VFS是Linux非常核心的一个概念，linux下的大部分操作都要用到VFS的相关功能。这里从使用者的角度，对VFS进行了简单说明。使用者不但需要知道Linux下有哪些文件操作的函数，还需要对VFS的结构有一个比较清晰的了解，才能更好的使用它。例如hard link 与symbolic，如果没有VF 阅读全文

posted @ 2018-02-23 15:13 Michael_Tong唐唐阅读(882) 评论(0) 推荐(0)

Linux内存管理大图（第三稿）

摘要：http://bbs.chinaunix.net/thread-2018659-2-1.html 描述讨论在http://bbs.chinaunix.net/thread-3760371-1-1.html 阅读全文

posted @ 2018-02-23 15:12 Michael_Tong唐唐阅读(327) 评论(0) 推荐(0)

linux开机启动详细流程图

摘要：linux开机启动详细流程图：一、BIOS 加电自检当你按电源开关开机时,电脑会首先去启动BIOS(基本输入输出系统),BIOS一般是集成在主板上的.BIOS 的工作1.检测连接硬件,比如显卡,内存,磁盘等等,检测的目的是以后把这些设备信息提供给操作系统2.寻找启动磁盘,每一种BIOS都会有开机启阅读全文

posted @ 2018-02-23 14:51 Michael_Tong唐唐阅读(1005) 评论(0) 推荐(0)

linux kernel map

摘要：http://www.makelinux.net/kernel_map/ 原网址的图片都带有链接，可以直接查看每一个模块。阅读全文

posted @ 2018-02-23 14:51 Michael_Tong唐唐阅读(1792) 评论(0) 推荐(0)

超全整理！Linux性能分析工具汇总合集

摘要：转自：http://rdc.hundsun.com/portal/article/731.html?ref=myread 出于对Linux操作系统的兴趣，以及对底层知识的强烈欲望，因此整理了这篇文章。本文也可以作为检验基础知识的指标，另外文章涵盖了一个系统的方方面面。如果没有完善的计算机系统知识，网阅读全文

posted @ 2018-02-23 14:14 Michael_Tong唐唐阅读(21900) 评论(1) 推荐(5)

现在的 Linux 内核和 Linux 2.6 的内核有多大区别？

摘要：作者：larmbr宇链接：https://www.zhihu.com/question/35484429/answer/62964898来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 2.6 时代跨度非常大，从2.6.0 (2003年12月发布[36]) 到 2.6. 阅读全文

posted @ 2018-02-23 11:31 Michael_Tong唐唐阅读(11189) 评论(0) 推荐(1)

架构设计：系统存储

posted @ 2018-02-22 16:28 Michael_Tong唐唐阅读(1714) 评论(0) 推荐(0)

图文并茂 RAID 技术全解 – RAID0、RAID1、RAID5、RAID100

摘要：RAID 技术相信大家都有接触过，尤其是服务器运维人员，RAID 概念很多，有时候会概念混淆。这篇文章为网络转载，写得相当不错，它对 RAID 技术的概念特征、基本原理、关键技术、各种等级和发展现状进行了全面的阐述，并为用户如何进行应用选择提供了基本原则，对于初学者应该有很大的帮助。一、RAID 阅读全文

posted @ 2018-02-22 11:30 Michael_Tong唐唐阅读(860) 评论(0) 推荐(0)

Linux文件系统选择

摘要：自己想做的，刘爱贵在2010年就做完了(⊙ω⊙) http://blog.csdn.net/liuaigui/article/details/5521024 通过综合使用多种标准文件系统Benchmarks对Ext3, Ext4, Reiserfs, XFS, JFS, Reiser4的性能测试对比阅读全文

posted @ 2018-02-22 11:19 Michael_Tong唐唐阅读(1653) 评论(0) 推荐(0)

根据inode编号来删除文件或目录

摘要：在Linux系统上，有时候会出现文件名为特殊字符的文件或目录，当我们使用rm来删除这样的文件或目录时，就会出错导致删不掉。但是我们可以依据inode号来删除这样的文件，方法如下：（1）执行ls -i获取文件的inode编号（2）执行find ./ -inum 10584218 -exec rm 阅读全文

posted @ 2018-02-22 11:02 Michael_Tong唐唐阅读(554) 评论(0) 推荐(0)

Linux文件系统性能优化

摘要：本文绝大部分是转载自CSDN刘爱贵专栏: http://blog.csdn.net/liuben/archive/2010/04/13/5482167.aspx另外根据参考文档增补了一部分内容。由于各种的I/O负载情形各异,Linux系统中文件系统的缺省配置一般来说都比较中庸,强调普遍适用性。然而在阅读全文

posted @ 2018-02-22 10:49 Michael_Tong唐唐阅读(2979) 评论(0) 推荐(0)

理解磁盘条带化

摘要：参考http://www.pcguide.com/ref/hdd/perf/raid/concepts/perfStripe-c.html 什么是条带化(striping) 当多个进程同时访问一个磁盘时，可能会出现磁盘冲突。大多数磁盘系统都对访问次数（每秒的 I/O 操作，IOPS）和数据传输率（每阅读全文

posted @ 2018-02-22 10:44 Michael_Tong唐唐阅读(3767) 评论(0) 推荐(0)

块存储，文件存储，对象存储的层次关系

摘要：应用的角度聊过了，我们再看看这三种存储的一些技术细节，首先看看在系统层级的分布。我们从底层往上看，最底层就是硬盘，多个硬盘可以做成RAID组，无论是单个硬盘还是RAID组，都可以做成PV，多个PV物理卷捏在一起构成VG卷组，这就做成一块大蛋糕了。接下来，可以从蛋糕上切下很多块LV逻辑卷，这就到了存阅读全文

posted @ 2018-02-21 02:16 Michael_Tong唐唐阅读(10714) 评论(0) 推荐(2)

Erasure Coding（纠删码）深入分析

摘要：http://blog.sina.com.cn/s/blog_57f61b490102viq9.html 1.前言 Swift升级到2.0大版本后宣称开始支持纠删码，这其实是一个很有意义的特性，主要是能够在一定程度上解决3副本空间浪费太多的问题。因为3副本这一点是swift推广的最大障碍之一，成本的阅读全文

posted @ 2018-02-21 01:33 Michael_Tong唐唐阅读(2439) 评论(0) 推荐(0)

Swift里的CAP理论和NWR策略应用

摘要：http://blog.sina.com.cn/s/blog_57f61b490101a8ca.html 最近有人讨论到swift副本数是否能够调整，3副本成本过高，如果改成2副本怎么样？多聊了几句以后发现不少人可能都是望文生义，简单的认为副本数只是多一个少一个Copy的问题，并不了解背后的理论依据阅读全文

posted @ 2018-02-21 01:31 Michael_Tong唐唐阅读(547) 评论(1) 推荐(0)

IO模式调查利器blkiomon介绍

摘要：本文链接地址: IO模式调查利器blkiomon介绍本文链接地址: IO模式调查利器blkiomon介绍 blkiomon 是blktrace工具包带的一个方便用户了解IO情况的工具, 由于blktrace太专业,需要了解的IO协议栈的东西太多,blkiomon给大多数的用户提供了一种易于使用的方阅读全文

posted @ 2018-02-21 00:41 Michael_Tong唐唐阅读(980) 评论(0) 推荐(0)

blktrace未公开选项网络保存截取数据

摘要：本文链接地址: blktrace未公开选项网络保存截取数据本文链接地址: blktrace未公开选项网络保存截取数据我们透过blktrace来观察io行为的时候，第一件事情需要选择目标设备，以便分析该设备的io行为。具体使用可以参考我之前写的几篇：这里这里这里 blktrace分为内核部分和阅读全文

posted @ 2018-02-21 00:39 Michael_Tong唐唐阅读(252) 评论(0) 推荐(0)

blktrace 深度了解linux系统的IO运作

摘要：http://blog.yufeng.info/archives/751 我们在Linux上总是要保存数据的，数据要么保存在文件系统里(如ext3)，要么就在裸设备里面。我们在使用这些数据的时候都是通过文件这个抽象来访问的，操作系统会把我们需要的数据给我们，我们通常无需和块设备打交道。从下图我们可阅读全文

posted @ 2018-02-20 04:06 Michael_Tong唐唐阅读(624) 评论(0) 推荐(0)

linux read 系统调用剖析

摘要：https://www.ibm.com/developerworks/cn/linux/l-cn-read/ MT注：原文图1与Understanding the Linux Kernel, 3rd Edition 14.1. Block Devices Handling的图片层次有差异，已经修改成阅读全文

posted @ 2018-02-20 02:03 Michael_Tong唐唐阅读(6389) 评论(0) 推荐(0)

IO流程及优化

摘要：http://blog.csdn.net/xypzwl/article/details/51416883 一、存储设备的存储原理机械硬盘：机械硬盘使用磁性物质作为存储介质，用N、S极性来代表0或1；以无磁性的盘片作为基片（一般材质为铝合金或者玻璃），磁性物质在盘片上以同心圆的方式排列，这些同心阅读全文

posted @ 2018-02-20 01:09 Michael_Tong唐唐阅读(1699) 评论(0) 推荐(0)

分布式存储比较

摘要：http://blog.csdn.net/sundehui01/article/details/79268943 一、概述普通存储方案：Rsync、DAS(IDE/SATA/SAS/SCSI等块)、NAS(NFS、CIFS、SAMBA等文件系统)、SAN(FibreChannel, iSCSI, 阅读全文

posted @ 2018-02-20 00:49 Michael_Tong唐唐阅读(9311) 评论(0) 推荐(1)

BTree,B-Tree,B+Tree,B*Tree的数据结构

摘要：B树即二叉搜索树： 1.所有非叶子结点至多拥有两个儿子（Left和Right）； 2.所有结点存储一个关键字； 3.非叶子结点的左指针指向小于其关键字的子树，右指针指向大于其关键字的子树；如： B树的搜索，从根结点开始，如果查询的关键字与结点的关键字相等，那么就命中；否则，如果查询关键字比结点关阅读全文

posted @ 2018-02-14 03:18 Michael_Tong唐唐阅读(2810) 评论(0) 推荐(0)

Spectrum Scale

摘要：高端存储：2016年为止，最新产品为DS8884、DS8886和DS8888。闪存系统：2016年为止，最新产品，以FlashSystem 900为硬件基础，包装了FlashSystem V9000、A9000和A9000R Ø Spectrum Scale是一款软件定义存储产品，完全继承GPFS 阅读全文

posted @ 2018-02-14 03:09 Michael_Tong唐唐阅读(980) 评论(0) 推荐(0)

unixbench测试

摘要：今天获得消息，公司测试*光的国产CPU（应该是基于AMD）跑分高出intel 2650 v3的1.63倍，哈哈~~~自己测试下我的vbox中centos6.5的得分。（centos6.5）命令如下： yum install gcc gcc-c++ make libXext-develyum ins 阅读全文

posted @ 2018-02-13 16:54 Michael_Tong唐唐阅读(257) 评论(0) 推荐(0)

网络文件系统与 Linux

摘要：网络文件系统是文件系统之上的一个网络抽象，来允许远程客户端以与本地文件系统类似的方式，来通过网络进行访问。虽然 NFS 不是第一个此类系统，但是它已经发展并演变成 UNIX® 系统中最强大最广泛使用的网络文件系统。NFS 允许在多个用户之间共享公共文件系统，并提供数据集中的优势，来最小化所需的存储阅读全文

posted @ 2018-02-12 17:15 Michael_Tong唐唐阅读(519) 评论(0) 推荐(0)

Linux 下的两种分层存储方案

摘要：背景介绍随着固态存储技术 (SSD)，SAS 技术的不断进步和普及，存储介质的种类更加多样，采用不同存储介质和接口的存储设备的性能出现了很大差异。SSD 相较于传统的机械硬盘，由于没有磁盘的机械转动，寻址速度大大提高，尤其在随机读写较多的应用环境下，性能会大大提升，但这些高性能存储设备的单位存储价阅读全文

posted @ 2018-02-12 15:20 Michael_Tong唐唐阅读(686) 评论(0) 推荐(0)

存储快照实现原理

摘要：存储快照有两种实现方式：COW(写时复制Copy-On-Write)、ROW(写重定向Redirect-On-Write)，两种实现方法有区别，造成读写性能、应用场景有比较大的区别。COW：原理见下图(从网上找的，没自己画)。1)原卷数据是A~G。此卷Metedata像指针一样指向这些数据。2)当阅读全文

posted @ 2018-02-12 13:02 Michael_Tong唐唐阅读(3460) 评论(0) 推荐(0)

linux 下各个4K区块文件大小测试速度对比机械硬盘性能 64K性价比收益最高

摘要：机械硬盘，每个区块取三次数最小值为准，带2G RAM缓存卡4K3.4 MB/秒8K7.3 MB/秒16K9.5 MB/秒32K16.7 MB/秒64K44.2 MB/秒128K67.1 MB/秒256K100 MB/秒512K139 MB/秒1M158 MB/秒2M181 MB/秒4M183 MB/ 阅读全文

posted @ 2018-02-12 09:57 Michael_Tong唐唐阅读(2406) 评论(0) 推荐(0)

KVM虚拟机网络闪断分析

摘要：https://www.cnblogs.com/Bozh/p/5484838.html 背景公司云平台的机器时常会发生网络闪断，通常在10s-100s之间。异常情况 VM出现问题时，表现出来的情况是外部监控系统无法访问，猜测可能是由于系统假死，OVS链路问题等等。但是在出现网络问题的时候，HV统阅读全文

posted @ 2018-02-12 09:12 Michael_Tong唐唐阅读(2194) 评论(0) 推荐(0)

GSO/TSO/GRO等对VirtIO虚机的网络性能影响分析(by quqi99)

posted @ 2018-02-11 15:53 Michael_Tong唐唐阅读(1584) 评论(0) 推荐(0)

网络虚拟化中的 offload 技术：LSO/LRO、GSO/GRO、TSO/UFO、RSS、VXLAN

摘要：offload offload特性，主要是指将本来在操作系统协议栈中进行的一些数据包处理（如IP分片、TCP分片、重组、checksum校验等）放到网卡硬件中去做，降低系统 CPU 消耗，提高处理的性能。我们知道计算机网络上传输的数据基本单位是离散的网包，既然是网包，就有大小限制，这个限制就是 M 阅读全文

posted @ 2018-02-11 15:50 Michael_Tong唐唐阅读(4135) 评论(0) 推荐(0)

bash下. : () {} [] [[]] (())的解释

摘要：bash下有很多像{}、[]等一些符号命令，下面是我对一些常用的符号命令的学习笔记，若有错误或纰漏望各位兄弟指正。一、.(source).（点）与source命令一样，从文件中读取并执行命令，无论该文件是否都有可执行权限都能够正确的执行。且是在当前shell下执行，而不是产生一个子shell来执行（阅读全文

posted @ 2018-02-09 09:58 Michael_Tong唐唐阅读(435) 评论(0) 推荐(0)