摘要: 0. 基本情况 Redis采用集群模式,560个主节点,主从比为1:1,单台机器上为16个节点。info memory观察到主节点A单个Redis内存used_memory_rss_human为9.2G(设置的maxmemory_human为6G)超过最大值设置。 1.查看客户端连接情况 [root 阅读全文
posted @ 2018-10-09 19:20 iByte 阅读(3406) 评论(0) 推荐(0) 编辑
摘要: RedHat对进程打开文件句柄数主要通过设置全局值和登陆用户分别管理。其中/proc/sys/fs下设置全局最大文件句柄数和用户进程能打开的最大文件句柄数,这两个参数一般情况下不需要修改。 对于普通用户或者进程通过/etc/security/limits.conf和/etc/security/lim 阅读全文
posted @ 2018-10-09 19:18 iByte 阅读(3447) 评论(0) 推荐(0) 编辑
摘要: .文件合并 目录下有成千上万的小文件,需合并成大文件,直接cat 返回参数列表过长 ls |xargs -t -I{} cat {} >> merge.txt 2.从文本中截取行特定内容 以“,”分隔,第二个field的内容 3.统计文件中单词出现个数 4.文件求交 5.文件求并 6.文件求差集(A 阅读全文
posted @ 2017-11-01 15:29 iByte 阅读(847) 评论(0) 推荐(0) 编辑
摘要: 流处理 1.1简介 流处理是针对流式数据的实时计算。它具有实时持续、来源众多、不关注存储等特点。典型的应用场景有互联网业务的日志数据处理、金融领域的银行股票数据处理等。 1.2 处理流程 传统数据处理流程是用户发起查询请求,请求被翻译成数据库查询语句,最终通过数据户将查询结果返回给用户。此时用户是主 阅读全文
posted @ 2017-05-31 10:47 iByte 阅读(908) 评论(0) 推荐(0) 编辑
摘要: 根域名服务器 简介 根域名服务器(英语:root name server)是互联网域名解析系统(DNS)中最高级别的域名服务器,负责返回顶级域名的权威域名服务器的地址。截至2014年10月,全球有504台根服务器,被编号为A到M共13个标号。 大部分借由任播(Anycast)技术,编号相同的根服务器 阅读全文
posted @ 2017-04-27 14:40 iByte 阅读(4968) 评论(0) 推荐(0) 编辑
摘要: 最近对计算机中并发(concurrency)和并行(parallesim)这两个词的区别很迷惑,将搜索到的相关内容整理如下。 http://www.vaikan.com/docs/Concurrency-is-not-Parallelism/#slide-7 定义: 并发 Concurrency 将 阅读全文
posted @ 2017-03-29 14:49 iByte 阅读(568) 评论(0) 推荐(0) 编辑
摘要: 在工程中用到使用Python调用C++编写的动态库,结果报如下错误: OSError: ./extract_str.so: undefined symbol: _ZNSt8ios_base4InitD1Ev Python调用函数 加载目录文件 报错: 执行nm命令 通过搜索知道ios_base4In 阅读全文
posted @ 2017-03-29 14:08 iByte 阅读(5782) 评论(0) 推荐(0) 编辑
摘要: 编译符号表导出示例: 使用GCC编译链接参数--version-script 控制动态符号表,如想 使用链接参数 --retain-symbols-file 控制静态符号表,--version-script 控制动态符号表,后面都是接含有导出符号的文件的名字。这两个参数在移植windows下的动态库 阅读全文
posted @ 2017-01-10 13:58 iByte 阅读(1129) 评论(0) 推荐(0) 编辑
摘要: 1.确定需求,理顺大概架构 2.方案模板 1.需求描述 2.已有案例解决方案 3.已有方案存在问题 4.需求分析(问题定义以及分类) 5.建议方案 5.1方案概述 5.2实现方式 5.2.1实现方式优缺点分析 5.3建议整体方案 5.4整体方案描述 阅读全文
posted @ 2016-12-29 14:50 iByte 阅读(560) 评论(0) 推荐(0) 编辑
摘要: 在计算机科学里,尾调用是指一个函数里的最后一个动作是一个函数调用的情形:即这个调用的返回值直接被当前函数返回的情形。这种情形下称该调用位置为尾位置。若这个函数在尾位置调用本身(或是一个尾调用本身的其他函数等等),则称这种情况为尾递归,是递归的一种特殊情形。尾调用不一定是递归调用,但是尾递归特别有用, 阅读全文
posted @ 2016-12-13 15:19 iByte 阅读(397) 评论(0) 推荐(0) 编辑