随笔分类 -  02深入浅出

中文分词技术
摘要：中文分词技术(Chinese Word Segmentation) 指将一个汉字序列切分成一个个单独的词。分词就是将连续的字序列按照一定的规则重新组合成词序列的过程 目前中文分词算法有以下5类： 基于词典的方法 基于统计的方法 基于规则的方法 基于人工智能技术的方法 基于字标注的方法 在业务中，可以 阅读全文
posted @ 2020-09-18 17:15 张q 阅读(1398) 评论(0) 推荐(2)
布隆过滤器(Bloom Filter)详解
摘要：布隆过滤器［1］（Bloom Filter）是由布隆（Burton Howard Bloom）在1970年提出的。它实际上是由一个很长的二进制向量和一系列随机映射函数组成，布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率（假正例 阅读全文
posted @ 2020-09-07 11:17 张q 阅读(1113) 评论(0) 推荐(0)
真正理解Mysql的四种隔离级别
摘要：事务简单来说就是业务中多个操作提交后，要嘛全部成功，要嘛全部失败，不会出现部分成功部分失败的场景。 事务具有四个特征（ACID）：原子性（ Atomicity ）、一致性（ Consistency ）、隔离性（ Isolation ）和持续性（ Durability ）。 原子性：事务是数据库的逻辑 阅读全文
posted @ 2020-09-06 14:44 张q 阅读(600) 评论(0) 推荐(0)
从内核文件系统看文件读写过程
摘要：系统调用 操作系统的主要功能是为管理硬件资源和为应用程序开发人员提供良好的环境，但是计算机系统的各种硬件资源是有限的，因此为了保证每一个进程都能安全的执行。处理器设有两种模式：“用户模式”与“内核模式”。一些容易发生安全问题的操作都被限制在只有内核模式下才可以执行，例如I/O操作，修改基址寄存器内容 阅读全文
posted @ 2020-09-03 11:44 张q 阅读(498) 评论(1) 推荐(1)
如何评价腾讯开源的消息中间件TubeMQ？
摘要：周五晚上无聊，粗粗撸了一遍代码+性能测试文档，随便扯扯吧。主要分为亮点、槽点、瓶颈分析三块，理解有问题的话欢迎大家指出来。 亮点 结构相对清晰，流程简单一目了然 每个分区一个逻辑存储的设计，在一定程度上增大了写盘之前处理的并发数（这点会在瓶颈分析部分） 自建缓存的设计使得写盘相对可控，不会污染pag 阅读全文
posted @ 2020-09-02 11:11 张q 阅读(487) 评论(0) 推荐(0)
零拷贝（Zero-copy）及其应用详解
摘要：传统的数据传输方法 在互联网时代，从某台机器将一份数据（比如一个文件）通过网络传输到另外一台机器，是再平常不过的事情了。如果按照一般的思路，用Java语言来描述发送端的逻辑，大致如下： Socket socket = new Socket(HOST, PORT); InputStream input 阅读全文
posted @ 2020-09-01 11:15 张q 阅读(1068) 评论(0) 推荐(0)
深入了解RabbitMQ
摘要：存储机制 RabbitMQ消息有两种类型：持久化消息和非持久化消息。 这两种消息都会被写入磁盘。 持久化消息在到达队列时写入磁盘，同时会内存中保存一份备份，当内存吃紧时，消息从内存中清除。这会提高一定的性能。 非持久化消息一般只存于内存中，当内存吃紧时会被换入磁盘，以节省内存空间。 RabbitMQ 阅读全文
posted @ 2020-06-20 23:20 张q 阅读(1359) 评论(1) 推荐(1)
nginx通过upstream实现负载均衡
摘要：随着业务和用户不断增加，单台服务器无法满足业务需求，产生服务器集群的场景。为了能充分利用服务器集群，最理想的方式就是整个集群的利用率都很平均且稳定在理想值范围内。 负载均衡（Load Balance）就是为了满足能够均衡的利用整个服务器集群从而产生的一种算法 ，常见的实现策略有：随机、轮询、哈希、一 阅读全文
posted @ 2018-12-26 16:18 张q 阅读(1575) 评论(0) 推荐(0)
nginx的docker化部署
摘要：nginx的docker化有一个隐藏的坑，就是其默认的配置目录（/etc/nginx）需要先从容器中拷贝出来。 拉取镜像 docker pull nginx 启动容器 docker run -d --name nginx nginx 把配置目录拷贝出来 docker cp nginx:/etc/ng 阅读全文
posted @ 2018-12-25 17:52 张q 阅读(954) 评论(0) 推荐(0)
redis的主从配置
摘要：redis的主备配置比较简单，只需要在配置上新增slaveof属性即可，如果主节点需要密码验证，则在加上masterauth属性。 测试安装一个备用redis，备份前一章的节点redis的docker化安装。 首先是把配置文件增加对应属性： slaveof ip 6379 masterauth pa 阅读全文
posted @ 2018-12-25 17:24 张q 阅读(295) 评论(0) 推荐(0)
redis的docker化安装
摘要：只需要关注几点： 端口映射 配置文件映射 持久化映射 要做的就是拉取官方镜像并把关注的几个点处理一下就好了： docker pull redis docker run -d -p 6379:6379 -v /data/redis/redis.conf:/etc/redis/redis.conf -v 阅读全文
posted @ 2018-12-25 17:00 张q 阅读(247) 评论(0) 推荐(0)
mongodb数据的导出和导入
摘要：mongo导出表说明： 几个常见的说明： 举个栗子： mongo导出库说明： 举个栗子： mongo导入库说明： 举个栗子： 阅读全文
posted @ 2018-12-25 16:33 张q 阅读(8832) 评论(0) 推荐(0)
mongodb副本集的docker化安装
摘要：1. 定义 一般只要生产环境就需要考虑冗余设计，保证在某一台服务器由于某种原因宕机后服务还可以正常运行。 mongo副本集是一组服务器，其中有一个主服务器（primary）,用于处理客户端请求；还有多个备份服务器（secondary），用于保存主服务器的数据副本。如果主服务器崩溃了，备份服务器就会自 阅读全文
posted @ 2018-12-24 17:23 张q 阅读(644) 评论(0) 推荐(0)
mongodb的windows系统下安装
摘要：先下载安装包，地址有下面两个，按需选择吧。 安装都很简单，一直下一步直到结束，我们现在讨论的是如何启动mongo。 打开命令行，切换到mongo安装目录（快捷操作是打开mongo安装目录，按住shift+右键），在命令行中输入：mongod： 可以看到存储引擎不对，并且提供了eg，用--storag 阅读全文
posted @ 2018-10-16 15:58 张q 阅读(150) 评论(0) 推荐(0)
mongodb的docker化安装
摘要：查询mongo镜像 拉取镜像（拉取STARS最多的那个就可以了） 使用自定义配置文件启动mongo 使用环境变量配置初始化账号密码 数据持久化 数据导出 更多请访问这里 阅读全文
posted @ 2018-09-26 16:49 张q 阅读(1605) 评论(0) 推荐(0)
kafka 的 createDirectStream
摘要：kafka api中给出2类直接获取流的接口：createStream和createDirectStream。 createStream比较简单，只需topic、groupid、zookeeper就可以直接获取流，brokers和offset都是黑盒无需进行控制，但在项目中往往不受控。以下是部分源码 阅读全文
posted @ 2017-10-25 15:14 张q 阅读(1033) 评论(0) 推荐(0)