随笔分类 - 网络
网络知识本
摘要：1.调用alarm，在调用超过指定时间时产生SIGALARM信号，这涉及到信号处理，而且可能和进程中其他的alarm冲突 2.使用select阻塞在等待I/O上，select内部有时间限制，一次代替在read和write上阻塞超时 3.使用新的SO_RCVTIMEO和SO_SNDTIMEO套接字选项
阅读全文
摘要：设置和影响套接口选项的方法有 1.getsockopt和setsockopt 2.fcntl 3.ioctl getsockopt和setsockopt 这两个方法仅适用于套接字 有两种基本类型的套接口选项：打开或关闭某个特性的二进制标志，取得并返回我们可以设置或检验的特定值的选项，标有标志的列指明
阅读全文
摘要：典型应用于以下场合 1.处理多个描述字时，比如同时处理套接字和磁盘IO、终端IO 2.一个客户同时处理多个套接字 3.服务器既要处理监听套接字，又要处理已连接套接字 4.既要处理TCP、也要处理UDP 5.一个服务器要处理多个服务和协议 I/O多路复用不局限于网络编程，也可以用于其他程序。 UNIX
阅读全文
摘要：网络编程不只是编写网络、主机、进程都正常时能良好工作的进程，更重要的是客户主机崩溃、客户进程崩溃网络异常时怎么处理。 accept被信号中断 accept以及套接字上的I/O可能被信号打断，并返回EINTR作为结果，必须处理该返回值并且适当时候再次调用。 for(;;) { if(connfd =
阅读全文
摘要：PDU 协议数据单元，有隐藏size上限，如果应用程序的包超过指定上限会被划分为多个PDU发送 TCP不提供记录结束标记，需要应用程序自己提供，比如http的\r\n 编写TCP协议需要注意IPV4和IPV6的兼容性，可以在应用程序中实现协议无关性。 getaddrinfo getaddrinfo
阅读全文
摘要：概要 redis的每个server实例都维护着一个保存服务器状态的redisServer结构 struct redisServer { /* Pubsub */ // 字典，键为频道，值为链表 // 链表中保存了所有订阅某个频道的客户端 // 新客户端总是被添加到链表的表尾 dict *pubsub
阅读全文
摘要：前言 C10K problem提出了一个问题，如果1w个客户端连接到server上，间歇性的发送消息，有哪些好的方案？ 其中的一种方案是，每个线程处理多个客户端，使用异步I/O和就绪通知机制，redis无疑是一个很好的榜样 redis的特点和C10K proble的契合点 内存数据库； 单线程支持上
阅读全文
摘要：引言 C10K problem提到一种zero-copy的技术，可以提高网络的吞吐量，分布式消息队列kafka中在消费者消费消息的时候根据offset进行zero-copy。linux下的zero-copy通过sendfile API实现。 什么是zero-copy zero-copy在概念上是值操
阅读全文
摘要：什么是C10K问题 I/O策略 软件架构 1.单线程解决多重I/O调用 不要使用阻塞/同步的调用，如果非要这么做，那就采用多进程或者多线程来并发处理。 使用非阻塞的调用和就绪通知策略，当下一个I/O可用时通知调用者。适用于套接字I/O，而不是磁盘I/O. 使用异步的调用和通知策略，当下一个I/O可用
阅读全文
摘要：reactor介绍 reactor的工作模式就像它的名字一样，是一种反射模式，当事件发生时，根据发生的事件调用注册的处理器。 Reactor的优点和应用 Reactor最常用于非阻塞的socket 传统的设计是一种同步的停等协议，读写操作执行后要等待当前fd的下一次可读/写事件，这期间什么都不能干，
阅读全文
摘要：libev是一个开源库，实现了一个reactor模式事件驱动任务调度库。代码非常精简，包含所有实现的.c文件只有不到5000行。 支持的事件类型： ev_io ev_timer ev_periodic ev_signal ev_child ev_stat ev_idle ev_prepare and
阅读全文
摘要：通过多路复用构建高性能服务器是一种常见的模型，单个I/O多路复用线程+一组工作线程，I/O线程负责协调分配任务，而实际工作交给工作线程处理。这种模型的好处在于高效并发和充分利用多线程的处理能力。 以memcached的构架图为例 memcached的主线程用epoll监听到EPOLLIN事件，并且触
阅读全文
摘要：做项目过程接触到disque，记录一下。 disque是redis之父开源的基于内存的分布式作业队列，用c语言实现的非阻塞网络服务器。 disque的设计目标：Its goal is to capture the essence of the "Redis as a jobs queue" use
阅读全文
摘要：zeromq是什么？ zeromq是一套专注于消息通信的网络库，把它称作消息队列其实不恰当，zeromq的竞争对手也不是kafka、rocketmq、memchedmq这些消息队列。 zeromq不是什么？ zeromq不是对socket的封装，可以认为zeromq在应用层和传输层之间又构建了一层。
阅读全文
摘要：许多异步操作需要申请一个对象来保存操作状态，比如，win32需要OVERLAPPED导出的对象来传递给win32 API函数。此外，程序通常包括简单的可辨明的异步操作链，一个半双工协议(比如HTTP)为每一个client保存一个异步操作链(发送以后就是接收)，一个全双工的协议可能拥有两个并行执行的
阅读全文
摘要：许多广泛应用的网络协议是基于行的，这意味着许多协议元素通过"\r\n"来分割，比如HTTP、SMPT、FTP，为了更方便的实现基于行的协议，和其他基于分隔符的协议一样，Boost::Asio包括了read_until() 和async_read_until()。下面的例子阐述了async_read_
阅读全文
摘要：有的时候程序必须依赖第三方库来完成I/O操作，鉴于这种情况，Boost::Asio提供了一个null_buffers 类型可以同时完成读和写操作，null_buffers 直到执行I/O操作的对象就绪才返回。下面是一个执行非阻塞的读操作的例子ip::tcp::socket socket(my_io_
阅读全文
摘要：Boost::Asio中的许多I/O对象是流导向的，这意味着； @没有消息边界，在传输的数据是一个连续的字节序列 @读或者写传输的字节可能比请求更小，这就是被称作简短的读或者写 提供流定向模型的对象一个或者多个下列类型的必要条件：SyncReadStream，使用成员函数read_some()执行同
阅读全文
摘要：从根本上讲，I/O包含了数据从源到目的地的连续内存的传输，这叫做缓存，这些缓存可以简单的描述为包含了一个指针和一组字节数据的元组，然而，为了支持高效网络应用程序的开发，Boost::Asio支持分散-聚合操作，这些操作同时支持一个或多个缓存。分散读 接收数据并写入多重缓存中。分散写 传输数据给多个缓
阅读全文
摘要：一个串被定义为序列的调用事件句柄(非并行调用)，使用串允许在多线程环境中执行代码而不使用显示的互斥锁。串可以是隐式的或者显式的，如下方的可替代方法所示：仅在一个线程中调用io_service::run()意味着使用隐式的串执行所有的事件句柄，因为io_service确保了句柄只被run()内部调用。
阅读全文
浙公网安备 33010602011771号