Linux 网络程序设计
一、TCP/IP理论基础
1、协议栈、协议介绍、网络模型、数据封装
- Linux的优点之一就是在于它丰富而稳定的网络协议栈,其范围是从协议无关层(如通用的socket层接口和设备层)到各种网络协议的实现;
- 对于网络理论介绍一般采用OSI模型,但是Linux中网络栈的介绍一般分为四层的Internet模型
- 网络模型
- 数据封装
2、TCP/IP协议族
TCP/IP 实际上一个协同工作的通信家族,为网络数据通信提供通路。为讨论方便可TCP/IP 协议组大体上分为三部分:
- Internet 协议(IP)
- 传输控制协议(TCP)和用户数据报协议(UDP)
- 处于 TCP 和 UDP 之上的一组应用协议。它们包括:TELNET,文件传送协议(FTP),域名服务(DNS)和简单的邮件传送程序(SMTP)等
(1)网络层
第一部分称为网络层。主要包括Internet 协议(IP)、网际控制报文协议(ICMP)和地址解析协议(ARP)、Internet 协议(IP)
该协议被设计成互联分组交换通信网,以形成一个网际通信环境。它负责在源主机和目的地主机之间传输来自其较高层软件的称为数据报文的数据块,它在源和目的地之间提供非连接型传递服务
- 网际控制报文协议(ICMP)
- 它实际上不是IP层部分,但直接同IP层一起工作,报告网络上的某些出错情况。允许网际路由器传输差错信息或测试报文。
- 地址解析协议(ARP)
- ARP 实际上不是网络层部分,它处于IP和数据链路层之间,它是在32位IP地址和48位物理地址之间执行翻译的协议
(2)传输层协议
第二部分是传输层协议,包括传输控制协议和用户数据报文协议
- 传输控制协议(TCP)
- 该协议对建立网络上用户进程之间的对话负责,它确保进程之间的可靠通信,
- 所提供的功能如下:
- 监听输入对话建立请求
- 请求另一网络站点对话
- 可靠的发送和接收数据
- 适度的关闭对话
- 用户数据报文协议(UDP):
- UDP是无连接的,不可靠的传输服务。它允许在源和目的地之间传送数据,而不必在传送数据之前建立对话。当接收数据时它不向发送方提供确认信息,它不提供输入包的顺序,如果出现丢失包或重份包的情况,也不会向发送方发出差错报文。由于它执行功能时具有较低的开销,因而执行速度比TCP快
- 它主要用于那些非连接型的应用程序
- 如:视频点播
- UDP协议头
(3)应用协议层
这部分主要包括Telnet,文件传送协议(FTP 和TFTP),简单文件传送协议(SMTP)和域名服务(DNS)等协议
- FTP
- FTP(File Transport Protocol,文件传输协议)是网络上两台计算机传送文件的协议,运行在TCP之上,是通过Internet将文件从一台计算机传输到另一台计算机的一种途径。FTP在客户机和服务器之间需要建立两条TCP连接,一条用于传送控制信息(使用21端口),另一条用于传输文件内容(使用20号端口)。
- TFTP
- TFTP(Trivial File Transfer Protocol,简单文件传输协议)是用来在客户机与服务器之间进行简单文件传输的协议,提供不复杂、开销不大的文件传输服务。TFTP建立在UDP之上,提供不可靠的数据流传输服务,不提供存取授权与认证机制,使用超时重传方式来保证数据的到达。
- FTP和TFTP记忆区别,两者都是文件传输协议。FTP是文件传输协议,是基于TCP之上,比较复杂;TFTP是建立在UDP上,比较简单。
- HTTP
- HTTP(Hypertext Transfer Protocol,超文本传输协议)是用于从WWW服务器传输超文本到本地浏览器的传送协议。HTTP建立在TCP之上。
- SMTP
- SMTP(Simple Mail Transfer Protocol,简单邮件传输协议)建立在TCP之上,是一种提供可靠且有效的电子邮件传输的协议。SMTP是建立在FTP文件传输服务上的一种邮件服务。
- DHCP
- DHCP(Dynamic Host Configuration,动态主机配置协议)建立在UDP之上,基于客户机/服务器模型设计的。DHCP分配的IP地址可以分为三种方式,分别是固定分配、动态分配和自动分配。
- Telnet
- Telnet(远程登录协议)是登录和仿真程序,建立在TCP之上,它的基本功能是允许用户登录进入远程计算机系统。
- DNS
- DNS(Domain Name System,域名系统)在Internet上域名与IP地址之间是一一对应的,域名虽然便于人们记忆,但机器之间只能互相认识IP地址,它们之间的转换工作称为域名解析,域名解析需要由专门的域名解析服务器来完成,DNS就是进行域名解析的服务器。
- SNMP
- SNMP(Simple Network Management Protocol,简单网络管理协议)是为了解决Internet上的路由器管理问题而提出的,它可以在IP、IPX、AppleTalk和其他传输协议上使用。
(4)IP协议
IP的主要目的是为数据输入/输出网络提供基本算法,为高层协议提供无连接的传送服务.这意味着在IP将数据递交给接收站点以前不在传输站点和接收站点之间建立对话。它只是封装和传递数据,但不向发送者或接收者报告包的状态,不处理所遇到的故障。
IP主要有以下四个主要功能:
- 数据传送
- 寻址
- 路由选择
- 数据报文的分段
IP包由IP协议头与协议数据两部分构成
(5)TCP协议
TCP是重要的传输层协议,目的是允许数据同网络上的其他节点进行可靠的交换。它能提供端口编号的译码,以识别主机的应用程序,而且完成数据的可靠传输TCP 协议具有严格的内装差错检验算法确保数据的完整性TCP 是面向字节的顺序协议,这意味着包内的每个字节被分配一个顺序编号,并分配给每包一个顺序编号。
3、套接字
(1)定义
Linux中的网络编程通过Socket(套接字)接口实现,Socket是一种特殊的I/O接口,也是一种文件描述符。它是一种常用的进程之间的通信机制,通过它不仅能实现本地机器的进程间的通信,而且通过网络能够在不同机器上的进程之间进行通信。
每一个Socket都用一个半相关描述“{协议、本地地址、本地端口}”来表示: 一个完整的套接字则用一个相关描述“{协议、本地地址、本地端口、远程地址、远程端口}”来表示。Socket也有一个类似于打开文件的函数调用,该函数返回一个整型的Socket描述符,随后的连接建立、数据传输等操作都是通过Socket来实现的。
收发消息格式
write send sendto
read receive receivefrom
👆
UDP
(2)类型
- 流式Socket (SOCK_ STREAM)用于TCP通信。
- 流式套接字提供可靠的、面向连接的通信流:它使用TCP,从而保证数据传输的正确性和顺序性。
- 数据报Socket (SOCK_ DGRAM)用于UDP通信。
- 数据报套接字定义了一种无连接的服务,数据通过相互独立的报文进行传输,是无序的,并且不保证是可靠、无差错的,它使用数据报协议UDP。
- 原始Socket (SOCK RAW)用于新的网络协议实现的测试等。
- 原始套接字允许对底层协议如卫或ICMP进行直接访问,它功能强大但使用较为不便,主要用于一些协议的开发。
(3)地址结构
1)通用类型
struct sockaddr
{
u_short sa_family;
char sa_data[14];
};
- Sa_family:
- 地址族,采用“AF_xxx”的形式,如:AF_INET(点分字符串)
- Sa_data:
- 14字节的特定协议地址
2)网络地址结构
struct sockaddr_in
{
short int sin_family; /* Internet地址族 */
unsigned short int sin_port; /* 端口号 */
struct in_addr sin_addr; /* IP地址 */
unsigned char sin_zero[8]; /* 填0 */
};
编程中一般并不直接针对sockaddr数据结构操作,而是使用与sockaddr等价的sockaddr_in数据结构
&指针——取内存地址
size
struct in_addr
{
unsigned long s_addr;
}
S_addr: 32位的地址
(4)地址转化
IP地址通常由数字加点(192.168.0.1)的形式表示,而在struct in_addr中使用的是IP地址是由32位的整数表示的,为了转换我们可以使用下面两个函数:
int inet_aton(const char *cp,struct in_addr *inp) char *inet_ntoa(struct in_addr in
函数里面 a 代表 ascii n 代表network.第一个函数表示将a.b.c.d形式的IP转换为32位的IP,存储在 inp指针里面。
第二个是将32位IP转换为a.b.c.d的格式
(5)字节序转换
不同类型的 CPU 对变量的字节存储顺序可能不同:有的系统是高位在前,低位在后,而有的系统是低位在前,高位在后,而网络传输的数据顺序是一定要统一的。所以当内部字节存储顺序和网络字节顺序不同时,就一定要进行转换。
如果我们将0x1234abcd 写入到以0x0000 开始的内存中,则Little endian 和Big endian 模式的存放结果如下:
网络字节顺序是TCP/IP中规定好的一种数据表示格式,它与具体的CPU类型、操作系统等无关,从而可以保证数据在不同主机之间传输时能够被正确解释。
网络字节顺序采用big endian排序方式
为什么要进行字节序转换?
例:INTEL的CPU使用的小端字节序MOTOROLA 68k系列CPU使用的是大端字节序 MOTOROLA发一个16位数据0X1234给INTEL, 传到INTEL时 ,就被INTEL解释为0X3412
转换函数
- #include
- uint32_t htonl(uint32_t hostlong);
- 例如htonl表示将32位的长整数从主机字节序转换为网络字节序,例如将IP地址转换后准备发送。如果主机是小端字节序,这些函数将参数做相应的大小端转换然后返回,如果主机是大端字节序,这些函数不做转换,将参数原封不动地返回
- uint16_t htons(uint16_t hostshort);
- 把unsigned short类型从主机序转换到网络序
- uint32_t ntohl(uint32_t netlong);
- 把unsigned long类型从主机序转换到网络序
- uint16_t ntohs(uint16_t netshort);
- 把unsigned short类型从网络序转换到主机序
- h表示host,n表示network,l表示32位长整数,s表示16位短整数。
二、Linux 网络程序设计
1、进行Socket编程的常用函数有:
- (1)socket建立
-
- 函数功能
- 创建一个socket
- int socket(int family, int type, int protocol);
- 函数说明
- socket()打开一个网络通讯端口,如果成功的话,就像open()一样返回一个文件描述符,应用程序可以像读写文件一样用read/write在网络上收发数据,如果socket()调用出错则返回-1
- 参数
- 对于IPv4,family参数指定为AF_INET
- type参数
- 对于TCP协议,指定SOCK_STREAM,表示面向流的传输协议
- 对于UDP协议,则指定为SOCK_DGRAM,表示面向数据报的传输协议
- protocol参数
- 指定为0即可
- 返回值
- 成功,返回文件描述符
- 失败,返回-1;
- 函数功能
(2)sockaddr_in 初始化
- bzero(&servaddr, sizeof(servaddr));
- servaddr.sin_family = AF_INET;
- servaddr.sin_addr.s_addr = htonl(INADDR_ANY);
- servaddr.sin_port = htons(SERV_PORT);
首先将整个结构体清零,然后设置地址类型为AF_INET,网络地址为INADDR_ANY,这个宏表示本地的任意IP地址,因为服务器可能有多个网卡,每个网卡也可能绑定多个IP地址,这样设置可以在所有的IP地址上监听,直到某个客户端建立了连接时才确定下来到底用哪个IP地址,端口号为SERV_PORT,我们定义为8000
- (3)bind绑定
- 函数功能
- 将参数sockfd(套接口)和myaddr(自己的地址)绑定在一起,使 sockfd这个用于网络通讯的文件描述符监听myaddr所描述的地址和端口号
- int bind(int sockfd, const struct sockaddr *myaddr, socklen_t addrlen);
- 函数说明
- 服务器程序所监听的网络地址和端口号通常是固定不变的,客户端程序得知服务器程序的地址和端口号后就可以向服务器发起连接,因此服务器需要调用bind绑定一个固定的网络地址和端口号.
- 参数
- struct sockaddr *是一个通用指针类型,
- myaddr参数实际上可以接受多种协议的sockaddr结构体,而它们的长度各不相同,
- 参数addrlen指定结构体的长度
- 返回值
- 成功返回0,失败返回-1。
- 无法绑定
- 原因
- client终止时自动关闭socket描述符,server的TCP连接收到client发的FIN段后处于TIME_WAIT状态。TCP协议规定,主动关闭连接的一方要处于TIME_WAIT状态,等待两个MSL(maximum segment lifetime)的时间后才能回到CLOSED状态,因为我们先Ctrl-C终止了server,所以server是主动关闭连接的一方,在TIME_WAIT期间仍然不能再次监听同样的server端口。MSL在RFC1122中规定为两分钟,但是各操作系统的实现不同,在Linux上一般经过半分钟后就可以再次启劢server了。
- 在server的TCP连接没有完全断开之前丌允许重新监听是不合理的,因为,TCP连接没有完全断开指的是connfd(127.0.0.1:8000)没有完全断开,而我们重新监听的是listenfd(0.0.0.0:8000),虽然是占用同一个端口,但IP地址不同,connfd对应的是不某个客户端通讯的一个具体的IP地址,而listenfd对应的是wildcard address。
- 解决措施:
- 使用setsockopt()设置socket描述符的选项SO_REUSEADDR为1,表示允许创建端口号相同但IP地址丌同的多个socket描述符。
- 在server代码的socket()和bind()调用之间插入如下代码:
- int opt = 1;
- 函数功能
setsockopt(listenfd, SOL_SOCKET, SO_REUSEADDR, &opt, sizeof(opt));
- (4)connect(之前要配置好服务器地址)
- 函数功能
- 该函数用于绑定之后的client端与服务器建立连接
- int connect(int sockfd, const struct sockaddr *servaddr, socklen_t addrlen);
- 比较connect和bind
- 客户端需要调用connect()连接服务器,connect和bind的参数形式一致,区别在于bind的参数是自己的地址,而connect的参数是对方的地址.
- 参数
- 返回值
- connect()成功返回0
- 出错返回-1
- 函数功能
- (5)listen(服务器专用)
- 设置能处理的最大连接要求,Listen()并未开始接收连线,只是设置socket为listen模式。
- int listen(int sockfd,int backflag);
- 参数
- sockfd:
- backflag:指定同时能处理的最大连接要求
- 返回值
- 成功0
- 失败-1;
- (6)accept(服务器专用)
- 函数功能
- 用来接受socket连接。
- int accept(int sockfd, struct sockaddr *cliaddr, socklen_t *addrlen);
- 函数说明
- 三方插手完成后,服务器调用accept()接受连接,如果服务器调用accept()时还没有客户端的连接请求,就阻塞等待直到有客户端连接上来。
- 参数
- cliaddr是一个传出参数,accept()返回时传出客户端的地址和端口号.
- addrlen参数是一个传入传出参数(value-result argument),传入的是调用者提供的缓冲区cliaddr的长度以避免缓冲区溢出问题,传出的是客户端地址结构体的实际长度(有可能没有占满调用者提供的缓冲区)。
- 如果给cliaddr参数传NULL,表示不关心客户端的地址
- 返回值
- 成功:3个值
- 函数功能
- (7)send
- 发送数据
- 表头文件
- #include
- #include
- int send(int s,const void * msg,int len,unsigned int flags)
- 参数
- s:已建立好连接的Socket
- msg:指向欲连线的数据内容
- len:数据长度
- flags:一般为零。
- MSG_OOB:传输的数据以out-of-band送出
- MSG_DONTROUTE:取消路由表操作
- MSG_DONTWAIT:设置为不可阻断操作
- MSG_NOSIGNAL:MSG_NOSIGNAL:此动作不愿被SIGPIPE信号中断
- 返回值
- 成功返回实际上传送出去的字符数
- 失败返回-1
(8)sendto函数
- 功能:用于Socket传送数据,将数据由指定的Socket传给对方主机。
- 表头文件:
-
-
- #include
- #include
- int sendto(int s,const void * msg,int len,unsigned int flags,const struct sockaddr * to, int tolen)
- 参数
- to:用来指定欲传送的网络地址
- tolen:sockaddr的结果长度
-
- 返回值
-
- 成功返回实际上传送出去的字符数
- 失败返回-1
-
- (9)recv
- 接收数据
2、基于TCP
(1)服务器
- 创建一个socket,用函数socket()
- 配置地址(4行)
- 绑定IP地址、端口等信息到socket上,用函数bind()
- 设置允许的最大连接数,用函数listen()
- 接收客户端上来的连接,用函数accept()
- 收发数据,用函数send()和recv(),或者read()和write()
- 关闭网络连接
#include <stdio.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <unistd.h>
#include <string.h>
#define SERVPORT 8000
int main()
{
int listenfd,connfd;//套接口,连接套接口
int n;//函数返回值
socklen_t len;//长度
char mesg[100];//收发缓冲区
struct sockaddr_in servaddr,cliaddr;//服务器地址,客户端地址
//套接口
listenfd=socket(AF_INET,SOCK_STREAM,0);//地址族,type参数(TCP为SOCK_STREAM,表示面向流的传输协议)
//配置地址(4行)
bzero(&servaddr,sizeof(servaddr));
servaddr.sin_family=AF_INET;
servaddr.sin_addr.s_addr=htonl(INADDR_ANY);
servaddr.sin_port=htons(SERVPORT);
//bind绑定
bind(listenfd,(struct sockaddr *)&servaddr,sizeof(servaddr));
//监听
listen(listenfd,1024);
//先给len赋值再接受
for(;;)
{
len=sizeof(cliaddr);
connfd=accept(listenfd,(struct sockaddr *)&cliaddr,&len);
while (1)
{
n=recvfrom(connfd,mesg,100,0,(struct sockaddr *)&cliaddr,&len);
if(0==n)
{
printf("客户端已下线!\n");
printf("*****************************************\n");
close(connfd);
break;
}
mesg[n]='\0';
printf("*****************************************\n");
printf("收到的字符串如下:\n");
printf("%s\n",mesg);
printf("*****************************************\n");
sendto(connfd,mesg,n,0,(struct sockaddr *)&cliaddr,len);
}
}
close(listenfd);
return 0;
}
(2)客服端
- 创建一个socket,用函数socket()
- 设置要连接的对方的IP地址和端口等属性
- 连接服务器,用函数connect()
- 收发数据,用函数send()和recv(),或者read()和write()
- 关闭网络连接
#include <stdio.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <string.h>
#include <unistd.h>
#include <arpa/inet.h>
#include <stdlib.h>
#define SERVPORT 8000
int main(int argc ,char **argv)
{
int sockfd;//套接口
int n;//函数返回值
struct sockaddr_in servaddr,cliaddr;//服务器地址,客户端地址
char sendline[100];//发送缓冲区
char receiveline[100];//收取缓冲区
if(argc != 2)
{
printf("需要服务器地址!");
exit(-1);
}
//套接口
sockfd=socket(AF_INET,SOCK_STREAM,0);//地址族,type参数(TCP为SOCK_STREAM,表示面向流的传输协议)
//配置地址(4行)
bzero(&servaddr,sizeof(servaddr));
servaddr.sin_family=AF_INET;
servaddr.sin_addr.s_addr=inet_addr(argv[1]);
servaddr.sin_port=htons(SERVPORT);
//connect连接
connect(sockfd,(struct sockaddr *)&servaddr,sizeof(servaddr));
while(fgets(sendline,100,stdin) != NULL)
{
sendto(sockfd,sendline,strlen(sendline),0,(struct sockaddr *)&servaddr,sizeof(servaddr));
n=recvfrom(sockfd,receiveline,100,0,NULL,NULL);
receiveline[n]='\0';
fputs(receiveline,stdout);
}
close(sockfd);
return 0;
}