IO面试问题(一)
什么是网络编程
- 网络编程的本质是多台计算机之间的数据交换。数据传递本身没有多大的难度,不就是把一个设备 中的数据发送给其他设备,然后接受另外一个设备反馈的数据。现在的网络编程基本上都是基于请 求/响应方式的,也就是一个设备发送请求数据给另外一个,然后接收另一个设备的反馈。在网络 编程中,发起连接程序,也就是发送第一次请求的程序,被称作客户端(Client),等待其他程序连 接的程序被称作服务器(Server)。客户端程序可以在需要的时候启动,而服务器为了 能够时刻相应 连接,则需要一直启动。
- 例如以打电话为例,首先拨号的人类似于客户端,接听电话的人必须保持电话畅通类似于服务器。 连接一旦建立以后,就客户端和服务器端就可以进行数据传递了,而且两者的身份是等价的。在一 些程序中,程序既有客户端功能也有服务器端功能,最常见的软件就是QQ、微信这类软件了。
网络编程中两个主要的问题
- 一个是如何准确的定位网络上一台或多台主机,
- 另一个就是找到主机后如何可靠高效的进行数据传输。
- 在TCP/IP协议中IP层主要负责网络主机的定位,数据传输的路由,由IP地址可以唯一地确定 Internet上的一台主机。
- 而TCP层则提供面向应用的可靠(TCP)的或非可靠(UDP)的数据传输机制,这是网络编程的主 要对象,一般不需要关心IP层是如何处理数据的。
- 目前较为流行的网络编程模型是客户机/服务器(C/S)结构。即通信双方一方作为服务器等待客户 提出请求并予以响应。客户则在需要服务时向服务器提 出申请。服务器一般作为守护进程始终运 行,监听网络端口,一旦有客户请求,就会启动一个服务进程来响应该客户,同时自己继续监听服 务端口,使后来的客户也 能及时得到服务。
网络协议是什么
在计算机网络要做到井井有条的交换数据,就必须遵守一些事先约定好的规则,比如交换数据的格 式、是否需要发送一个应答信息。这些规则被称为网络协议。
为什么要对网络协议分层
- 简化问题难度和复杂度。由于各层之间独立,我们可以分割大问题为小问题。
- 灵活性好。当其中一层的技术变化时,只要层间接口关系保持不变,其他层不受影响。
- 易于实现和维护。
- 促进标准化工作。分开后,每层功能可以相对简单地被描述
计算机网络体系结构
-
OSI参考模型
- OSI(Open System Interconnect),即开放式系统互联。一般都叫OSI参考模型,是 ISO(国际标准化组织)组织在1985年研究的网络互连模型。ISO为了更好的使网络应用更为 普及,推出了OSI参考模型,这样所有的公司都按照统一的标准来指定自己的网络,就可以互 通互联了。
- OSI定义了网络互连的七层框架(物理层、数据链路层、网络层、传输层、会话层、表示层、 应用层)。
-
TCP/IP参考模型
- TCP/IP四层协议(数据链路层、网络层、传输层、应用层)
- 应用层 应用层最靠近用户的一层,是为计算机用户提供应用接口,也为用户直接提供各种网 络服务。我们常见应用层的网络服务协议有:HTTP,HTTPS,FTP,TELNET等。
- 传输层 建立了主机端到端的链接,传输层的作用是为上层协议提供端到端的可靠和透明的数 据传输服务,包括处理差错控制和流量控制等问题。该层向高层屏蔽了下层数据通信的细 节,使高层用户看到的只是在两个传输实体间的一条主机到主机的、可由用户控制和设定 的、可靠的数据通路。我们通常说的,TCP UDP就是在这一层。端口号既是这里的“端”。
- 网络层 本层通过IP寻址来建立两个节点之间的连接,为源端的运输层送来的分组,选择合适 的路由和交换节点,正确无误地按照地址传送给目的端的运输层。就是通常说的IP层。这一 层就是我们经常说的IP协议层。IP协议是Internet的基础。
- 数据链路层 通过一些规程或协议来控制这些数据的传输,以保证被传输数据的正确性。实现 这些规程或协议的 硬件 和软件加到物理线路,这样就构成了数据链路,
TCP / UDP
- 什么是TCP/IP和UDP
- TCP/IP即传输控制/网络协议,是面向连接的协议,发送数据前要先建立连接(发送方和接收方的成 对的两个之间必须建 立连接),TCP提供可靠的服务,也就是说,通过TCP连接传输的数据不会丢 失,没有重复,并且按顺序到达
- UDP它是属于TCP/IP协议族中的一种。是无连接的协议,发送数据前不需要建立连接,是没有可 靠性的协议。因为不需要建立连接所以可以在在网络上以任何可能的路径传输,因此能否到达目的 地,到达目的地的时间以及内容的正确性都是不能被保证的。
- TCP与UDP区别:
- TCP是面向连接的协议,发送数据前要先建立连接,TCP提供可靠的服务,也就是说,通过TCP连 接传输的数据不会丢失,没有重复,并且按顺序到达;
- UDP是无连接的协议,发送数据前不需要建立连接,是没有可靠性;
- TCP通信类似于于要打个电话,接通了,确认身份后,才开始进行通行;
- UDP通信类似于学校广播,靠着广播播报直接进行通信。
- TCP只支持点对点通信,UDP支持一对一、一对多、多对一、多对多;
- TCP是面向字节流的,UDP是面向报文的; 面向字节流是指发送数据时以字节为单位,一个数据 包可以拆分成若干组进行发送,而UDP一个报文只能一次发完。
- TCP首部开销(20字节)比UDP首部开销(8字节)要大
- UDP 的主机不需要维持复杂的连接状态表
- TCP和UDP的应用场景:
对某些实时性要求比较高的情况使用UDP,比如游戏,媒体通信,实时直播,即使出现传输错误 也可以容忍;其它大部分情况下,HTTP都是用TCP,因为要求传输的内容可靠,不出现丢失的情况
- 形容一下TCP和UDP
TCP通信可看作打电话:
李三(拨了个号码):喂,是王五吗? 王五:哎,您谁啊? 李三:我是李三,我想给你说点事儿, 你现在方便吗? 王五:哦,我现在方便,你说吧。 甲:那我说了啊? 乙:你说吧。 (连接建立 了,接下来就是说正事了…)
UDP通信可看为学校里的广播: 播音室:喂喂喂!全体操场集合
- 运行在TCP 或UDP的应用层协议分析。
-
运行在TCP协议上的协议:
-
HTTP(Hypertext Transfer Protocol,超文本传输协议),主要用于普通浏览。
-
HTTPS(HTTP over SSL,安全超文本传输协议),HTTP协议的安全版本。
-
FTP(File Transfer Protocol,文件传输协议),用于文件传输。
-
POP3(Post Office Protocol, version 3,邮局协议),收邮件用。
-
SMTP(Simple Mail Transfer Protocol,简单邮件传输协议),用来发送电子邮件。
-
TELNET(Teletype over the Network,网络电传),通过一个终端(terminal)登陆到网 络。 SSH(Secure Shell,用于替代安全性差的TELNET),用于加密安全登陆用。
-
-
运行在UDP协议上的协议:
DHCP(Dynamic Host Configuration Protocol,动态主机配置协议),动态配置IP地址。
-
运行在TCP和UDP协议上:
DNS(Domain Name Service,域名服务),用于完成地址查找,邮 件转发等工作。
ECHO(Echo Protocol,回绕协议),用于查错及测量应答时间(运行在TCP和UDP协议上)。
SNMP(Simple Network Management Protocol,简单网络管理协议),用于网络信息的 收集和网络管理。
DHCP(Dynamic Host Configuration Protocol,动态主机配置协议),动态配置IP地址。
ARP(Address Resolution Protocol,地址解析协议),用于动态解析以太网硬件的地址。
什么是ARP协议 (Address Resolution Protocol)?
- ARP协议完成了IP地址与物理地址的映射。每一个主机都设有一个 ARP 高速缓存,里面有所在的 局域网上的各主机和路由器的 IP 地址到硬件地址的映射表。当源主机要发送数据包到目的主机 时,会先检查自己的ARP高速缓存中有没有目的主机的MAC地址,如果有,就直接将数据包发到这 个MAC地址,如果没有,就向所在的局域网发起一个ARP请求的广播包(在发送自己的 ARP 请求 时,同时会带上自己的 IP 地址到硬件地址的映射),收到请求的主机检查自己的IP地址和目的主 机的IP地址是否一致,如果一致,则先保存源主机的映射到自己的ARP缓存,然后给源主机发送一 个ARP响应数据包。源主机收到响应数据包之后,先添加目的主机的IP地址与MAC地址的映射,再 进行数据传送。如果源主机一直没有收到响应,表示ARP查询失败。
- 如果所要找的主机和源主机不在同一个局域网上,那么就要通过 ARP 找到一个位于本局域网上的 某个路由器的硬件地址,然后把分组发送给这个路由器,让这个路由器把分组转发给下一个网络。 剩下的工作就由下一个网络来做。
什么是NAT (Network Address Translation, 网络地址转换)?
- 用于解决内网中的主机要和因特网上的主机通信。由NAT路由器将主机的本地IP地址转换为全球IP 地址,分为静态转换(转换得到的全球IP地址固定不变)和动态NAT转换。
从输入址到获得页面的过程?
-
浏览器查询 DNS,获取域名对应的IP地址:具体过程包括浏览器搜索自身的DNS缓存、搜索操作系 统的DNS缓存、读取本地的Host文件和向本地DNS服务器进行查询等。对于向本地DNS服务器进 行查询,如果要查询的域名包含在本地配置区域资源中,则返回解析结果给客户机,完成域名解析 (此解析具有权威性);如果要查询的域名不由本地DNS服务器区域解析,但该服务器已缓存了此网 址映射关系,则调用这个IP地址映射,完成域名解析(此解析不具有权威性)。如果本地域名服务 器并未缓存该网址映射关系,那么将根据其设置发起递归查询或者迭代查询;
-
浏览器获得域名对应的IP地址以后,浏览器向服务器请求建立链接,发起三次握手;
-
TCP/IP链接建立起来后,浏览器向服务器发送HTTP请求;
-
服务器接收到这个请求,并根据路径参数映射到特定的请求处理器进行处理,并将处理结果及相应 的视图返回给浏览器;
-
浏览器解析并渲染视图,若遇到对js文件、css文件及图片等静态资源的引用,则重复上述步骤并 向服务器请求这些资源;
-
浏览器根据其请求到的资源、数据渲染页面,最终向用户呈现一个完整的页面。
什么是TCP的三次握手
在网络数据传输中,传输层协议TCP是要建立连接的可靠传输,TCP建立连接的过程,我们称为三次握手。
三次握手的具体细节
- 第一次握手:Client将SYN置1,随机产生一个初始序列号seq发送给Server,进入SYN_SENT状 态;
- 第二次握手:Server收到Client的SYN=1之后,知道客户端请求建立连接,将自己的SYN置1,ACK 置1,产生一个acknowledge number=sequence number+1,并随机产生一个自己的初始序列 号,发送给客户端;进入SYN_RCVD状态;
- 第三次握手:客户端检查acknowledge number是否为序列号+1,ACK是否为1,检查正确之后将 自己的ACK置为1,产生一个acknowledge number=服务器发的序列号+1,发送给服务器;进入 ESTABLISHED状态;服务器检查ACK为1和acknowledge number为序列号+1之后,也进入 ESTABLISHED状态;完成三次握手,连接建立。
- 简单来说就是 :
-
客户端向服务端发送SYN
-
服务端返回SYN,ACK
-
客户端发送ACK
用现实理解三次握手的具体细节
三次握手的目的是建立可靠的通信信道,主要的目的就是双方确认自己与对方的发送与接收机能正 常。
- 第一次握手:客户什么都不能确认;服务器确认了对方发送正常
- 第二次握手:客户确认了:自己发送、接收正常,对方发送、接收正常;服务器确认 了:自己接 收正常,对方发送正常
- 第三次握手:客户确认了:自己发送、接收正常,对方发送、接收正常;服务器确认 了:自己发 送、接收正常,对方发送接收正常 所以三次握手就能确认双发收发功能都正常,缺一不可。
- 建立连接可以两次握手吗?为什么?
- 不可以。
- 因为可能会出现已失效的连接请求报文段又传到了服务器端。 > client 发出的第一个连接请求报文 段并没有丢失,而是在某个网络结点 长时间的滞留了,以致延误到连接释放以后的某个时间才到达 server。本来这是一个早已失效的报文段。但 server 收到此失效的连接请求报文段后,就误认为 是 client 再次发出的一个新的连接请求。于是就向 client 发出确认报文段,同意建立连接。假设 不采用 “三次握手”,那么只要 server 发出确认,新的连接就建立了。由于现在 client 并没有发出 建立连接的请求,因此不会理睬 server 的确认,也不会向 server 发送数据。但 server 却以为新 的运输连接已经建立,并一直等待 client 发来数据。这样,server 的很多资源就白白浪费掉了。 采用 “三次握手” 的办法可以防止上述现象发生。例如刚才那种情况,client 不会向 server 的确认 发出确认。server 由于收不到确认,就知道 client 并没有要求建立连接。
- 而且,两次握手无法保证Client正确接收第二次握手的报文(Server无法确认Client是否收到), 也无法保证Client和Server之间成功互换初始序列号。
- 可以采用四次握手吗?为什么?
这个肯定可以。三次握手都可以保证连接成功了,何况是四次,但是会降低传输的效率。
- 第三次握手中,如果客户端的ACK未送达服务器,会怎样?
- Server端:由于Server没有收到ACK确认,因此会每隔 3秒 重发之前的SYN+ACK(默认重发五 次,之后自动关闭连接进入CLOSED状态),Client收到后会重新传ACK给Server。
- Client端,会出现两种情况:
- 在Server进行超时重发的过程中,如果Client向服务器发送数据,数据头部的ACK是为1的, 所以服务器收到数据之后会读取 ACK number,进入 establish 状态
- 在Server进入CLOSED状态之后,如果Client向服务器发送数据,服务器会以RST包应答。
- 如果已经建立了连接,但客户端出现了故障怎么办?
服务器每收到一次客户端的请求后都会重新复位一个计时器,时间通常是设置为2小时,若两小时 还没有收到客户端的任何数据,服务器就会发送一个探测报文段,以后每隔75秒钟发送一次。若 一连发送10个探测报文仍然没反应,服务器就认为客户端出了故障,接着就关闭连接。
- 初始序列号是什么?
TCP连接的一方A,随机选择一个32位的序列号(Sequence Number)作为发送数据的初始序列 号(Initial Sequence Number,ISN),比如为1000,以该序列号为原点,对要传送的数据进行 编号:1001、1002...三次握手时,把这个初始序列号传送给另一方B,以便在传输数据时,B可以 确认什么样的数据编号是合法的;同时在进行数据传输时,A还可以确认B收到的每一个字节,如 果A收到了B的确认编号(acknowledge number)是2001,就说明编号为1001-2000的数据已经 被B成功接受。
- 什么是TCP的四次挥手
在网络数据传输中,传输层协议断开连接的过程我们称为四次挥手
- 主机A发送FIN控制位发出断开连接的请求
- 主机B进行响应,确认收到断开连接请求
- 主机B提出反方向的关闭要求
- 主机A确认收到的主机B的关闭连接请求
MSL是Maximum Segment Lifetime英文的缩写,中文可以译为“报文最大生存时间”,他是任何报文在网络上存在的最长时间,超过这个时间报文将被丢弃。
2MSL即两倍的MSL,TCP的TIME_WAIT状态也称为2MSL等待状态,当TCP的一端发起主动关闭,在发出最后一个ACK包后,即第3次握手完成后发送了第四次握手的ACK包后就进入了TIME_WAIT状态,必须在此状态上停留两倍的MSL时间,等待2MSL时间主要目的是怕最后一个ACK包对方没收到,那么对方在超时后将重发第三次握手的FIN包,主动关闭端接到重发的FIN包后可以再发一个ACK应答包。在TIME_WAIT状态时两端的端口不能使用,要等到2MSL时间结束才可继续使用。当连接处于2MSL等待阶段时任何迟到的报文段都将被丢弃。不过在实际应用中可以通过设置SO_REUSEADDR选项达到不必等待2MSL时间结束再使用此端口。
用现实理解三次握手的具体细节TCP的四次挥手
四次挥手断开连接是因为要确定数据全部传书完了
- 客户与服务器交谈结束之后,客户要结束此次会话,就会对服务器说:我要关闭连接了(第一 次 挥手)
- 服务器收到客户的消息后说:好的,你要关闭连接了。(第二次挥手)
- 然后服务器确定了没有话要和客户说了,服务器就会对客户说,我要关闭连接了。(第三次挥 手)
- 客户收到服务器要结束连接的消息后说:已收到你要关闭连接的消息。(第四次挥手),才关闭
- 为什么不能把服务器发送的ACK和FIN合并起来,变成三次挥手(CLOSE_WAIT状态意义是什 么)?
因为服务器收到客户端断开连接的请求时,可能还有一些数据没有发完,这时先回复ACK,表示接 收到了断开连接的请求。等到数据发完之后再发FIN,断开服务器到客户端的数据传送。
- 如果第二次挥手时服务器的ACK没有送达客户端,会怎样?
客户端没有收到ACK确认,会重新发送FIN请求。
- 客户端TIME_WAIT状态的意义是什么?
,指一个片段在网络中最大的存活时间,2MSL就是一个发送和一个回复所需的 最大时间。如果直到2MSL,Client都没有再次收到FIN,那么Client推断ACK已经被成功接收,则 结束TCP连接。
Socket
1 什么是Socket
- 网络上的两个程序通过一个双向的通讯连接实现数据的交换,这个双向链路的一端称为一个 Socket。Socket通常用来实现客户方和服务方的连接。Socket是TCP/IP协议的一个十分流行的编 程界面,一个Socket由一个IP地址和一个端口号唯一确定。
- 但是,Socket所支持的协议种类也不光TCP/IP、UDP,因此两者之间是没有必然联系的。在Java环 境下,Socket编程主要是指基于TCP/IP协议的网络编程。
- socket连接就是所谓的长连接,客户端和服务器需要互相连接,理论上客户端和服务器端一旦建立 起连接将不会主动断掉的,但是有时候网络波动还是有可能的
- Socket偏向于底层。一般很少直接使用Socket来编程,框架底层使用Socket比较多,
2 socket属于网络的那个层面
TCP/IP协议族隐藏在Socket接口后面,对用户来说,一组简 单的接口就是全部,让Socket去组织数据,以符合指定的协议。
3 Socket通讯的过程
- 基于TCP:服务器端先初始化Socket,然后与端口绑定(bind),对端口进行监听(listen),调用 accept阻塞,等待客户端连接。在这时如果有个客户端初始化一个Socket,然后连接服务器 (connect),如果连接成功,这时客户端与服务器端的连接就建立了。客户端发送数据请求,服务 器端接收请求并处理请求,然后把回应数据发送给客户端,客户端读取数据,最后关闭连接,一次 交互结束。
- 基于UDP:UDP 协议是用户数据报协议的简称, 也用于网络数据的传输。虽然 UDP 协议是一种不 太可靠的协议,但有时在需要较快地接收数据并且可以忍受较小错误的情况下,UDP 就会表现出 更大的优势。我客户端只需要发送,服务端能不能接收的到我不管
4 Socket的常用类
类名 | 用于 | 作用 |
---|---|---|
Socket | TCP 协议 | Socket类同时工作于客户端和服务端,所有方法都是通用的, 这个类三个主要作用,校验包信息,发起连接(Client),操作 流数据(Client/Server) |
ServerSocket | TCP 协议 | ServerSocket表示为服务端,主要作用就是绑定并监听一个服 务器端口,为每个建立连接的客户端“克隆/映射”一个Socket对 象,具体数据操作都是通过这个Socket对象完成的, ServerSocket只关注如何和客户端建立连接 |
DatagramSocket | ODP 协议 | DatagramSocket 类用于表示发送和接收数据报包的套接字。 |
DatagramPacket | ODP 协议 | DatagramPacket 类用来表示数据报包,数据报包用来实现无 连接包投递服务。 |
InetAddress | IP+端 口号 | Java提供了InetAddress类来代表互联网协议(IP)地址, InetAddress类没有提供构造器,而是提供了如下两个静态方法 来获取InetAddress实例: |
InetSocketAddress | IP+端 口号 | 在使用Socket来连接服务器时最简单的方式就是直接使用IP和 端口,但Socket类中并未提供这种方式,而是靠 SocketAddress的子类InetSocketAddress来实现 IP 地址 + 端 口号的创建,不依赖任何协议。 |