拼多多面試:Netty如何解決粘包問題?

磊哥課程 2024-06-04 05:45:03

粘包和拆包問題也叫做粘包和半包問題,它是指在數據傳輸時,接收方未能正常讀取到一條完整數據的情況(只讀取了部分數據,或多讀取到了另一條數據的情況)就叫做粘包或拆包問題。

從嚴格意義上來說,粘包問題和拆包問題屬于兩個不同的問題,接下來我們分別來看。

1.粘包問題

粘包問題是指在網絡通信中,發送方連續發送的多個小數據包被接收方一次性接收的現象。這可能是因爲底層傳輸層協議(如 TCP)會將多個小數據包合並成一個大的數據塊進行傳輸,導致接收方在接收數據時一次性接收了多個數據包,造成粘連。

例如以下案例,正常情況下客戶端發送了兩條消息,分別爲“ABC”和“DEF”,那麽接收端也應該收到兩條消息“ABC”和“DEF”才對,但是接收端卻收到了“ABCD”這樣的消息,這種情況就叫做粘包,如下圖所示:

2.拆包/半包問題

拆包問題是指發送方發送的一個大數據包被接收方拆分成多個小數據包進行接收的現象。這可能是因爲底層傳輸層協議(如 TCP)將一個大數據包拆分成多個小的數據塊進行傳輸,導致接收方在接收數據時分別接收了多個小數據包,造成拆開。

例如以下案例,客戶端發送了一條消息“ABC”,而接收端卻收到了“AB”和“C”兩條信息,這種情況就叫做半包,如下圖所示:

PS:大部分情況下我們都把粘包問題和拆包問題看成同一個問題,所以下文就用粘包問題來替代粘包和拆包問題。

3.爲什麽會有粘包問題?

粘包問題通常發生在 TCP/IP 協議中,因爲 TCP 是面向連接的傳輸協議,它是以“流”的形式傳輸數據的,而“流”數據是沒有明確的開始和結尾邊界的,所以就會出現粘包問題。

4.常見解決方案

粘包問題的常見解決方案有以下 3 種:

固定大小方法:發送方和接收方固定發送數據大小,當字符長度不夠時用空字符彌補,有了固定大小之後就知道每條消息的具體邊界了,這樣就沒有粘包的問題了。自定義數據協議(定義數據長度):在 TCP 協議的基礎上封裝一層自定義數據協議,在自定義數據協議中,包含數據頭(存儲數據的大小)和 數據的具體內容,這樣服務端得到數據之後,通過解析數據頭就可以知道數據的具體長度了,也就沒有粘包的問題了。特殊分割符:以特殊的字符結尾,比如以“\n”結尾,這樣我們就知道數據的具體邊界了,從而避免了粘包問題。

以上三種方案中,第一種固定大小的方法可能會造成網絡流量的浪費,以及傳輸性能慢的問題;第二種解決方案實現難度大,且不利于維護,所以比較推薦的是第三種方案,使用特殊分隔符來區分消息的邊界,從而避免粘包問題。

5.Netty解決方案

Netty 解決方案也延續了上面的常見解決方案,它的解決方案有以下幾個:

使用定長解碼器(FixedLengthFrameDecoder):每個數據包都擁有固定的長度,接收端根據固定長度對數據進行切分,從而解決了粘包問題。使用行分隔符解碼器(LineBasedFrameDecoder):以行爲單位進行數據包的解碼,從而解決粘包問題。使用分隔符解碼器(DelimiterBasedFrameDecoder):使用特定的分隔符來標識消息邊界,這樣接收端可以根據分隔符正確切分消息。使用長度字段解碼器(LengthFieldBasedFrameDecoder):在消息頭部加入表示消息長度的字段,接收端根據長度字段來確定消息的邊界,而從解決粘包問題。

PS:在 Netty 中,解碼器(Decoder)起著非常重要的作用。解碼器主要負責將從網絡中接收到的原始字節流數據轉換爲應用程序能夠理解的 Java 對象或消息格式。使用解碼器可以解決粘包和拆包問題、協議轉換問題、消息編碼(如文本轉換爲字節流)等問題。

這些解碼器的使用如下。

5.1 定長解碼器

定長解碼器(FixedLengthFrameDecoder)使用示例如下:

ChannelPipeline pipeline = ch.pipeline();// 假設每條消息長度爲 5pipeline.addLast(new FixedLengthFrameDecoder(5)); pipeline.addLast(new StringDecoder());pipeline.addLast(new YourBusinessLogicHandler());5.2 行分隔符解碼器

行分隔符解碼器(LineBasedFrameDecoder)使用示例如下:

ChannelPipeline pipeline = ch.pipeline();// 設置行分隔符解碼器最大(幀)長度爲 8192 字節pipeline.addLast(new LineBasedFrameDecoder(8192)); pipeline.addLast(new StringDecoder()); // 添加字符串解碼器pipeline.addLast(new SimpleChannelInboundHandler<String>() { @Override protected void channelRead0(ChannelHandlerContext ctx, String msg) throws Exception { System.out.println("接收到消息:" + msg); }});5.3 分隔符解碼器

分隔符解碼器(DelimiterBasedFrameDecoder)使用示例如下:

ChannelPipeline pipeline = ch.pipeline();// 使用 \r\n 來進行分隔ByteBuf delimiter = Unpooled.copiedBuffer("\r\n".getBytes());pipeline.addLast(new DelimiterBasedFrameDecoder(1024, delimiter));pipeline.addLast(new StringDecoder());pipeline.addLast(new YourBusinessLogicHandler());5.4 長度字段解碼器

長度字段解碼器(LengthFieldBasedFrameDecoder)使用示例如下:

ChannelPipeline pipeline = ch.pipeline();// 設置最大幀長度爲 1024 字節,長度字段位于第 0 個字節,長度字段占用 4 個字節pipeline.addLast(new LengthFieldBasedFrameDecoder(1024, 0, 4, 0, 4));pipeline.addLast(new LengthFieldPrepender(4));pipeline.addLast(new StringDecoder());pipeline.addLast(new StringEncoder());pipeline.addLast(new LengthFieldServerHandler());課後思考

除了定長解碼器、行分隔符解碼器、分隔符解碼器、長度字段解碼器之外,Netty 還有其他解決粘包問題的解決方案嗎?如何自定義解碼器?

本文已收錄到我的面試小站 [www.javacn.site](https://www.javacn.site),其中包含的內容有:Redis、JVM、並發、並發、MySQL、Spring、Spring MVC、Spring Boot、Spring Cloud、MyBatis、設計模式、消息隊列等模塊。

0 阅读:0

磊哥課程

簡介:感謝大家的關注