java記憶體異常使用導致full gc頻繁怎麼解決

問題系統

日常巡檢發現，應用線上出現頻繁full gc

#現象

應用線上出現頻繁full gc

排查過程

分析dump

拉dump檔案：小插曲：dump時如果指定:live，則在dump前jvm會先進行一次full gc，而gc log裡會印出dump full gc，這種對非記憶體洩漏導致的線上異常記憶體狀況排查反而會帶來不便，導致我們多dump了好幾次。

分析dump檔：

a. 發現大量long[]陣列佔用最大空間，有異常情況

b . 查看gc根節點，發現這些long[]資料大部分是被org.HdrHistogram.Histogram持有，每個Histogram物件會持有一個2048size的long[]

c. 查看Histogram實例的數量，竟然有5w個，對比下正常項目的堆棧，大約是100倍

#d. 這裡又有一個插曲，一開始習慣用mat分析，但是mat產生的報表對分析外洩比較有用，對於分析異常的記憶體沒有jvisualvm.exe和idea的profiler好用

排查原因

本地啟動，可以複現這個類別的內存使用情況，於是本地起一個其他記憶體正常的服務與有問題的應用，分析記憶體比較

這裡用的是idea的profiler，很方便

發現差異：

對比正常的應用，發現異常應用的引用存在異常的來自

● rx.internal.operators.OnSubscribeReduceSeed$ReduceSeedSubscriber的引用，懷疑就是這個例外引用就是導致這些實例無法在新生代回收而是堆積到了老年代觸發full gc的原因

排查差異：

#簡單看了下相關程式碼，看不出個所以然，直接debug對比

系統確實走進了相關的程式碼，增加了對Histogram的引用，而正常應用沒有

但是光這樣也看不出來為什麼，此時關注到了左下角的線程池，這個線程池比較奇怪，是Metric的線程池
Metric是Hystrix用來統計相關指標，來供自己的dashboard或者用戶來獲取，以此來了解系統熔斷相關參數和指標的功能
再看堆疊，走到這裡的邏輯是

#這個流用來統計單位時間內的系統指標，導致Hystrix使用Histogram的long數組實現類似滑動視窗的效果統計單位時間內的指標
Histogram本身是Hystrix用來實現類似桶滑動視窗的功能，來統計單位時間內的流量，但是因為開啟了指標參數，導致hystrix為了統計更長時間範圍內的指標，新增了物件持有更多（單位時間內）的Histogram引用來聚合，這部分引用因為是統計更長時間範圍週期的，就會因為引用持有時間長而到老年代，但是本質並不是記憶體洩漏，所以每次full gc後又可以得到回收

解決問題

看到上面的差異和怪異的線程池，第一反應就是關閉metric使應用程式不走到這段邏輯中增加引用，看官方文檔，該配置預設是開啟的，並且確認該功能只影響指標統計不影響斷路器本身功能，使用配置hystrix.metrics.enabled=false配置來關閉
新增配置後，驗證並查看堆疊，引用恢復正常，並且系統在一段時間後並沒有新增更多的Histogram實例，發布線上後觀察一段時間，full gc問題確實得到解決

根本原因

在當時發現解決的辦法並驗證後，並沒有時間去研究hystrix.metrics.enabled預設配置就是true但是其他應用沒有出現這個full gc問題的原因，先解決了之後後續再繼續跟進排查根本原因防止其他項目也出現相同問題

之前發現可疑的線程池是HystrixMetricsPoller ，經過查看，該線程池由HystrixMetricsPollerConfiguration

#類別開啟，主要依賴hystrix.metrics.enabled開啟，但預設是true，為什麼其他專案沒有開啟呢？

搜了下源碼，這個類別的開啟還和一個註解有關

#對比了一下程式碼，果然只有異常的應用使用了這個註解，這個註解的目的是開啟斷路器

但是研究之後發現，不使用這個註解，熔斷等功能依舊可用，原因是在spring-cloud高版本之後，spring透過使用hystrix封裝openfeign的方法來使用熔斷，而不是整合整個hystrix體系，可能spring-cloud也發現了hystrix記憶體使用上的問題

所以在較高版本（起碼我們的版本），feign是透過feign.hystrix.enabled來開關斷路器的（這個開關是關閉的話，單純加@EnableCircuitBreaker註解斷路器是不會生效的）

#其實在更高點版本的spring-cloud中，@EnableCircuitBreaker這個註解已經被標註為廢棄了，但是可能因為我們是中間版本，所以存在既沒有標註廢棄其實又沒有什麼用的情況

總而言之，feign的斷路功能只通過feign.hystrix.enabled來控制，增加@EnableCircuitBreaker註解之後只是會開啟Hystrix其他所有的指標等功能

以上是java記憶體異常使用導致full gc頻繁怎麼解決的詳細內容。更多資訊請關注PHP中文網其他相關文章！