資料庫連接池的原理沒你想得這麼複雜

csdn雲計算 發佈 2020-03-20T10:02:28+00:00

而池技術可以統一分配,管理某一類資源,它允許我們的程序可以重複的使用這個資源,只有在極端情況下才會創建新的資源。

來源 | 犀牛飼養員的技術筆記

封圖| CSDN 下載於視覺中國


背景介紹

資料庫連接池和線程池等池技術存在的意義都是為了解決資源的重複利用問題。在計算機里,創建一個新的資源往往開銷是非常大的。而池技術可以統一分配,管理某一類資源,它允許我們的程序可以重複的使用這個資源,只有在極端情況下(比如連接池滿)才會創建新的資源。

資料庫連接這種資源尤其昂貴,它的創建開銷很大,大量的創建連接和釋放操作對程序的影響非常明顯。

資料庫連接池正是針對這個問題提出來的。


實現原理


需要注意的是,我們下面提供的幾種實現方式都是基於簡單的原型,目的是帶你了解連接池實現的一些基本原理。真實的資料庫連接池技術需要考慮更多複雜的細節。

所以下面這些代碼都是不能在生產上直接使用的

實現的時候會用到java.sql.Connection,由於這個只是一個接口無法創建實例,為了演示方便,我繼承這個接口寫了一個簡單的測試類,只是在commit方法裡加了延時模擬提交。

實現方式1:

很容易馬上想到的一種方案,我們用一個map存放連接對象,需要的時候從map里拿來用就可以了。

這裡需要注意,儘管我們使用了線程安全的ConcurrentHashMap來存放連接資源,getConnection方法依然要加上synchronized關鍵字來避免並發問題。這一點是最容易忽略的。

試想一下,假設在某個場景下,我們希望某個應用的多個線程共享連接資源。

假設有2個線程同時執行到了pool.containsKey(key),然後都返回false,那這兩個線程都會創建連接。雖然ConcurrentHashMap的put方法只會加入其中一個,但還是生成了1個多餘的連接。

原因在於,儘管ConcurrentHashMap本身每個操作都是線程安全的,但是當這些操作組合在一起使用的時候,就無法保證原子性了,所以有可能帶來並發的問題。

這裡友情提示下,面試經常會遇到這個考點哦。

實現方式 2:

第二種實現方式是在1的基礎上進行的優化。1的方案有個問題就是每次訪問getConnection都要加鎖,釋放鎖,效率比較低。

第二種方案是利用java並發包里的Future機制來解決並發場景創建多餘連接的問題。

我們來捋一捋這個實現會不會有並發的問題。假設兩個線程同時進入else分支,在代碼的28行ConcurrentHashMap可以確保只有一個線程會執行,也就是只會加入一個task。其它的線程都不會加入成功。

所以只有一個線程connectionFutureTask == null,這個線程開始異步執行創建連接的任務,而其它的線程則會調用FutureTask的get方法直接獲取結果。

實現方式3:

1和2的實現方式還存在一個問題, 多個線程獲取到的其實同一個連接。這種方案在某些場景下是不允許的。比如spring資料庫的事務管理器對於每個事務的處理線程都要求獨立的連接資源。

下面的方案基於鍊表結構,有比較完整的獲取,釋放的操作,不同的線程可以拿到獨立的連接資源。

注意到這個方案我們在獲取連接的時候引入了超時時間,如果該方法能夠在一段時間內獲取到結果,那麼將結果立刻返回,反之,超時返回默認結果。


druid連接池的實現原理


了解了實現連接池的大概思路,我們可以來繼續學習下市面上比較成熟的連接池產品。這其中阿里巴巴開源的druid開源連接池就是一個代表。

Druid作為java領域最好的連接池技術之一,連接池本身只是它的一部分功能。除此之外,它還還要配套的監控功能。當然這個不是我們本文的重點。

先來看看在代碼中如何使用Druid連接池,

所以繼續深入到是DataSource里的getConnection方法,

init方法主要的功能是根據配置文件初始化連接池,它內部會生成一些真正的物理連接然後放入一個數組裡。當然這個方法要保證只會被調用一次。

繼續往下看,最終會調用到getConnectionInternal這個私有方法,

紅色圈出的部分是核心,根據傳入的等待時間走不同的分支,我們來看看takeLast方法。

代碼邏輯也比較清楚,poolCount是連接池的目前的可用連接數量。

如果為0,就通過emptySignal喚醒生產者線程創建新的連接,同時當前線程掛起等待notEmpty的信號。notEmptyWaitCount維護的就是正在等待的消費者數量。

如果不為0,就從數組中取出最後一個連接返回。有人可能會有疑問,這裡返回的是DruidConnectionHolder,不是Connection啊?

其實看下前者的定義你就明白了,

DruidConnectionHolder封裝了Connection以及連接的datasource信息,還有多個statement等,方面進行統一管理。

關鍵字: