go語言goroutine調度原理以及channel詳解

乾飯人小羽 發佈 2023-06-16T00:12:31.744119+00:00

一、goroutine簡介goroutine是go語言中最為NB的設計,也是其魅力所在,goroutine的本質是協程,是實現並行計算的核心。

一、goroutine簡介

goroutine是go語言中最為NB的設計,也是其魅力所在,goroutine的本質是協程,是實現並行計算的核心。goroutine使用方式非常的簡單,只需使用go關鍵字即可啟動一個協程,並且它是處於異步方式運行,你不需要等它運行完成以後在執行以後的代碼。

go func()//通過go關鍵字啟動一個協程來運行函數

二、goroutine內部原理

概念介紹

在進行實現原理之前,了解下一些關鍵性術語的概念。

並發

一個cpu上能同時執行多項任務,在很短時間內,cpu來回切換任務執行(在某段很短時間內執行程序a,然後又迅速得切換到程序b去執行),有時間上的重疊(宏觀上是同時的,微觀仍是順序執行),這樣看起來多個任務像是同時執行,這就是並發。

並行

當系統有多個CPU時,每個CPU同一時刻都運行任務,互不搶占自己所在的CPU資源,同時進行,稱為並行。

進程

cpu在切換程序的時候,如果不保存上一個程序的狀態(也就是我們常說的context--上下文),直接切換下一個程序,就會丟失上一個程序的一系列狀態,於是引入了進程這個概念,用以劃分好程序運行時所需要的資源。因此進程就是一個程序運行時候的所需要的基本資源單位(也可以說是程序運行的一個實體)。

線程

cpu切換多個進程的時候,會花費不少的時間,因為切換進程需要切換到內核態,而每次調度需要內核態都需要讀取用戶態的數據,進程一旦多起來,cpu調度會消耗一大堆資源,因此引入了線程的概念,線程本身幾乎不占有資源,他們共享進程里的資源,內核調度起來不會那麼像進程切換那麼耗費資源。

協程

協程擁有自己的寄存器上下文和棧。協程調度切換時,將寄存器上下文和棧保存到其他地方,在切回來的時候,恢復先前保存的寄存器上下文和棧。因此,協程能保留上一次調用時的狀態(即所有局部狀態的一個特定組合),每次過程重入時,就相當於進入上一次調用的狀態,換種說法:進入上一次離開時所處邏輯流的位置。線程和進程的操作是由程序觸發系統接口,最後的執行者是系統;協程的操作執行者則是用戶自身程序,goroutine也是協程。

調度模型簡介

groutine能擁有強大的並發實現是通過GPM調度模型實現,下面就來解釋下goroutine的調度模型。

Go的調度器內部有四個重要的結構:M,P,S,Sched,如上圖所示(Sched未給出)
M:M代表內核級線程,一個M就是一個線程,goroutine就是跑在M之上的;M是一個很大的結構,裡面維護小對象內存cache(mcache)、當前執行的goroutine、隨機數發生器等等非常多的信息
G:代表一個goroutine,它有自己的棧,instruction pointer和其他信息(正在等待的channel等等),用於調度。
P:P全稱是Processor,處理器,它的主要用途就是用來執行goroutine的,所以它也維護了一個goroutine隊列,裡面存儲了所有需要它來執行的goroutine

Sched:代表調度器,它維護有存儲M和G的隊列以及調度器的一些狀態信息等。

調度實現

從上圖中看,有2個物理線程M,每一個M都擁有一個處理器P,每一個也都有一個正在運行的goroutine。
P的數量可以通過GOMAXPROCS()來設置,它其實也就代表了真正的並發度,即有多少個goroutine可以同時運行。
圖中灰色的那些goroutine並沒有運行,而是出於ready的就緒態,正在等待被調度。P維護著這個隊列(稱之為runqueue),
Go語言裡,啟動一個goroutine很容易:go function 就行,所以每有一個go語句被執行,runqueue隊列就在其末尾加入一個
goroutine,在下一個調度點,就從runqueue中取出(如何決定取哪個goroutine?)一個goroutine執行。

當一個OS線程M0陷入阻塞時(如下圖),P轉而在運行M1,圖中的M1可能是正被創建,或者從線程緩存中取出。


當MO返回時,它必須嘗試取得一個P來運行goroutine,一般情況下,它會從其他的OS線程那裡拿一個P過來,
如果沒有拿到的話,它就把goroutine放在一個global runqueue里,然後自己睡眠(放入線程緩存里)。所有的P也會周期性的檢查global runqueue並運行其中的goroutine,否則global runqueue上的goroutine永遠無法執行。 另一種情況是P所分配的任務G很快就執行完了(分配不均),這就導致了這個處理器P很忙,但是其他的P還有任務,此時如果global runqueue沒有任務G了,那麼P不得不從其他的P里拿一些G來執行。一般來說,如果P從其他的P那裡要拿任務的話,一般就拿run queue的一半,這就確保了每個OS線程都能充分的使用,如下圖:

參考地址:http://morsmachine.dk/go-scheduler

三、使用goroutine

基本使用

設置goroutine運行的CPU數量,最新版本的go已經默認已經設置了。

num := runtime.NumCPU()    //獲取主機的邏輯CPU個數
runtime.GOMAXPROCS(num)    //設置可同時執行的最大CPU數

使用示例

package main

import (
    "fmt"
    "time"
)

func cal(a int , b int )  {
    c := a+b
    fmt.Printf("%d + %d = %d\n",a,b,c)
}

func main() {
  
    for i :=0 ; i<10 ;i++{
        go cal(i,i+1)  //啟動10個goroutine 來計算
    }
    time.Sleep(time.Second * 2) // sleep作用是為了等待所有任務完成
} 
//結果
//8 + 9 = 17
//9 + 10 = 19
//4 + 5 = 9
//5 + 6 = 11
//0 + 1 = 1
//1 + 2 = 3
//2 + 3 = 5
//3 + 4 = 7
//7 + 8 = 15
//6 + 7 = 13

goroutine異常捕捉

當啟動多個goroutine時,如果其中一個goroutine異常了,並且我們並沒有對進行異常處理,那麼整個程序都會終止,所以我們在編寫程序時候最好每個goroutine所運行的函數都做異常處理,異常處理採用recover

package main

import (
    "fmt"
    "time"
)

func addele(a []int ,i int)  {
    defer func() {    //匿名函數捕獲錯誤
        err := recover()
        if err != nil {
            fmt.Println("add ele fail")
        }
    }()
   a[i]=i
   fmt.Println(a)
}

func main() {
    Arry := make([]int,4)
    for i :=0 ; i<10 ;i++{
        go addele(Arry,i)
    }
    time.Sleep(time.Second * 2)
}
//結果
add ele fail
[0 0 0 0]
[0 1 0 0]
[0 1 2 0]
[0 1 2 3]
add ele fail
add ele fail
add ele fail
add ele fail
add ele fail

同步的goroutine

由於goroutine是異步執行的,那很有可能出現主程序退出時還有goroutine沒有執行完,此時goroutine也會跟著退出。此時如果想等到所有goroutine任務執行完畢才退出,go提供了sync包和channel來解決同步問題,當然如果你能預測每個goroutine執行的時間,你還可以通過time.Sleep方式等待所有的groutine執行完成以後在退出程序(如上面的列子)。

示例一:使用sync包同步goroutine

sync大致實現方式

WaitGroup 等待一組goroutinue執行完畢. 主程序調用 Add 添加等待的goroutinue數量. 每個goroutinue在執行結束時調用 Done ,此時等待隊列數量減1.,主程序通過Wait阻塞,直到等待隊列為0.

package main

import (
    "fmt"
    "sync"
)

func cal(a int , b int ,n *sync.WaitGroup)  {
    c := a+b
    fmt.Printf("%d + %d = %d\n",a,b,c)
    defer n.Done() //goroutinue完成後, WaitGroup的計數-1

}

func main() {
    var go_sync sync.WaitGroup //聲明一個WaitGroup變量
    for i :=0 ; i<10 ;i++{
        go_sync.Add(1) // WaitGroup的計數加1
        go cal(i,i+1,&go_sync)  
    }
    go_sync.Wait()  //等待所有goroutine執行完畢
}
//結果
9 + 10 = 19
2 + 3 = 5
3 + 4 = 7
4 + 5 = 9
5 + 6 = 11
1 + 2 = 3
6 + 7 = 13
7 + 8 = 15
0 + 1 = 1
8 + 9 = 17

示例二:通過channel實現goroutine之間的同步。

實現方式:通過channel能在多個groutine之間通訊,當一個goroutine完成時候向channel發送退出信號,等所有goroutine退出時候,利用for循環channe去channel中的信號,若取不到數據會阻塞原理,等待所有goroutine執行完畢,使用該方法有個前提是你已經知道了你啟動了多少個goroutine。

package main

import (
    "fmt"
    "time"
)

func cal(a int , b int ,Exitchan chan bool)  {
    c := a+b
    fmt.Printf("%d + %d = %d\n",a,b,c)
    time.Sleep(time.Second*2)
    Exitchan <- true
}

func main() {

    Exitchan := make(chan bool,10)  //聲明並分配管道內存
    for i :=0 ; i<10 ;i++{
        go cal(i,i+1,Exitchan)
    }
    for j :=0; j<10; j++{   
         <- Exitchan  //取信號數據,如果取不到則會阻塞
    }
    close(Exitchan) // 關閉管道
}

goroutine之間的通訊

goroutine本質上是協程,可以理解為不受內核調度,而受go調度器管理的線程。goroutine之間可以通過channel進行通信或者說是數據共享,當然你也可以使用全局變量來進行數據共享。

示例:使用channel模擬消費者和生產者模式

package main

import (
    "fmt"
    "sync"
)

func Productor(mychan chan int,data int,wait *sync.WaitGroup)  {
    mychan <- data
    fmt.Println("product data:",data)
    wait.Done()
}
func Consumer(mychan chan int,wait *sync.WaitGroup)  {
     a := <- mychan
    fmt.Println("consumer data:",a)
     wait.Done()
}
func main() {

    datachan := make(chan int, 100)   //通訊數據管道
    var wg sync.WaitGroup

    for i := 0; i < 10; i++ {
        go Productor(datachan, i,&wg) //生產數據
        wg.Add(1)
    }
    for j := 0; j < 10; j++ {
        go Consumer(datachan,&wg)  //消費數據
        wg.Add(1)
    }
    wg.Wait()
}
//結果
consumer data: 4
product data: 5
product data: 6
product data: 7
product data: 8
product data: 9
consumer data: 1
consumer data: 5
consumer data: 6
consumer data: 7
consumer data: 8
consumer data: 9
product data: 2
consumer data: 2
product data: 3
consumer data: 3
product data: 4
consumer data: 0
product data: 0
product data: 1

四、channel

簡介

channel俗稱管道,用於數據傳遞或數據共享,其本質是一個先進先出的隊列,使用goroutine+channel進行數據通訊簡單高效,同時也線程安全,多個goroutine可同時修改一個channel,不需要加鎖。

channel可分為三種類型:

只讀channel:只能讀channel裡面數據,不可寫入

只寫channel:只能寫數據,不可讀

一般channel:可讀可寫

channel使用

定義和聲明

var readOnlyChan <-chan int            // 只讀chan
var writeOnlyChan chan<- int           // 只寫chan
var mychan  chan int                     //讀寫channel
//定義完成以後需要make來分配內存空間,不然使用會deadlock
mychannel = make(chan int,10)

//或者
read_only := make (<-chan int,10)//定義只讀的channel
write_only := make (chan<- int,10)//定義只寫的channel
read_write := make (chan int,10)//可同時讀寫

讀寫數據

需要注意的是:

  • 管道如果未關閉,在讀取超時會則會引發deadlock異常
  • 管道如果關閉進行寫入數據會pannic
  • 當管道中沒有數據時候再行讀取或讀取到默認值,如int類型默認值是0
ch <- "wd"  //寫數據
a := <- ch //讀取數據
a, ok := <-ch  //優雅的讀取數據

循環管道

需要注意的是:

  • 使用range循環管道,如果管道未關閉會引發deadlock錯誤。
  • 如果採用for死循環已經關閉的管道,當管道沒有數據時候,讀取的數據會是管道的默認值,並且循環不會退出。
package main

import (
    "fmt"
    "time"
)


func main() {
    mychannel := make(chan int,10)
    for i := 0;i < 10;i++{
        mychannel <- i
    }
    close(mychannel)  //關閉管道
    fmt.Println("data lenght: ",len(mychannel))
    for  v := range mychannel {  //循環管道
        fmt.Println(v)
    }
    fmt.Printf("data lenght:  %d",len(mychannel))
}

帶緩衝區channe和不帶緩衝區channel

帶緩衝區channel:定義聲明時候制定了緩衝區大小(長度),可以保存多個數據。

不帶緩衝區channel:只能存一個數據,並且只有當該數據被取出時候才能存下一個數據。

ch := make(chan int) //不帶緩衝區
ch := make(chan int ,10) //帶緩衝區

不帶緩衝區示例:

package main

import "fmt"

func test(c chan int) {
    for i := 0; i < 10; i++ {
        fmt.Println("send ", i)
        c <- i
    }
}
func main() {
    ch := make(chan int)
    go test(ch)
    for j := 0; j < 10; j++ {
        fmt.Println("get ", <-ch)
    }
}


//結果:
send  0
send  1
get  0
get  1
send  2
send  3
get  2
get  3
send  4
send  5
get  4
get  5
send  6
send  7
get  6
get  7
send  8
send  9
get  8
get  9

channel實現作業池

我們創建三個channel,一個channel用於接受任務,一個channel用於保持結果,還有個channel用於決定程序退出的時候。

package main

import (
    "fmt"
)

func Task(taskch, resch chan int, exitch chan bool) {
    defer func() {   //異常處理
        err := recover()
        if err != nil {
            fmt.Println("do task error:", err)
            return
        }
    }()

    for t := range taskch { //  處理任務
        fmt.Println("do task :", t)
        resch <- t //
    }
    exitch <- true //處理完髮送退出信號
}

func main() {
    taskch := make(chan int, 20) //任務管道
    resch := make(chan int, 20)  //結果管道
    exitch := make(chan bool, 5) //退出管道
    go func() {
        for i := 0; i < 10; i++ {
            taskch <- i
        }
        close(taskch)
    }()


    for i := 0; i < 5; i++ {  //啟動5個goroutine做任務
        go Task(taskch, resch, exitch)
    }

    go func() { //等5個goroutine結束
        for i := 0; i < 5; i++ {
            <-exitch
        }
        close(resch)  //任務處理完成關閉結果管道,不然range報錯
        close(exitch)  //關閉退出管道
    }()

    for res := range resch{  //列印結果
        fmt.Println("task res:",res)
    }
}

只讀channel和只寫channel

一般定義只讀和只寫的管道意義不大,更多時候我們可以在參數傳遞時候指明管道可讀還是可寫,即使當前管道是可讀寫的。

package main

import (
    "fmt"
    "time"
)

//只能向chan里寫數據
func send(c chan<- int) {
    for i := 0; i < 10; i++ {
        c <- i
    }
}
//只能取channel中的數據
func get(c <-chan int) {
    for i := range c {
        fmt.Println(i)
    }
}
func main() {
    c := make(chan int)
    go send(c)
    go get(c)
    time.Sleep(time.Second*1)
}
//結果
0
1
2
3
4
5
6
7
8
9

select-case實現非阻塞channel

原理通過select+case加入一組管道,當滿足(這裡說的滿足意思是有數據可讀或者可寫)select中的某個case時候,那麼該case返回,若都不滿足case,則走default分支。

package main

import (
    "fmt"
)

func send(c chan int)  {
    for i :=1 ; i<10 ;i++  {
     c <-i
     fmt.Println("send data : ",i)
    }
}

func main() {
    resch := make(chan int,20)
    strch := make(chan string,10)
    go send(resch)
    strch <- "wd"
    select {
    case a := <-resch:
        fmt.Println("get data : ", a)
    case b := <-strch:
        fmt.Println("get data : ", b)
    default:
        fmt.Println("no channel actvie")

    }

}

//結果:get data :  wd

channel頻率控制

在對channel進行讀寫的時,go還提供了非常人性化的操作,那就是對讀寫的頻率控制,通過time.Ticke實現

示例:

package main

import (
    "time"
    "fmt"
)

func main(){
    requests:= make(chan int ,5)
    for i:=1;i<5;i++{
        requests<-i
    }
    close(requests)
    limiter := time.Tick(time.Second*1)
    for req:=range requests{
        <-limiter
        fmt.Println("requets",req,time.Now()) //執行到這裡,需要隔1秒才繼續往下執行,time.Tick(timer)上面已定義
    }
}
//結果:
requets 1 2018-07-06 10:17:35.98056403 +0800 CST m=+1.004248763
requets 2 2018-07-06 10:17:36.978123472 +0800 CST m=+2.001798205
requets 3 2018-07-06 10:17:37.980869517 +0800 CST m=+3.004544250
requets 4 2018-07-06 10:17:38.976868836 +0800 CST m=+4.000533569
關鍵字: