Go 語(yǔ)言相比Java等一個(gè)很大的優(yōu)勢(shì)就是可以方便地編寫(xiě)并發(fā)程序。Go 語(yǔ)言?xún)?nèi)置了 goroutine 機(jī)制，使用goroutine可以快速地開(kāi)發(fā)并發(fā)程序， 更好的利用多核處理器資源。這篇文章學(xué)習(xí)goroutine 的應(yīng)用及其調(diào)度實(shí)現(xiàn)。

一、Go語(yǔ)言對(duì)并發(fā)的支持

使用goroutine編程

使用 go 關(guān)鍵字用來(lái)創(chuàng)建 goroutine 。將go聲明放到一個(gè)需調(diào)用的函數(shù)之前，在相同地址空間調(diào)用運(yùn)行這個(gè)函數(shù)，這樣該函數(shù)執(zhí)行時(shí)便會(huì)作為一個(gè)獨(dú)立的并發(fā)線程。這種線程在Go語(yǔ)言中稱(chēng)作goroutine。

goroutine的用法如下：

//go 關(guān)鍵字放在方法調(diào)用前新建一個(gè) goroutine 并執(zhí)行方法體

go GetThingDone(param1, param2);

 

//新建一個(gè)匿名方法并執(zhí)行

go func(param1, param2) {

}(val1, val2)

 

//直接新建一個(gè) goroutine 并在 goroutine 中執(zhí)行代碼塊

go {

  //do someting...

} 

因?yàn)?goroutine 在多核 cpu 環(huán)境下是并行的。如果代碼塊在多個(gè) goroutine 中執(zhí)行，我們就實(shí)現(xiàn)了代碼并行。

如果需要了解程序的執(zhí)行情況，怎么拿到并行的結(jié)果呢？需要配合使用channel進(jìn)行。

使用Channel控制并發(fā)

Channels用來(lái)同步并發(fā)執(zhí)行的函數(shù)并提供它們某種傳值交流的機(jī)制。

通過(guò)channel傳遞的元素類(lèi)型、容器（或緩沖區(qū)）和傳遞的方向由“-”操作符指定。

可以使用內(nèi)置函數(shù) make分配一個(gè)channel:

i := make(chan int)    // by default the capacity is 0

s := make(chan string, 3) // non-zero capacity

 

r := make(-chan bool)     // can only read from

w := make(chan- []os.FileInfo) // can only write to 

配置runtime.GOMAXPROCS

使用下面的代碼可以顯式的設(shè)置是否使用多核來(lái)執(zhí)行并發(fā)任務(wù)：

runtime.GOMAXPROCS()

GOMAXPROCS的數(shù)目根據(jù)任務(wù)量分配就可以，但是不要大于cpu核數(shù)。

配置并行執(zhí)行比較適合適合于CPU密集型、并行度比較高的情景，如果是IO密集型使用多核的化會(huì)增加cpu切換帶來(lái)的性能損失。

了解了Go語(yǔ)言的并發(fā)機(jī)制，接下來(lái)看一下goroutine 機(jī)制的具體實(shí)現(xiàn)。

二、區(qū)別并行與并發(fā)

進(jìn)程、線程與處理器

在現(xiàn)代操作系統(tǒng)中，線程是處理器調(diào)度和分配的基本單位，進(jìn)程則作為資源擁有的基本單位。每個(gè)進(jìn)程是由私有的虛擬地址空間、代碼、數(shù)據(jù)和其它各種系統(tǒng)資源組成。線程是進(jìn)程內(nèi)部的一個(gè)執(zhí)行單元。 每一個(gè)進(jìn)程至少有一個(gè)主執(zhí)行線程，它無(wú)需由用戶(hù)去主動(dòng)創(chuàng)建，是由系統(tǒng)自動(dòng)創(chuàng)建的。 用戶(hù)根據(jù)需要在應(yīng)用程序中創(chuàng)建其它線程，多個(gè)線程并發(fā)地運(yùn)行于同一個(gè)進(jìn)程中。

并行與并發(fā)

并行與并發(fā)（Concurrency and Parallelism）是兩個(gè)不同的概念，理解它們對(duì)于理解多線程模型非常重要。

在描述程序的并發(fā)或者并行時(shí)，應(yīng)該說(shuō)明從進(jìn)程或者線程的角度出發(fā)。

1. 并發(fā)：一個(gè)時(shí)間段內(nèi)有很多的線程或進(jìn)程在執(zhí)行，但何時(shí)間點(diǎn)上都只有一個(gè)在執(zhí)行，多個(gè)線程或進(jìn)程爭(zhēng)搶時(shí)間片輪流執(zhí)行
2. 并行：一個(gè)時(shí)間段和時(shí)間點(diǎn)上都有多個(gè)線程或進(jìn)程在執(zhí)行

非并發(fā)的程序只有一個(gè)垂直的控制邏輯，在任何時(shí)刻，程序只會(huì)處在這個(gè)控制邏輯的某個(gè)位置，也就是順序執(zhí)行。如果一個(gè)程序在某一時(shí)刻被多個(gè)CPU流水線同時(shí)進(jìn)行處理，那么我們就說(shuō)這個(gè)程序是以并行的形式在運(yùn)行。

并行需要硬件支持，單核處理器只能是并發(fā)，多核處理器才能做到并行執(zhí)行。

1. 并發(fā)是并行的必要條件，如果一個(gè)程序本身就不是并發(fā)的，也就是只有一個(gè)邏輯執(zhí)行順序，那么我們不可能讓其被并行處理。
2. 并發(fā)不是并行的充分條件，一個(gè)并發(fā)的程序，如果只被一個(gè)CPU進(jìn)行處理(通過(guò)分時(shí))，那么它就不是并行的。

舉一個(gè)例子，編寫(xiě)一個(gè)最簡(jiǎn)單的順序結(jié)構(gòu)程序輸出"Hello World"，它就是非并發(fā)的，如果在程序中增加多線程，每個(gè)線程打印一個(gè)"Hello World"，那么這個(gè)程序就是并發(fā)的。如果運(yùn)行時(shí)只給這個(gè)程序分配單個(gè)CPU，這個(gè)并發(fā)程序還不是并行的，需要部署在多核處理器上，才能實(shí)現(xiàn)程序的并行。

三、幾種不同的多線程模型

用戶(hù)線程與內(nèi)核級(jí)線程

線程的實(shí)現(xiàn)可以分為兩類(lèi)：用戶(hù)級(jí)線程(User-LevelThread, ULT)和內(nèi)核級(jí)線程(Kemel-LevelThread, KLT)。用戶(hù)線程由用戶(hù)代碼支持，內(nèi)核線程由操作系統(tǒng)內(nèi)核支持。

多線程模型

多線程模型即用戶(hù)級(jí)線程和內(nèi)核級(jí)線程的不同連接方式。

（1）多對(duì)一模型（M : 1）

將多個(gè)用戶(hù)級(jí)線程映射到一個(gè)內(nèi)核級(jí)線程，線程管理在用戶(hù)空間完成。 此模式中，用戶(hù)級(jí)線程對(duì)操作系統(tǒng)不可見(jiàn)（即透明）。

優(yōu)點(diǎn)： 這種模型的好處是線程上下文切換都發(fā)生在用戶(hù)空間，避免的模態(tài)切換（mode switch），從而對(duì)于性能有積極的影響。

缺點(diǎn)：所有的線程基于一個(gè)內(nèi)核調(diào)度實(shí)體即內(nèi)核線程，這意味著只有一個(gè)處理器可以被利用，在多處理器環(huán)境下這是不能夠被接受的，本質(zhì)上，用戶(hù)線程只解決了并發(fā)問(wèn)題，但是沒(méi)有解決并行問(wèn)題。如果線程因?yàn)?I/O 操作陷入了內(nèi)核態(tài)，內(nèi)核態(tài)線程阻塞等待 I/O 數(shù)據(jù)，則所有的線程都將會(huì)被阻塞，用戶(hù)空間也可以使用非阻塞而 I/O，但是不能避免性能及復(fù)雜度問(wèn)題。

（2） 一對(duì)一模型（1：1）

將每個(gè)用戶(hù)級(jí)線程映射到一個(gè)內(nèi)核級(jí)線程。

每個(gè)線程由內(nèi)核調(diào)度器獨(dú)立的調(diào)度，所以如果一個(gè)線程阻塞則不影響其他的線程。

優(yōu)點(diǎn)：在多核處理器的硬件的支持下，內(nèi)核空間線程模型支持了真正的并行，當(dāng)一個(gè)線程被阻塞后，允許另一個(gè)線程繼續(xù)執(zhí)行，所以并發(fā)能力較強(qiáng)。

缺點(diǎn)：每創(chuàng)建一個(gè)用戶(hù)級(jí)線程都需要?jiǎng)?chuàng)建一個(gè)內(nèi)核級(jí)線程與其對(duì)應(yīng)，這樣創(chuàng)建線程的開(kāi)銷(xiāo)比較大，會(huì)影響到應(yīng)用程序的性能。

（3）多對(duì)多模型（M : N）

內(nèi)核線程和用戶(hù)線程的數(shù)量比為 M : N，內(nèi)核用戶(hù)空間綜合了前兩種的優(yōu)點(diǎn)。

這種模型需要內(nèi)核線程調(diào)度器和用戶(hù)空間線程調(diào)度器相互操作，本質(zhì)上是多個(gè)線程被綁定到了多個(gè)內(nèi)核線程上，這使得大部分的線程上下文切換都發(fā)生在用戶(hù)空間，而多個(gè)內(nèi)核線程又可以充分利用處理器資源。

四、goroutine機(jī)制的調(diào)度實(shí)現(xiàn)

goroutine機(jī)制實(shí)現(xiàn)了M : N的線程模型，goroutine機(jī)制是協(xié)程（coroutine）的一種實(shí)現(xiàn)，golang內(nèi)置的調(diào)度器，可以讓多核CPU中每個(gè)CPU執(zhí)行一個(gè)協(xié)程。

理解goroutine機(jī)制的原理，關(guān)鍵是理解Go語(yǔ)言scheduler的實(shí)現(xiàn)。

調(diào)度器是如何工作的

Go語(yǔ)言中支撐整個(gè)scheduler實(shí)現(xiàn)的主要有4個(gè)重要結(jié)構(gòu)，分別是M、G、P、Sched， 前三個(gè)定義在runtime.h中，Sched定義在proc.c中。

1. Sched結(jié)構(gòu)就是調(diào)度器，它維護(hù)有存儲(chǔ)M和G的隊(duì)列以及調(diào)度器的一些狀態(tài)信息等。
2. M結(jié)構(gòu)是Machine，系統(tǒng)線程，它由操作系統(tǒng)管理的，goroutine就是跑在M之上的；M是一個(gè)很大的結(jié)構(gòu)，里面維護(hù)小對(duì)象內(nèi)存cache（mcache）、當(dāng)前執(zhí)行的goroutine、隨機(jī)數(shù)發(fā)生器等等非常多的信息。
3. P結(jié)構(gòu)是Processor，處理器，它的主要用途就是用來(lái)執(zhí)行g(shù)oroutine的，它維護(hù)了一個(gè)goroutine隊(duì)列，即runqueue。Processor是讓我們從N:1調(diào)度到M:N調(diào)度的重要部分。
4. G是goroutine實(shí)現(xiàn)的核心結(jié)構(gòu)，它包含了棧，指令指針，以及其他對(duì)調(diào)度goroutine很重要的信息，例如其阻塞的channel。

Processor的數(shù)量是在啟動(dòng)時(shí)被設(shè)置為環(huán)境變量GOMAXPROCS的值，或者通過(guò)運(yùn)行時(shí)調(diào)用函數(shù)GOMAXPROCS()進(jìn)行設(shè)置。Processor數(shù)量固定意味著任意時(shí)刻只有GOMAXPROCS個(gè)線程在運(yùn)行g(shù)o代碼。

參考這篇傳播很廣的博客：http://morsmachine.dk/go-scheduler

我們分別用三角形，矩形和圓形表示Machine Processor和Goroutine。

在單核處理器的場(chǎng)景下，所有g(shù)oroutine運(yùn)行在同一個(gè)M系統(tǒng)線程中，每一個(gè)M系統(tǒng)線程維護(hù)一個(gè)Processor，任何時(shí)刻，一個(gè)Processor中只有一個(gè)goroutine，其他goroutine在runqueue中等待。一個(gè)goroutine運(yùn)行完自己的時(shí)間片后，讓出上下文，回到runqueue中。 多核處理器的場(chǎng)景下，為了運(yùn)行g(shù)oroutines，每個(gè)M系統(tǒng)線程會(huì)持有一個(gè)Processor。

在正常情況下，scheduler會(huì)按照上面的流程進(jìn)行調(diào)度，但是線程會(huì)發(fā)生阻塞等情況，看一下goroutine對(duì)線程阻塞等的處理。

線程阻塞

當(dāng)正在運(yùn)行的goroutine阻塞的時(shí)候，例如進(jìn)行系統(tǒng)調(diào)用，會(huì)再創(chuàng)建一個(gè)系統(tǒng)線程（M1），當(dāng)前的M線程放棄了它的Processor，P轉(zhuǎn)到新的線程中去運(yùn)行。

runqueue執(zhí)行完成

當(dāng)其中一個(gè)Processor的runqueue為空，沒(méi)有g(shù)oroutine可以調(diào)度。它會(huì)從另外一個(gè)上下文偷取一半的goroutine。

五、對(duì)并發(fā)實(shí)現(xiàn)的進(jìn)一步思考

Go語(yǔ)言的并發(fā)機(jī)制還有很多值得探討的，比如Go語(yǔ)言和Scala并發(fā)實(shí)現(xiàn)的不同，Golang CSP 和Actor模型的對(duì)比等。

了解并發(fā)機(jī)制的這些實(shí)現(xiàn)，可以幫助我們更好的進(jìn)行并發(fā)程序的開(kāi)發(fā)，實(shí)現(xiàn)性能的最優(yōu)化。

關(guān)于三種多線程模型，可以關(guān)注一下Java語(yǔ)言的實(shí)現(xiàn)。

我們知道Java通過(guò)JVM封裝了底層操作系統(tǒng)的差異，而不同的操作系統(tǒng)可能使用不同的線程模型，例如Linux和windows可能使用了一對(duì)一模型，solaris和unix某些版本可能使用多對(duì)多模型。JVM規(guī)范里沒(méi)有規(guī)定多線程模型的具體實(shí)現(xiàn)，1:1（內(nèi)核線程）、N:1（用戶(hù)態(tài)線程）、M:N（混合）模型的任何一種都可以。談到Java語(yǔ)言的多線程模型，需要針對(duì)具體JVM實(shí)現(xiàn)，比如Oracle/Sun的HotSpot VM，默認(rèn)使用1:1線程模型。

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。