Go 語(yǔ)言相比Java等一個(gè)很大的優(yōu)勢(shì)就是可以方便地編寫(xiě)并發(fā)程序。Go 語(yǔ)言?xún)?nèi)置了 goroutine 機(jī)制,使用goroutine可以快速地開(kāi)發(fā)并發(fā)程序, 更好的利用多核處理器資源。這篇文章學(xué)習(xí)goroutine 的應(yīng)用及其調(diào)度實(shí)現(xiàn)。
一、Go語(yǔ)言對(duì)并發(fā)的支持
使用goroutine編程
使用 go 關(guān)鍵字用來(lái)創(chuàng)建 goroutine 。將go聲明放到一個(gè)需調(diào)用的函數(shù)之前,在相同地址空間調(diào)用運(yùn)行這個(gè)函數(shù),這樣該函數(shù)執(zhí)行時(shí)便會(huì)作為一個(gè)獨(dú)立的并發(fā)線程。這種線程在Go語(yǔ)言中稱(chēng)作goroutine。
goroutine的用法如下:
//go 關(guān)鍵字放在方法調(diào)用前新建一個(gè) goroutine 并執(zhí)行方法體 go GetThingDone(param1, param2); //新建一個(gè)匿名方法并執(zhí)行 go func(param1, param2) { }(val1, val2) //直接新建一個(gè) goroutine 并在 goroutine 中執(zhí)行代碼塊 go { //do someting... }
因?yàn)?goroutine 在多核 cpu 環(huán)境下是并行的。如果代碼塊在多個(gè) goroutine 中執(zhí)行,我們就實(shí)現(xiàn)了代碼并行。
如果需要了解程序的執(zhí)行情況,怎么拿到并行的結(jié)果呢?需要配合使用channel進(jìn)行。
使用Channel控制并發(fā)
Channels用來(lái)同步并發(fā)執(zhí)行的函數(shù)并提供它們某種傳值交流的機(jī)制。
通過(guò)channel傳遞的元素類(lèi)型、容器(或緩沖區(qū))和傳遞的方向由“-”操作符指定。
可以使用內(nèi)置函數(shù) make分配一個(gè)channel:
i := make(chan int) // by default the capacity is 0 s := make(chan string, 3) // non-zero capacity r := make(-chan bool) // can only read from w := make(chan- []os.FileInfo) // can only write to
配置runtime.GOMAXPROCS
使用下面的代碼可以顯式的設(shè)置是否使用多核來(lái)執(zhí)行并發(fā)任務(wù):
runtime.GOMAXPROCS()
GOMAXPROCS的數(shù)目根據(jù)任務(wù)量分配就可以,但是不要大于cpu核數(shù)。
配置并行執(zhí)行比較適合適合于CPU密集型、并行度比較高的情景,如果是IO密集型使用多核的化會(huì)增加cpu切換帶來(lái)的性能損失。
了解了Go語(yǔ)言的并發(fā)機(jī)制,接下來(lái)看一下goroutine 機(jī)制的具體實(shí)現(xiàn)。
二、區(qū)別并行與并發(fā)
進(jìn)程、線程與處理器
在現(xiàn)代操作系統(tǒng)中,線程是處理器調(diào)度和分配的基本單位,進(jìn)程則作為資源擁有的基本單位。每個(gè)進(jìn)程是由私有的虛擬地址空間、代碼、數(shù)據(jù)和其它各種系統(tǒng)資源組成。線程是進(jìn)程內(nèi)部的一個(gè)執(zhí)行單元。 每一個(gè)進(jìn)程至少有一個(gè)主執(zhí)行線程,它無(wú)需由用戶(hù)去主動(dòng)創(chuàng)建,是由系統(tǒng)自動(dòng)創(chuàng)建的。 用戶(hù)根據(jù)需要在應(yīng)用程序中創(chuàng)建其它線程,多個(gè)線程并發(fā)地運(yùn)行于同一個(gè)進(jìn)程中。
并行與并發(fā)
并行與并發(fā)(Concurrency and Parallelism)是兩個(gè)不同的概念,理解它們對(duì)于理解多線程模型非常重要。
在描述程序的并發(fā)或者并行時(shí),應(yīng)該說(shuō)明從進(jìn)程或者線程的角度出發(fā)。
非并發(fā)的程序只有一個(gè)垂直的控制邏輯,在任何時(shí)刻,程序只會(huì)處在這個(gè)控制邏輯的某個(gè)位置,也就是順序執(zhí)行。如果一個(gè)程序在某一時(shí)刻被多個(gè)CPU流水線同時(shí)進(jìn)行處理,那么我們就說(shuō)這個(gè)程序是以并行的形式在運(yùn)行。
并行需要硬件支持,單核處理器只能是并發(fā),多核處理器才能做到并行執(zhí)行。
舉一個(gè)例子,編寫(xiě)一個(gè)最簡(jiǎn)單的順序結(jié)構(gòu)程序輸出"Hello World",它就是非并發(fā)的,如果在程序中增加多線程,每個(gè)線程打印一個(gè)"Hello World",那么這個(gè)程序就是并發(fā)的。如果運(yùn)行時(shí)只給這個(gè)程序分配單個(gè)CPU,這個(gè)并發(fā)程序還不是并行的,需要部署在多核處理器上,才能實(shí)現(xiàn)程序的并行。
三、幾種不同的多線程模型
用戶(hù)線程與內(nèi)核級(jí)線程
線程的實(shí)現(xiàn)可以分為兩類(lèi):用戶(hù)級(jí)線程(User-LevelThread, ULT)和內(nèi)核級(jí)線程(Kemel-LevelThread, KLT)。用戶(hù)線程由用戶(hù)代碼支持,內(nèi)核線程由操作系統(tǒng)內(nèi)核支持。
多線程模型
多線程模型即用戶(hù)級(jí)線程和內(nèi)核級(jí)線程的不同連接方式。
(1)多對(duì)一模型(M : 1)
將多個(gè)用戶(hù)級(jí)線程映射到一個(gè)內(nèi)核級(jí)線程,線程管理在用戶(hù)空間完成。 此模式中,用戶(hù)級(jí)線程對(duì)操作系統(tǒng)不可見(jiàn)(即透明)。
優(yōu)點(diǎn): 這種模型的好處是線程上下文切換都發(fā)生在用戶(hù)空間,避免的模態(tài)切換(mode switch),從而對(duì)于性能有積極的影響。
缺點(diǎn):所有的線程基于一個(gè)內(nèi)核調(diào)度實(shí)體即內(nèi)核線程,這意味著只有一個(gè)處理器可以被利用,在多處理器環(huán)境下這是不能夠被接受的,本質(zhì)上,用戶(hù)線程只解決了并發(fā)問(wèn)題,但是沒(méi)有解決并行問(wèn)題。如果線程因?yàn)?I/O 操作陷入了內(nèi)核態(tài),內(nèi)核態(tài)線程阻塞等待 I/O 數(shù)據(jù),則所有的線程都將會(huì)被阻塞,用戶(hù)空間也可以使用非阻塞而 I/O,但是不能避免性能及復(fù)雜度問(wèn)題。
(2) 一對(duì)一模型(1:1)
將每個(gè)用戶(hù)級(jí)線程映射到一個(gè)內(nèi)核級(jí)線程。
每個(gè)線程由內(nèi)核調(diào)度器獨(dú)立的調(diào)度,所以如果一個(gè)線程阻塞則不影響其他的線程。
優(yōu)點(diǎn):在多核處理器的硬件的支持下,內(nèi)核空間線程模型支持了真正的并行,當(dāng)一個(gè)線程被阻塞后,允許另一個(gè)線程繼續(xù)執(zhí)行,所以并發(fā)能力較強(qiáng)。
缺點(diǎn):每創(chuàng)建一個(gè)用戶(hù)級(jí)線程都需要?jiǎng)?chuàng)建一個(gè)內(nèi)核級(jí)線程與其對(duì)應(yīng),這樣創(chuàng)建線程的開(kāi)銷(xiāo)比較大,會(huì)影響到應(yīng)用程序的性能。
(3)多對(duì)多模型(M : N)
內(nèi)核線程和用戶(hù)線程的數(shù)量比為 M : N,內(nèi)核用戶(hù)空間綜合了前兩種的優(yōu)點(diǎn)。
這種模型需要內(nèi)核線程調(diào)度器和用戶(hù)空間線程調(diào)度器相互操作,本質(zhì)上是多個(gè)線程被綁定到了多個(gè)內(nèi)核線程上,這使得大部分的線程上下文切換都發(fā)生在用戶(hù)空間,而多個(gè)內(nèi)核線程又可以充分利用處理器資源。
四、goroutine機(jī)制的調(diào)度實(shí)現(xiàn)
goroutine機(jī)制實(shí)現(xiàn)了M : N的線程模型,goroutine機(jī)制是協(xié)程(coroutine)的一種實(shí)現(xiàn),golang內(nèi)置的調(diào)度器,可以讓多核CPU中每個(gè)CPU執(zhí)行一個(gè)協(xié)程。
理解goroutine機(jī)制的原理,關(guān)鍵是理解Go語(yǔ)言scheduler的實(shí)現(xiàn)。
調(diào)度器是如何工作的
Go語(yǔ)言中支撐整個(gè)scheduler實(shí)現(xiàn)的主要有4個(gè)重要結(jié)構(gòu),分別是M、G、P、Sched, 前三個(gè)定義在runtime.h中,Sched定義在proc.c中。
Processor的數(shù)量是在啟動(dòng)時(shí)被設(shè)置為環(huán)境變量GOMAXPROCS的值,或者通過(guò)運(yùn)行時(shí)調(diào)用函數(shù)GOMAXPROCS()進(jìn)行設(shè)置。Processor數(shù)量固定意味著任意時(shí)刻只有GOMAXPROCS個(gè)線程在運(yùn)行g(shù)o代碼。
參考這篇傳播很廣的博客:http://morsmachine.dk/go-scheduler
我們分別用三角形,矩形和圓形表示Machine Processor和Goroutine。
在單核處理器的場(chǎng)景下,所有g(shù)oroutine運(yùn)行在同一個(gè)M系統(tǒng)線程中,每一個(gè)M系統(tǒng)線程維護(hù)一個(gè)Processor,任何時(shí)刻,一個(gè)Processor中只有一個(gè)goroutine,其他goroutine在runqueue中等待。一個(gè)goroutine運(yùn)行完自己的時(shí)間片后,讓出上下文,回到runqueue中。 多核處理器的場(chǎng)景下,為了運(yùn)行g(shù)oroutines,每個(gè)M系統(tǒng)線程會(huì)持有一個(gè)Processor。
在正常情況下,scheduler會(huì)按照上面的流程進(jìn)行調(diào)度,但是線程會(huì)發(fā)生阻塞等情況,看一下goroutine對(duì)線程阻塞等的處理。
線程阻塞
當(dāng)正在運(yùn)行的goroutine阻塞的時(shí)候,例如進(jìn)行系統(tǒng)調(diào)用,會(huì)再創(chuàng)建一個(gè)系統(tǒng)線程(M1),當(dāng)前的M線程放棄了它的Processor,P轉(zhuǎn)到新的線程中去運(yùn)行。
runqueue執(zhí)行完成
當(dāng)其中一個(gè)Processor的runqueue為空,沒(méi)有g(shù)oroutine可以調(diào)度。它會(huì)從另外一個(gè)上下文偷取一半的goroutine。
五、對(duì)并發(fā)實(shí)現(xiàn)的進(jìn)一步思考
Go語(yǔ)言的并發(fā)機(jī)制還有很多值得探討的,比如Go語(yǔ)言和Scala并發(fā)實(shí)現(xiàn)的不同,Golang CSP 和Actor模型的對(duì)比等。
了解并發(fā)機(jī)制的這些實(shí)現(xiàn),可以幫助我們更好的進(jìn)行并發(fā)程序的開(kāi)發(fā),實(shí)現(xiàn)性能的最優(yōu)化。
關(guān)于三種多線程模型,可以關(guān)注一下Java語(yǔ)言的實(shí)現(xiàn)。
我們知道Java通過(guò)JVM封裝了底層操作系統(tǒng)的差異,而不同的操作系統(tǒng)可能使用不同的線程模型,例如Linux和windows可能使用了一對(duì)一模型,solaris和unix某些版本可能使用多對(duì)多模型。JVM規(guī)范里沒(méi)有規(guī)定多線程模型的具體實(shí)現(xiàn),1:1(內(nèi)核線程)、N:1(用戶(hù)態(tài)線程)、M:N(混合)模型的任何一種都可以。談到Java語(yǔ)言的多線程模型,需要針對(duì)具體JVM實(shí)現(xiàn),比如Oracle/Sun的HotSpot VM,默認(rèn)使用1:1線程模型。
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
標(biāo)簽:阿壩 滄州 昭通 東營(yíng) 晉中 泰安 瀘州 駐馬店
巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《淺談Go語(yǔ)言并發(fā)機(jī)制》,本文關(guān)鍵詞 淺談,語(yǔ)言,并發(fā),機(jī)制,淺談,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問(wèn)題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無(wú)關(guān)。