Go:并发和调度程序亲和性 Concurrency & Scheduler Affinity

将一个goroutine从一个OS线程切换到另一个线程是有成本的,并且如果这种情况发生得太频繁,可能会使应用程序变慢。但是,随着时间的流逝,Go调度程序已经解决了这个问题。现在,当并发工作时,它可以在goroutine和线程之间提供关联。让我们回溯几年前来了解这种改进。

原始问题

在Go的早期,比如Go 1.0和1.1,当使用更多OS线程(即,更高的GOMAXPROCS值)运行并发代码时,该语言将面临性能下降的问题。让我们从计算素数的文档中使用一个示例开始:

// A concurrent prime sieve

package main

// Send the sequence 2, 3, 4, ... to channel 'ch'.
func Generate(ch chan<- int) {
	for i := 2; ; i++ {
		ch <- i // Send 'i' to channel 'ch'.
	}
}

// Copy the values from channel 'in' to channel 'out',
// removing those divisible by 'prime'.
func Filter(in <-chan int, out chan<- int, prime int) {
	for {
		i := <-in // Receive value from 'in'.
		if i%prime != 0 {
			out <- i // Send 'i' to 'out'.
		}
	}
}

// The prime sieve: Daisy-chain Filter processes.
func main() {
	ch := make(chan int) // Create a new channel.
	go Generate(ch)      // Launch Generate goroutine.
	for i := 0; i < 10; i++ {
		prime := <-ch
		print(prime, "\n")
		ch1 := make(chan int)
		go Filter(ch, ch1, prime)
		ch = ch1
	}
}

这是使用多个GOMAXPROCS值计算前十万个素数时Go 1.0.3的基准:

name time/op  
Sieve 19.2s ± 0%  
Sieve-2 19.3s ± 0%  
Sieve-4 20.4s ± 0%  
Sieve-8 20.4s ± 0%

要了解这些结果,我们需要了解此时如何设计调度程序。在Go的第一个版本中,调度程序只有一个全局队列,所有线程都可以在其中推送并获取goroutine。这是一个应用程序的示例,该应用程序最多将两个操作系统线程(以下架构中的M)运行(通过将GOMAXPROCS设置为两个来定义):

仅具有一个队列并不能保证goroutine将在同一线程上恢复。准备就绪的第一个线程将提取一个等待的goroutine并将其运行。因此,它涉及将goroutines从一个线程转移到另一个线程,并且在性能方面代价很高。这是一个带有阻塞通道的示例:

  • Goroutine#7在通道上阻塞,正在等待消息。收到消息后,goroutine将推入全局队列:
  • 然后,通道推送消息,并且goroutine #X将在可用线程上运行,而goroutine#8在通道上阻塞:
  • goroutine#7现在在可用线程上运行:

现在,goroutine在不同的线程上运行。具有单个全局队列也将迫使调度程序具有一个覆盖所有goroutines调度操作的单个全局互斥量。这是使用pprof创建的CPU配置文件,其中GOMAXPROCS设置为height:

Total: 8679 samples  
3700 42.6% 42.6% 3700 42.6% runtime.procyield  
1055 12.2% 54.8% 1055 12.2% runtime.xchg  
753 8.7% 63.5% 1590 18.3% runtime.chanrecv  
677 7.8% 71.3% 677 7.8% dequeue  
438 5.0% 76.3% 438 5.0% runtime.futex  
367 4.2% 80.5% 5924 68.3% main.filter  
234 2.7% 83.2% 5005 57.7% runtime.lock  
230 2.7% 85.9% 3933 45.3% runtime.chansend  
214 2.5% 88.4% 214 2.5% runtime.osyield  
150 1.7% 90.1% 150 1.7% runtime.cas

procyieldxchgfutexlock都与Go调度程序的全局互斥量有关。我们清楚地看到,应用程序将大部分时间都花在了锁定上。

这些问题不允许Go发挥处理器的优势,并且在Go 1.1中使用新的调度程序解决了这些问题。

并发中的亲和性

Go 1.1附带了新调度程序的实现和本地goroutine队列的创建。如果存在本地goroutine,此改进避免了锁定整个调度程序,并允许它们在同一OS线程上工作。

由于线程可以阻塞系统调用,并且不受限制的线程数没有限制,因此Go引入了处理器的概念。处理器P代表一个正在运行的OS线程,它将管理本地goroutine队列。这是新的架构:

这是Go 1.1.2中新计划程序的新基准:

name time/op  
Sieve 18.7s ± 0%  
Sieve-2 8.26s ± 0%  
Sieve-4 3.30s ± 0%  
Sieve-8 2.64s ± 0%

Go现在真正利用了所有可用的CPU。 CPU配置文件也已更改:

Total: 630 samples  
163 25.9% 25.9% 163 25.9% runtime.xchg  
113 17.9% 43.8% 610 96.8% main.filter  
93 14.8% 58.6% 265 42.1% runtime.chanrecv  
87 13.8% 72.4% 206 32.7% runtime.chansend  
72 11.4% 83.8% 72 11.4% dequeue  
19 3.0% 86.8% 19 3.0% runtime.memcopy64  
17 2.7% 89.5% 225 35.7% runtime.chansend1  
16 2.5% 92.1% 280 44.4% runtime.chanrecv2  
12 1.9% 94.0% 141 22.4% runtime.lock  
9 1.4% 95.4% 98 15.6% runqput

与锁定相关的大多数操作已被删除,标记为chanXXXX的操作仅与通道相关。但是,如果调度程序改善了goroutine和线程之间的亲和力,则在某些情况下可以减少这种亲和力。

亲和性限制

要了解亲和性的限制,我们必须了解对本地和全局队列的处理。本地队列将用于所有需要系统调用的操作,例如阻塞通道和选择的操作,等待计时器和锁定。但是,两个功能可能会限制goroutine和线程之间的关联:

  • Worker抢夺。当处理器 P 的本地队列中没有足够的worker时,如果全局队列和网络轮询器为空,它将从其他 P 窃取goroutine。当被抢夺时,goroutine将在另一个线程上运行。
  • 系统调用。当发生系统调用时(例如文件操作,http调用,数据库操作等),Go会将运行中的OS线程移入阻塞模式,让新线程处理当前P上的本地队列。

但是,通过更好地管理本地队列的优先级,可以避免这两个限制。 Go 1.5旨在为goroutine在通道上来回通信提供更高的优先级,从而优化与分配的线程的亲和力。

为了增强亲和力

如前所述,在通道上来回通信的goroutine会导致频繁的阻塞,即在本地队列中频繁地重新排队。但是,由于本地队列具有FIFO实现,因此,如果另一个goroutine正在占用线程,则unblock goroutine不能保证尽快运行。这是一个goroutine的示例,该例程现在可以运行并且以前在通道上被阻止:

Goroutine#9在通道上被阻塞后恢复。但是,它必须在运行之前等待#2,#5和#4。在此示例中,goroutine#5将占用其线程,从而延迟goroutine#9,并使之处于被其他处理器窃取的危险中。从Go 1.5开始,由于其 P 的特殊属性,从阻塞通道返回的goroutine现在将优先运行:

Goroutine#9现在被标记为下一个可运行的。这种新的优先级划分功能使goroutine可以在再次被阻塞之前迅速运行。然后,其他goroutine将具有运行时间。此更改对Go标准库改善了某些软件包的性能产生了总体积极影响。


原文来自: https://medium.com/a-journey-with-go/go-concurrency-scheduler-affinity-3b678f490488

作者:Vincent Blanchon[3]译者:dust347[4]校对:polaris1119[5]

未经允许随便转载:看过够 » Go:并发和调度程序亲和性 Concurrency & Scheduler Affinity

赞 (0) 打赏

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏