Go语言高并发时append方法偶现错误的解决方法

在实现图片转码的需求时,需要支持最大 500 个图片下载后转换格式;

如果是一个一个下载后转码,耗时太长,需要使用 goroutine 实现 500 个图片并发下载后,并发转码;

但自测过程中发现,会偶现下载后只转换了 499 个图片或更少的情况(全部下载、转码成功的条件下);

然后就开始了打印日志找 bug 的过程。

排查问题

因为并发时使用到了 sync 等待全部协程结束,起初以为是 sync 异步等待出了问题;

打印日志发现,正常执行了 500 次下载,执行完成下载之后,继续执行的转码操作,排除 sync 异步等待有问题;

代码如下:

import (
    "github.com/satori/go.uuid"
    "sync"
)
func downloadFiles(nWait *sync.WaitGroup, urls []interface{}, successFiles *[]string, failedFiles *[]string) {
    // 遍历 urls 进行下载
    for _, value := range urls {
        go func(value interface{}) {
            defer nWait.Done()                                                     // 执行结束,协程减 1
            fullname := config.TranscodeDownloadPath + "/" + uuid.NewV4().String() // 需要确保文件名的唯一性 (防止不同用户同一时间操作了同一文件,导致转码失败)
            err := utils.DownloadCeph(value.(string), fullname)                    // 下载文件
            // 下载文件状态记录
            if err != nil {
                *failedFiles = append(*failedFiles, fullname)
            } else {
                *successFiles = append(*successFiles, fullname)
            }
        }(value)
    }
}
// 前端传入的图片 url
strUrlList := req["strUrlList"]
// 初始化变量
nWait := sync.WaitGroup{}          // 多协程异步等待
var successFiles []string  // 下载成功文件
var failedFiles []string           // 下载失败文件
// 遍历 strUrlList 进行下载
log.Error("开始下载!长度:", len(strUrlList))
nWait.Add(len(strUrlList)) // 等待协程数
downloadFiles(&nWait, strUrlList, &successFiles, &failedFiles)
nWait.Wait() // 阻塞,等待完成
log.Error("下载结束!长度:", len(successFiles))
//...
log.Error("下载转码!")
//...

日志如下:

2022-10-29 21:28:51.996 ERROR   services/tools.go:149   开始下载!长度:500
2022-10-29 21:28:52.486 ERROR   services/tools.go:153   下载结束!长度:499
2022-10-29 21:28:52.486 ERROR   services/tools.go:155   开始转码!

打印更详细的日志,对 for range 循环内的逻辑进行排查;
在单个 for 循环结束时增加日志:

log.Error("下载协程结束: ", len(*successFiles))

发现一处特殊的日志:

2022-10-29 21:40:38.407 ERROR   services/tools.go:35    下载协程结束: 63
2022-10-29 21:40:38.407 ERROR   services/tools.go:35    下载协程结束: 64
2022-10-29 21:40:38.407 ERROR   services/tools.go:35    下载协程结束: 65
2022-10-29 21:40:38.407 ERROR   services/tools.go:35    下载协程结束: 65
2022-10-29 21:40:38.408 ERROR   services/tools.go:35    下载协程结束: 66
2022-10-29 21:40:38.408 ERROR   services/tools.go:35    下载协程结束: 67

两次长度都是 65,切片长度没有发生变化,同一时间点执行两次切片 append 方法,会偶现一次失效,问题原因找到;

解决问题

使用切片索引进行赋值,不再使用 append ;

修复代码如下:

import (
    "github.com/satori/go.uuid"
    "sync"
)
func downloadFiles(nWait *sync.WaitGroup, urls []interface{}, successFiles *[]string, failedFiles *[]string) {
    // 遍历 urls 进行下载
    for index, value := range urls {
        go func(index int, value interface{}) {
            defer nWait.Done()                                                     // 执行结束,协程减 1
            fullname := config.TranscodeDownloadPath + "/" + uuid.NewV4().String() // 需要确保文件名的唯一性 (防止不同用户同一时间操作了同一文件,导致转码失败)
            err := utils.DownloadCeph(value.(string), fullname)                    // 下载文件
            // 下载文件状态记录
            if err != nil {
                (*failedFiles)[index] = fullname
            } else {
                (*successFiles)[index] = fullname
            }
        }(index, value)
    }
}
// 前端传入的图片 url
strUrlList := req["strUrlList"]
// 初始化变量
nWait := sync.WaitGroup{}                                        // 多协程异步等待
successFiles := make([]string, len(strUrlList), len(strUrlList)) // 下载成功文件
failedFiles := make([]string, len(strUrlList), len(strUrlList))  // 下载失败文件
// 遍历 strUrlList 进行下载
nWait.Add(len(strUrlList)) // 等待协程数
downloadFiles(&nWait, strUrlList, &successFiles, &failedFiles)
nWait.Wait() // 阻塞,等待完成

文章首发:https://www.jb51.net/article/266329.htm


【AD】美国洛杉矶CN2 VPS/香港CN2 VPS/日本CN2 VPS推荐,延迟低、稳定性高、免费备份_搬瓦工vps

【AD】RackNerd 推出的 KVM VPS 特价优惠,在纽约、西雅图、圣何塞和阿什本每年仅需 12.88 美元!