Golang如何处理HTTP客户端并发请求

Go语言通过net/http包和goroutine实现高效HTTP并发,需复用http.Client并配置连接池以避免资源浪费,使用sync.WaitGroup确保所有请求完成,通过带缓冲channel控制并发数防止压垮服务,合理设置超时与限流保障稳定性。

Go语言通过内置的net/http包和强大的goroutine机制,能高效处理HTTP客户端并发请求。关键在于合理使用goroutine、sync.WaitGroup以及http.Client的复用,避免资源浪费和性能瓶颈。

使用goroutine发起并发请求

每个HTTP请求可以在独立的goroutine中执行,实现真正的并行调用。

注意:需用sync.WaitGroup等待所有请求完成,防止主程序提前退出。

  • 为每个请求启动一个goroutine
  • 通过channel或共享变量收集结果
  • 使用WaitGroup控制协程生命周期

示例代码:

func concurrentRequests(urls []string) {
    var wg sync.WaitGroup
    client := &http.Client{Timeout: 10 * time.Second}
for _, url := range urls {
    wg.Add(1)
    go func(u string) {
        defer wg.Done()
        resp, err := client.Get(u)
        if err != nil {
            log.Printf("请求失败 %s: %v", u, err)
            return
        }
        defer resp.Body.Close()
        body, _ := io.ReadAll(resp.Body)
        log.Printf("成功获取 %s, 响应长度: %d", u, len(body))
    }(url)
}
wg.Wait()

}

复用http.Client和连接池

频繁创建http.Client会导致端口耗尽和内存上升。应复用Client实例,并配置高效的Transport。

  • 全局复用单个*http.Client
  • 自定义Transport以控制最大连接数、空闲连接等
  • 设置合理的超时,避免协程阻塞堆积

优化的Client配置:

client := &http.Client{
    Timeout: 30 * time.Second,
    Transport: &http.Transport{
        MaxIdleConns:        100,
        MaxIdleConnsPerHost: 10,
        IdleConnTimeout:     90 * time.Second,
    },
}

控制并发数量防止压垮服务

无限制并发可能触发目标服务限流或耗尽本地资源。使用带缓冲的channel作为信号量控制并发数。

  • 通过buffered channel限制同时运行的goroutine数量
  • 每个请求前从channel获取令牌,完成后释放
  • 适合大量URL但需节流的场景

限流示例:

semaphore := make(chan struct{}, 10) // 最多10个并发

for _, url := range urls { semaphore <- struct{}{} // 获取令牌 go func(u string) { defer func() { <-semaphore }() // 释放令牌 // 发起HTTP请求... }(url) }

基本上就这些。Golang处理HTTP并发简单高效,关键是不滥用goroutine,做好资源控制和错误处理。合理配置Client和并发度,既能提升吞吐又能保障稳定性。