Cerberus 拦截 Go-http-client/1.1 UA，导致 HashiCorp Packer 无法从 SJTU 镜像下载

[bowling233]

申请将 （匹配 Go-http-client/*）加入 Cerberus 白名单，放行该 UA 的请求。

HashiCorp Packer 是一个重要的镜像构建工具，被 canonical/packer-maas 等项目使用，我们也依赖 Packer 在流水线中构建集群节点镜像。Packer 使用 Go 默认的 http.client 方法执行下载，它的 UA 是 Go-http-client/1.1，该 UA 目前被 Cerberus 拦截。这意味着所有使用 Go 默认 HTTP client 的镜像下载工具都会受影响。

[phy25]

我让 Copilot 帮忙看了一下，以下是其回复。

一个小更正：Packer 并不是所有下载路径都会使用 Go-http-client/1.1。有些路径会显式设置自定义 User-Agent，也有一些路径如果不额外配置 header，就会走标准的 Go HTTP 行为。

想确认一下，这里打到镜像站的具体是 Packer 的哪一类请求 / 哪个 data source？

如果是 data "http" 这个 datasource，那么它本身支持自定义请求头，可以通过 request_headers 显式设置 User-Agent，可能可以先绕过这个问题：

• 文档：https://developer.hashicorp.com/packer/integrations/hashicorp/http/latest/components/data-source/http
• 代码：https://github.com/hashicorp/packer/blob/342fc1c554852057585af057213722e85bbb21f7/datasource/http/data.go#L128-L146

例如：

data "http" "example" {
  url = "https://mirror.sjtu.edu.cn/..."
  request_headers = {
    User-Agent = "Packer"
  }
}

如果命中镜像站的是 Packer 的其他组件，那结论可能会不一样；如果方便的话，可以补充一下具体配置或请求路径。

[bowling233]

@phy25 感谢回复。这是来自 Packer QEMU Builder 插件（packer-plugin-qemu），而非 Packer 核心的 data "http" datasource，所以无法通过 request_headers 设置 User-Agent。

完整调用链与代码证据

ISO 下载的调用链为：

packer-plugin-qemu (QEMU Builder)
  → commonsteps.StepDownload (packer-plugin-sdk)
    → go-getter HttpGetter.GetFile() (hashicorp/go-getter v2.2.2)
      → Go net/http 默认 UA: Go-http-client/1.1

1. QEMU Builder 入口：直接使用 StepDownload，无 UA 配置

builder.go:51-57 — 正常路径（iso_skip_cache 为默认值 false）直接实例化 commonsteps.StepDownload，不传入、也不存在任何 User-Agent 参数：

steps = append(steps, &commonsteps.StepDownload{
    Checksum:    b.config.ISOChecksum,
    Description: "ISO",
    Extension:   b.config.TargetExtension,
    ResultKey:   "iso_path",
    TargetPath:  b.config.TargetPath,
    Url:         b.config.ISOUrls,
})

2. step_set_iso.go：仅 iso_skip_cache 路径才设置 UA

step_set_iso.go:33 — 仅当 iso_skip_cache = true 时才走此路径，该路径显式设置了 User-Agent: Packer。但我们的配置不设置 iso_skip_cache（使用默认值 false），不会走这个分支：

// 仅在 iso_skip_cache = true 时使用
req.Header.Set("User-Agent", "Packer")

3. StepDownload 委托给 go-getter，不设置 UA

step_download.go — StepDownload.download() 创建 getter.Request，通过 defaultGetterClient 调用 HttpGetter。HttpGetter 初始化时未设置 Header 和 Client 字段：

&getter.HttpGetter{
    Netrc:                 true,
    XTerraformGetDisabled: true,
    HeadFirstTimeout:      getterReadTimeout,
    ReadTimeout:           getterReadTimeout,
    // Header 字段为 nil —— 无任何自定义 Header
    // Client 字段为 nil —— 将默认使用 cleanhttp.DefaultClient()
},

4. go-getter HttpGetter.GetFile()：不设 UA，用默认 Client

get_http.go:326-327, 382-387 — GetFile() 用 http.NewRequestWithContext 创建 GET 请求。仅当 g.Header != nil 时才设置 header，但 packer-plugin-sdk 未传入 Header，因此 g.Header 为 nil，请求不带任何自定义 header：

if g.Client == nil {
    g.Client = httpClient  // = cleanhttp.DefaultClient()
}
// ...
httpReq, err = http.NewRequestWithContext(readCtx, "GET", req.u.String(), nil)
// ...
if g.Header != nil {
    httpReq.Header = g.Header.Clone()
}
// g.Header 为 nil → 跳过 → Go 默认 UA: Go-http-client/1.1

5. ISOConfig：不存在 User-Agent 配置字段

iso_config.go — ISOConfig 结构体只包含 ISOChecksum、ISOUrls、TargetPath、TargetExtension 四个字段，没有任何 HTTP 请求头或 User-Agent 相关的配置项。

总结

从 Packer QEMU Builder 插件到 packer-plugin-sdk 到 go-getter，整条调用链的每一层都没有给开发者或最终用户提供覆盖 User-Agent 的配置入口。默认的 Go HTTP client 发送 Go-http-client/1.1 是这一机制的唯一结果，应用层无法修改。这不同于 data "http" datasource——QEMU Builder 的 ISO 下载是一个完全不同的代码路径。