从一张参考图到 UE 实时场景的全链路 AI 辅助生产方案 | From a single reference image to a playable Unreal Engine scene — a fully AI-assisted production pipeline.
- 输入：一张参考图（如"复古地下电脑机房"风格图）
- 输出：一个可直接打开运行的 UE5.8 完整场景（52+ Actor、24+ AI 生成模型、PBR 材质、灯光、性能优化）
- 耗时：约 15–20 小时（传统手工 80h+，节省约 75%）
- 资产：0 第三方资产——场景里所有模型、贴图、材质全部由 AI 生成
- 原理：8 个环节（场景分析 → 场景拆分 → 图像生成 → AI 建模 → 批量导入 → 白膜搭建 → 模型替换 → 场景精修）全部由 AI Agent 驱动，人只做关键节点的校验与选择
每一步都遵循同一个模式：做什么 → 用什么工具 → 产出什么 → 怎么验证。读者可以直接对照
docs/pipeline-overview.md查看更完整的设计文档（含 22 页 PPT 的全部细节）。
- 做什么：让 AI Agent 理解参考图的场景类型、空间结构、物体清单、灯光氛围，并输出一份机器可读的场景分析文档
- 工具：Trae + Hermes + 豆包 + DeepSeek；辅助中间图（深度图、混元 3D 高斯场景、黑白线稿、Textract 图片提取）帮助 AI 多维度理解空间
- 产出：
scene_analysis_reference.md（含尺寸、坐标、命名规范） - 怎么验证：人工确认关键锚点尺寸——门高 210cm + 角色 180cm 双锚点校准（AI 完成约 80%，人工校验 20%）
- 做什么：把参考图中的每个 3D 物体/材质分离成独立的白底模型图（这是后续 AI 建模的输入）
- 工具：Trae（图像识别）+ Hermes（框架脚本）+ GPT-image 2.0 + 豆包批量处理（非 ComfyUI YOLO/SAM，直接用 AI Agent 分析图像）
- 提示词示例（核心技巧）：
"生成图片：按照从左到右、从上到下的顺序，依次将图片中的所有 3D 模型物体或材质，逐个分离，为每个模型生成一张独立的图片，纯白背景，每个物体精确居中…保持模型原有的角度和质感…背景不要投射任何阴影。"
- 产出：N 张独立白底模型图（AI 完成约 70%，小物件需人工标注）
- 做什么：当单张图建模效果不佳时，生成正/侧/背三视图提升模型质量；同时批量生成无缝贴图
- 工具：ComfyUI 0.11.27，两套自建工作流：
- Klein 人物一键三视图 V2（FLUX.2，6G 显存可运行）——单图 → 三视图 → Tripo 多视角建模
- Zimage 文生图 + 无缝处理 + 材质贴图——免费批量出贴图（Decal 海报等）
- 产出：三视图 + 无缝贴图 + 512×512 Decal 海报
- 文件：
process-files/comfyui-workflows/（JSON 拖入 ComfyUI 即自动导入，PNG 内嵌工作流元数据）
- 做什么：把白底模型图/三视图喂给 AI 建模工具，生成 FBX + PBR 纹理（BaseColor/Normal/Metallic/Roughness）
- 工具：Tripo 3.1 Web（网页端，免费 3 次重试）+ PocketPBR（浏览器端 PBR 贴图工坊，做地面/墙面/天花板等结构材质）
- 备选：Hunyuan3D / Rodin / Meshy / Hyper3D；ComfyUI-Tripo 节点（API 方式）
- 产出：每物体 1 个 FBX zip（含 PBR 纹理）
- 失败回退：单图建模效果差 → 先走第 3 步三视图 → 多视角建模
- 做什么：把第 4 步的 FBX zip 批量导入 UE，自动创建 PBR 材质（
M_Tripo_PBR_Master） - 工具：自研开源
tripo-ue-bridge-pipeline（浏览器 JS 批量导出 → Python WebSocket 60620 推送 → UE Tripo Bridge 自动导入） - 产出：
Content/TripoModels/<模型名>/（StaticMesh + 材质实例 + Textures/） - 关键教训：不要用 GLB！ 必须用 FBX zip 格式，否则报
FBX import failed - 纹理优化：配套
texture-optimizer批量压缩 4K→2K→1K，最高省 93% 显存
- 做什么：让 Hermes 分析参考图和场景数据，自动生成 UE Python 脚本，搭建白膜场景（墙体、地面、门窗、家具、设备占位）
- 工具：Hermes + UnrealMCP + Python 脚本，9 版迭代演进（v01 骨架 4 Actor → v09 全场景 52+ Actor）
- 迭代机制：
Hermes 生成 build_whiteblock_v01.py → UE 执行 → 截图 → Hermes 分析截图 → 生成 v02...（5–8 轮收敛） - 命名规范：
Arch_（建筑）/Furn_（家具）/Equip_（设备）/Prop_（道具）/Light_（灯光）/Cam_（相机） - 产出：
build_whiteblock_v09.py+scene_description.json+ 52+ Actor 白膜场景
- 做什么：用第 4 步生成的 AI 模型替换白膜占位，7 步流程：分类标记 → 模型准备 → 位置匹配 → 旋转校准 → 尺寸缩放 → 材质分配 → 灯光调整
- 工具：
model_replace_v30.py（Python 驱动 UE） - 关键技术发现（旋转轴映射补偿）：Tripo 是右手系 Y-up、UE 是左手系 Z-up，导致
FRotator轴映射循环右移——传入(Pitch, Yaw, Roll)实际变成(Yaw, Roll, Pitch)。修正：FRotator(roll, pitch, yaw) - 产出：全场景模型替换完成 + 材质分配 + 屏幕自发光材质（Hermes+UE-MCP 自动生成材质节点图）
- 做什么：手动精修细节 + 自动化性能优化 + 构建
- 精修内容：Spline 蓝图电线（
import_spline_cable.py）、Decal 海报布置（豆包批量出 15 张 512×512）、通风管道走线、灯光合并（20+ 盏屏幕光 → 5 盏大半径 RectLight，保留左暖右冷色彩对比） - 性能优化：
ue_scene_optimize.py三个模块——批量重命名（统一 TripoModels 命名规范）、控制台命令批量执行（纹理流送池/阴影/Lumen/SSAO）、自动化 Lightmass 烘焙 - 产出：最终可运行场景
Lvl_final.umap
假设你有一张参考图，想复现这条管线。以下是完整操作序列。
| 依赖 | 说明 |
|---|---|
| Unreal Engine 5.8 | 需启用 Tripo3DUEBridge 插件（+ UnrealMCP 可选） |
| Python 3.8+ | pip install -r requirements.txt（websocket-client） |
| ComfyUI 0.11.x | 跑第 3 步工作流（可选） |
| 浏览器登录 Tripo Studio | 第 4/5 步使用 |
# ① 场景分析：把参考图发给 AI Agent（Trae/豆包/DeepSeek），
# 让它输出 scene_analysis_reference.md（物体清单+尺寸锚点+命名规范）
# → 技能模板：process-files/ai-skills/scene-analysis_SKILL.md
# ② 场景拆分：用第 2 步的提示词让 GPT-image 2.0/豆包逐物体拆分，
# 得到 N 张纯白背景独立模型图
# ③ 图像生成（可选）：单图建模效果差时，
# 把工作流 JSON 拖入 ComfyUI 跑三视图
# → process-files/comfyui-workflows/klein+人物一键三视图V2....json
# ④ AI 建模：白底图/三视图 → Tripo 3.1 网页端 → 下载 FBX zip（含 PBR）
# ⑤ 批量导入 UE：
cd process-files/python-scripts
python tripo_bridge_push.py --dir /path/to/fbx_zips
# （UE 先打开 Tripo Bridge 面板，监听 127.0.0.1:60620）
# ⑥ 白膜搭建：让 Hermes 按 ue-whiteblock 技能迭代生成
# python process-files/python-scripts/build_whiteblock_v09.py
# （模板：process-files/ai-skills/hermes_whiteblock_guide.md）
# ⑦ 模型替换：
python process-files/python-scripts/model_replace_v30.py
# ⑧ 精修 + 优化 + 构建：
python process-files/python-scripts/import_spline_cable.py
python process-files/python-scripts/ue_scene_optimize.py| 环节 | 检查点 |
|---|---|
| 场景分析 | 分析文档里关键尺寸与实际参考图一致（双锚点） |
| 模型替换 | 模型朝向正确（旋转校准生效）、比例合理（180cm 角色对比） |
| 材质 | Content/TripoModels/<模型>/<模型>_Mat 存在，4 张贴图（BC/N/M/R）齐全 |
| 灯光 | 5 盏大半径 RectLight，色彩层次保留 |
| 性能 | r.Streaming.PoolSize 4096 等命令生效，Lightmass 构建成功 |
| # | 亮点 | 说明 |
|---|---|---|
| 01 | 图像识别与搭建解耦 | AI 分析图像输出结构化数据，Python 脚本驱动 UE，互不阻塞 |
| 02 | 双锚点尺度校准 | 180cm 角色 + 210cm 门高双锚点，厘米级精度 |
| 03 | 旋转轴映射补偿 | 发现 UE Python 轴映射偏移 (P,Y,R)=(Y,R,P)，修正为 FRotator(roll,pitch,yaw) |
| 04 | Tripo Bridge 协议逆向 | 解析 WS 60620 端口协议，实现批量推送 + PBR 材质自动创建 |
| 05 | 三类 Style Anchor | 建筑/设备/材质风格分离，避免风格污染 |
| 06 | 5–8 轮迭代收敛 | AI 自动生成下一版脚本（v01→v09），截图反馈闭环 |
| 07 | 多 AI 工具 MCP 适配 | Trae/Hermes/豆包/DeepSeek 统一接入 UE（FastMCP + TCP 13377） |
| 08 | 灯光合并优化 | 20+ 盏屏幕光 → 5 盏大半径 RectLight，保留色彩对比 |
| AI 工具 | 角色 | 负责环节 |
|---|---|---|
| Trae | AI 代码编辑器（图像识别 + MCP 配置 + 脚本编写） | 全程 |
| Hermes | AI Agent（白膜搭建迭代 + MCP 材质） | ⑥⑦ |
| 豆包 | 批量出图（白底模型图 + Decal 海报） | ②⑧ |
| DeepSeek | API 推理（代码逻辑 + 旋转公式推导） | ⑦ |
| ComfyUI | 本地图像生成（Klein 三视图 + Zimage 贴图） | ③ |
| Tripo 3.1 | AI 3D 建模 + PBR 纹理 | ④ |
| PocketPBR | 浏览器端 PBR 贴图生成 | ④ |
分工原则：Trae（图像识别）+ Hermes（框架/MCP）+ 豆包（快速批量出图）+ DeepSeek（推理/代码）
- 场景分析阶段：确认关键尺寸锚点、调整坐标映射参数、验证场景元素完整性
- 模型替换阶段：手动选择模型变体风格、验证旋转校准结果、调整材质参数
- 场景精修阶段：手动布置 Decal 贴图、Spline 电线调整、灯光合并与色彩平衡
AI 自动添加验证脚本 → UE 输出台反馈 → 人工识别错误 → 同步发给 AI → AI 学习修正
- 单图生模失败 → 增加三视图流程 → 多视角生模
- 白板海报模型失败 → 豆包批量出 Decal 贴图 → 手动布置
核心原则：不等待完美 AI 结果，快速切换备选方案保证进度。
ai3due-pipeline/
├── README.md # 本文件：管线总览 + 上手指南
├── docs/
│ ├── pipeline-flow.png # 管线全流程总览图
│ ├── pipeline-overview.md # 管线设计详解（22 页 PPT 内容转写）
│ ├── 技术方案报告.md # 技术方案（架构/AI说明/反思/效率对比）
│ └── 提交说明文档.md # 提交物清单与使用说明
├── process-files/ # 可复用过程资产（全部为文本/脚本）
│ ├── python-scripts/ # 12 个核心脚本（白膜/替换/导入/优化）
│ ├── comfyui-workflows/ # 3 套工作流 JSON + PNG 预览 + 批量脚本 + 指南
│ ├── ai-skills/ # 3 套 AI Skill 定义（Hermes/Trae）
│ ├── scene-analysis/ # 场景结构化数据（JSON/MD）
│ └── prompts-references/ # AI 提示词模板
├── references/ # 相关开源项目 README
├── AGENTS.md # AI 编码代理指南
└── LICENSE # MIT
⚠️ 未包含在本仓库（体积过大）：完整 UE5.8 工程（310MB uasset）、演示视频（41MB）、演示 PPT（53MB）。如需可联系作者。
| 类别 | 配置 |
|---|---|
| OS | Windows (Win32) |
| GPU | NVIDIA RTX 3070 Laptop, 8GB VRAM |
| RAM | 32GB |
| Python | 3.13.12 |
| PyTorch | 2.12.1+cu130 |
| ComfyUI | 0.11.27 |
| Unreal Engine | 5.8（UnrealMCP 0.1.0 + Tripo Bridge） |
| AI | Trae / Hermes / 豆包 / DeepSeek API / GPT-image 2.0 |
| 环节 | 耗时 |
|---|---|
| 场景分析 | ~30min |
| 场景拆分 | ~20min |
| ComfyUI 图像 | ~1–2h |
| AI 建模 | ~3–4h |
| 批量导入 | ~3min |
| 白膜搭建 | ~1h（5 轮） |
| 模型替换 | ~2h（7 轮） |
| 场景精修 | ~2–3h |
| 总计 | ~15–20h |
| 项目 | 用途 | 链接 |
|---|---|---|
| tripo-ue-bridge-pipeline（自研） | Tripo 模型批量导入 UE（JS 导出 + WS 推送 + 自动 PBR） | https://github.com/JemmaBone/tripo-ue-bridge-pipeline |
| texture-optimizer（自研） | 批量纹理压缩 4K→2K→1K，节省最高 93% 显存 | https://github.com/JemmaBone/texture-optimizer |
| UnrealMCP | UE MCP 协议插件 | https://github.com/kvick-games/UnrealMCP |
| ComfyUI-Tripo | ComfyUI Tripo 节点（备选方案） | https://github.com/VAST-AI-Research/ComfyUI-Tripo |
⚠️ 本仓库为个人研究向开源管线（MIT），仅用于学习和研究。使用前请阅读以下风险说明。
- 管线通过
ws://127.0.0.1:60620（仅本机回环，不暴露局域网）与 UE 的 Tripo Bridge 插件通信 - 注意：该端口由 Tripo Bridge 官方插件监听，协议本身无 Token 鉴权、无 Origin 校验（第三方插件行为，本仓库无法修改）。任何能访问你本机端口的进程/网页都可能尝试连接
- 防护建议：
- 仅在 Tripo Bridge 面板打开时推送（关面板即停止监听）
- 面板开启期间不要浏览可疑网页（防 CSWSH 跨站 WebSocket 劫持）
- 只在信任的模型目录上运行
tripo_bridge_push.py --dir（脚本内置safe_path_check()：resolve()解析防路径穿越 + 拒绝.ssh/appdata/desktop等敏感目录）
- 白膜/替换脚本由 AI Agent 生成，输入来自 AI 输出的 JSON/MD（
scene_description.json等），没有严格的 Schema 校验——AI 幻觉或提示词注入可能产生非法参数 - 防护建议：执行 AI 生成的脚本前人工过一眼（坐标/路径/尺寸），尤其是批量操作（
model_replace_v30.py、ue_scene_optimize.py） - 不要执行来源不明的 UE Python 脚本；本仓库脚本均为标准库 + UE 内置
unreal模块，无第三方 Python 依赖（供应链面为零）
- 工作流 JSON 可包含自定义节点，恶意节点可执行任意 Python 代码
- 只导入可信来源的工作流文件（本仓库内置的 3 套为自建，可放心使用）
- 参考图会提交给第三方大模型（Trae/豆包/DeepSeek/GPT-image）——涉密/内部素材严禁喂给公有 LLM，企业素材请换私有化部署
- Tripo/LLM 的 API Key 用环境变量管理，绝不提交到 git（本仓库
.gitignore已屏蔽*.env/config.json等）
- MIT 协议仅覆盖本仓库脚本代码，不覆盖 AI 生成资产。商用前需逐一确认 Tripo/豆包等平台的版权授权条款
- 输入参考图若为第三方版权素材，AI 拆分与衍生存在侵权风险，商用场景需自行确认版权
MIT — 仅用于学习和研究。场景参考图风格原型来自 KitBash3D Cyber District（仅参考，未使用其资产）；所有 AI 生成模型与脚本均为本项目原创。