作者:站长莫潇羽
来源:复源AI社区
发布时间:2026年1月
大家好,我是莫潇羽。欢迎回到复源AI社区。
如果说 2024 年是“大模型”的元年,2025 年是“视频生成”的爆发年,那么站在 2026 年初的今天,我们正处于一个更加惊心动魄的历史转折点——“物理 AI”(Physical AI)的觉醒时刻。
最近科技圈最火的是什么?如果你还盯着 OpenAI 的 Sora、Runway 的 Gen-3 或者各种视频生成模型,那你可能稍微有点“偏科”了。就在大家还在惊叹 AI 能生成“逼真视频”的时候,那个穿着标志性皮衣的男人——黄仁勋,在 2026 年初的 CES 和 GTC 预热上,默默地甩出了一张王炸。
这张王炸,不是一张拥有几万个 CUDA 核心的新显卡,也不是一个新的 CUDA 版本,而是一个概念,一个真正能改变我们物理世界的概念——3D-Generalist(3D 通才模型)。
很多朋友在复源AI社区的社群里问我:“潇羽,这玩意儿到底是个啥?是能自动做游戏了吗?还是能自动盖房子?它和 Sora 到底有什么区别?”
为了回答这个问题,我连夜啃完了这篇名为《3D Generalist: Vision-Language-Action Models for Crafting 3D Worlds》的论文,翻阅了数十份相关技术文档(包括 Omniverse 开发手册、USD 格式规范、Isaac Lab 白皮书)。今天,我就站在一个资深开发者的角度,剥开那些花里胡哨的营销词汇,带大家深入到底层,看看英伟达到底是怎么让 AI 拥有“上帝之手”的。
这是一篇硬核长文,全文超过 15,000 字,包含原理拆解、代码思路、行业分析、历史回顾、核心术语词典、未来五年路线图以及社群问答精华。建议大家先收藏,泡一杯咖啡,慢慢看。我们不讲虚的,只讲原理、架构和怎么复现这种神级操作。
第一章: 为什么 Sora 只是“动画片”,而我们需要“黑客帝国”?
在进入代码和架构之前,我们必须先通过一个思维实验来理解“3D-Generalist”诞生的意义。这不仅是技术的迭代,更是哲学层面的升维。
1.1 视频生成的谎言:柏拉图的洞穴
想象一下,你用 Sora 或者最新的视频生成模型生成了一个视频:一个精致的法式咖啡厅,阳光透过落地窗洒在橡木地板上,桌上有一杯热气腾腾的拿铁,泡沫细腻。画面美轮美奂,光影无懈可击,甚至连空气中的尘埃都清晰可见。
但是,如果你是一个机器人,或者你身处 VR 世界,当你伸出手去拿那杯咖啡时,会发生什么?
你的手会直接穿透杯子。
为什么?因为在 Sora 的“脑子”里,并没有“杯子”这个 3D 物体的概念,也没有“玻璃”的硬度概念,更没有“重力”的概念。它只是一堆像素的概率分布。它知道“这里应该是褐色的”,它知道“这里的像素应该随着时间向右移动”,但它不知道“这里有一个实体”。
这就好比柏拉图的“洞穴寓言”。Sora 让我们看到的是墙壁上的影子,虽然影子在动,栩栩如生,但那不是真实的物体。如果你试图基于这些影子去训练一个机器人,机器人会彻底发疯——因为它试图抓取的物体,在物理空间中并不存在。
这就是黄仁勋在演讲中反复强调的痛点:目前的 Generative AI(生成式 AI)大多是“观察者”和“梦想家”,它们只会看(Vision)和说(Language),但不懂物理规则。
1.2 物理 AI 的拼图:老黄的“地球-2”野心
老黄的野心不是让你看动画片,他的野心是具身智能(Embodied AI)。
要训练一个能端茶倒水、能进工厂拧螺丝、能去火星探索的机器人,你不能让它在真实世界里试错。
- 让一个机器人去厨房学习洗碗,它可能会打碎一万个盘子,甚至把水管弄爆。这个成本是不可接受的。
- 我们需要一个模拟器(Simulator)。
这个模拟器必须是 3D 的,必须有物理属性(碰撞体积、摩擦力、质量、弹性系数)。
- 墙壁必须是硬的。
- 玻璃必须是脆的。
- 水必须是流动的。
以前,建造这样一个 3D 场景需要专业的 3D 美术师(Modeler)用 Maya、Blender、3ds Max 肝上好几天。一个高质量的 3D 室内场景,可能需要一个熟练工一周的时间。
如果要训练一个通用机器人,我们需要数百万个不同的场景(不同的厨房、不同的客厅、不同的工厂)。靠人工建模?那是愚公移山,根本不可能完成。
而 3D-Generalist 的出现,意味着:AI 可以听懂人话,然后像《我的世界》(Minecraft)里的创世神一样,直接生成一个可交互、有物理属性的 3D 世界。
这不是画画,这是造物。这是从“描述世界”到“构建世界”的跨越。
第二章: 核心原理——当 AI 开始“行动”(Action)
这篇论文的核心标题里有一个非常关键的词:Vision-Language-Action (VLA)。
以前我们常听 VLM (Vision-Language Model),比如 GPT-4V、Gemini Pro Vision,它们能看图说话。
现在多了个 A (Action)。
2.1 什么是 VLA?从“嘴炮”到“实干”
在 3D-Generalist 的架构里,构建一个 3D 世界不再是一个“生成过程”(Generation Process),而被视为一个序列决策问题(Sequential Decision-Making Problem)。
什么意思呢?莫潇羽给大家打个比方:
- 传统生成(GAN/Diffusion): 像是一个天才画家。你告诉他“画一个客厅”,他闭上眼睛,大笔一挥,几秒钟后,画布上就有了图像。一次成型。但是如果你说“把沙发往左移一点”,他只能把整张画撕了重画,或者用修补工具涂抹,效果往往不尽人意。
- VLA 生成(3D-Generalist): 像是一个装修工长带着一队建筑工人。
- 观察(Vision): 先看一眼毛坯房(或者一张设计草图)。
- 理解(Language): 听懂业主要求“我要北欧极简风,地板要深色的”。
- 执行动作(Action): 这是一个一步步的过程。
- Action 1: “去仓库拿那个型号为 Floor_Oak_01 的材质球,贴到地面上。”
- Action 2: “在坐标 (2, 0, 1) 的位置生成一个长方体,作为墙壁。”
- Action 3: “在墙上开个洞,尺寸 2m x 1m。”
- Action 4: “把窗户模型放进去。”
这个模型输出的不是像素,而是操作指令(API Calls / Scripts)。这些指令驱动底层的 3D 引擎(比如 NVIDIA Omniverse 的 Kit 或者 Blender 的 Python API)去生成真正的 3D 资产。
2.2 为什么“动作”如此重要?
引入“动作”这个维度,解决了生成式 AI 的几个死穴:
- 可编辑性(Editability): 因为场景是“一步步搭出来的”,所以你可以随时回退某一步,或者修改某一个参数。你想换地板?只需要修改“贴图”那个动作的参数,而不需要重新生成整个房间。
- 物理一致性(Physical Consistency): 动作是基于规则的。比如“放置物体”这个动作,可以包含一个约束条件:物体不能悬空,必须接触地面。这就避免了视频生成中常见的“悬浮物体”幻觉。
- 结构化数据(Structured Data): 最终输出的不是一张图,而是一个 Scene Graph(场景图)。计算机完全理解这个场景里有几把椅子,椅子在哪里,是什么材质。
第三章: 架构全解——手搓“赛博空间”的五步法
整个 3D-Generalist 系统可以分为五个核心步骤,像是一条精密的流水线。为了方便大家理解,我画了一个概念流程图(脑补版):
Text Prompt -> Panorama (Vision) -> Layout (Geometry) -> Objects (Semantics) -> Reasoning (Attributes) -> 3D Scene (USD)
接下来,我们一个模块一个模块地深度拆解。这才是复源AI社区读者的最爱——深度技术解析。
第一步:全景图生成(The Blueprint)—— 视觉的起点
一切始于视觉想象。模型首先使用一个强大的 文本到图像扩散模型(Text-to-Image Diffusion Model)。
但这不仅仅是生成一张图,而是生成一张 360度全景图(Equirectangular Image)。
为什么要用全景图?
普通图片是 2D 的,视野有限(通常 60-90 度)。而全景图(HDRi 或 LDR)包含了 360x180 度的完整空间信息。它不仅展示了前方,还展示了后方、天花板和地板。
这为后续恢复 3D 结构提供了最基础的“蓝图”。如果没有全景图,AI 就不知道“身后”是什么,生成的房间就会缺一面墙。
技术细节:
- Latent Diffusion Model (LDM): 使用类似 Stable Diffusion XL (SDXL) 的架构。
- Prompt Engineering: 必须强制模型输出
equirectangular projection风格的图像。 - LoRA (Low-Rank Adaptation): 英伟达可能训练了一个专门的 LoRA,让 SD 模型更擅长画透视准确的室内全景图,而不是画歪歪扭扭的艺术画。
第二步:空间布局估算(The Structure)—— 几何的骨架
有了全景图,AI 需要“看懂”这个房间的长宽高。它不能只看颜色,它要看“深度”和“结构”。
这里引用了一个关键技术:HorizonNet(或类似的房间布局估算网络)。
HorizonNet 是怎么工作的?
这是一个非常经典的计算机视觉模型。它的工作原理非常有意思:
- 列特征提取: 它把全景图看作是一个圆柱体展开的平面。它按列(Column-wise)扫描图像。
- RNN/LSTM: 使用循环神经网络(RNN)来处理这种序列信息(因为全景图的最左边和最右边是相连的,具有循环特性)。
- 寻找边界: 它的核心任务是找到三条线:
- Ceiling-Wall Boundary: 天花板和墙的交界线。
- Floor-Wall Boundary: 地板和墙的交界线。
- Wall-Wall Boundary: 墙和墙的角落线。
通过这些线条在全景图上的弯曲程度,配合全景图的几何投影公式,算法可以反推出房间的 3D 几何结构(Mesh)。
莫潇羽注: 这一步非常关键。很多 AI 生成的 3D 场景歪歪扭扭,就是因为没有这一步严格的几何约束。3D-Generalist 保证了墙是直的,地是平的,房间是闭合的。
第三步:万物分割与语义理解(The Identification)—— 识别万物
房间结构有了,是个空盒子。现在要往里面填东西。
这里用到了 AI 界的神器:Grounded-SAM (Segment Anything Model)。这是一个组合拳。
Grounding DINO + SAM
- Grounding DINO (定位): 这是一个“开集检测器”(Open-Set Detector)。你给它一个词(比如“窗户”、“门”、“插座”),它能在图片里找到所有对应的检测框(Bounding Box)。它利用了 CLIP 模型的强大图文对齐能力。
- SAM (分割): 拿到检测框后,Segment Anything Model 登场。它能在框内进行像素级的精细分割,把物体从背景中完美地“抠”出来,生成 Mask(掩码)。
这一步解决了“物体在哪里”和“物体轮廓是什么”的问题。
第四步:视觉语言模型推理(The Architect)—— 赋予属性
这是最体现“智能”的一步,也是 VLA 中“L”(Language)发挥作用的地方。
系统将分割出来的物体图像切片(Crop),喂给 GPT-4o 或同级别的 VLM(英伟达自家有 VILA 模型)。
VLM 扮演了“资深设计师”和“材质师”的角色。它需要通过观察图片,回答以下极其细节的问题:
- 材质分析: “这扇门是什么材质的?是橡木、胡桃木还是金属?”“表面是哑光(Matte)还是亮光(Glossy)?”
- 结构分析: “这个窗户是推拉式的(Sliding)还是平开式的(Casement)?”“窗框的厚度大概是多少?”
- 五金件: “门把手是圆形的还是长条形的?是金色的还是银色的?”
VLM 的输出不再是自然语言,而是结构化的 JSON 数据或 Python 字典。
例如:
{
"object_id": "door_01",
"type": "door",
"style": "modern_minimalist",
"material_texture": "wood_oak_light_01",
"roughness": 0.4,
"opening_mechanism": "hinge_left",
"handle_type": "lever_chrome",
"dimensions_estimate": [2.1, 0.9, 0.05]
}
这种从非结构化图像(Image)到结构化数据(Data)的转换,是 3D-Generalist 的灵魂。它把“看着像木头”变成了“Material = Wood”。
第五步:过程化生成(The Construction)—— 赛博施工
最后,所有的信息汇总是给 Procedural Generation Script(过程化脚本)。
这通常是基于 Python 的脚本,运行在 NVIDIA Omniverse 平台(基于 USD 流程)或者 Blender 中。
- 造墙: 根据 HorizonNet 的数据,生成墙体的 Mesh,并自动展 UV。
- 开洞: 根据 Grounded-SAM 的位置信息,在墙体 Mesh 上使用布尔运算(Boolean Operation)挖出门窗的洞。
- 资产放置: 根据 VLM 的描述,从预制的 3D 资产库(Asset Library)中检索最匹配的模型(比如一个“现代风格的橡木门”),并放置到洞口。如果库里没有,甚至可以调用生成式 3D 模型(如 MeshGPT)现场生成一个。
- 打光: 分析全景图的光源位置(比如窗户在哪里,灯在哪里),自动配置 HDRi 环境光和 Point Light 点光源。
最终,一个完整的、带有语义信息的、物理就绪的 3D 场景诞生了。
第四章: 为什么是 USD?—— 3D 世界的 HTML
在整个 3D-Generalist 的流程中,有一个技术标准不得不提,那就是 USD (Universal Scene Description)。
如果你是做 Web 开发的,你知道 HTML 是网页的标准。
如果你是做 3D 开发的,你必须知道 USD 是元宇宙(Open Metaverse)和工业数字孪生的标准。
4.1 USD 是什么?
USD 最初是由皮克斯(Pixar)动画工作室开发的,用于解决超大规模电影场景的协作问题。后来开源,并被 NVIDIA 选中作为 Omniverse 的核心格式。
4.2 为什么 3D-Generalist 输出 USD?
- 非破坏性编辑(Non-destructive Editing): USD 允许层级覆盖(Layering)。AI 生成的基础场景是一个层,用户的修改是另一个层。用户可以随时关掉 AI 的层,或者只修改其中一部分,而不会破坏原始数据。
- 高性能: USD 专为加载数百万个多边形的场景设计,加载速度极快。
- 物理描述: USD 不仅存模型,还存物理属性(Rigid Body API)。这正是“物理 AI”所需要的。
在 3D-Generalist 中,AI 输出的最终产物就是一个 .usd 或 .usda 文件。这意味着这个文件可以直接拖进 NVIDIA Isaac Sim 里训练机器人,或者拖进 Maya 里做动画,没有任何兼容性问题。
4.3 硬核展示:USD 文件长什么样?
为了让大家有直观的感受,我手写了一段 USD 文件的片段(ASCII 格式),这就是 AI 最终输出给我们的代码:
#usda 1.0
(
defaultPrim = "World"
metersPerUnit = 0.01
upAxis = "Y"
)
def Xform "World"
{
def Xform "Room_Structure"
{
def Mesh "Wall_North"
{
float3[] extent = [(-200, 0, -10), (200, 300, 10)]
int[] faceVertexCounts = [4]
int[] faceVertexIndices = [0, 1, 2, 3]
point3f[] points = [(-200, 0, 0), (200, 0, 0), (200, 300, 0), (-200, 300, 0)]
color3f[] primvars:displayColor = [(0.9, 0.9, 0.9)]
}
}
def Xform "Assets"
{
def "Sofa_01" (
references = @./assets/furniture/sofa_leather_brown.usd@
)
{
double3 xformOp:translate = (0, 0, -150)
float3 xformOp:rotateXYZ = (0, 45, 0)
uniform token[] xformOpOrder = ["xformOp:translate", "xformOp:rotateXYZ"]
}
}
}
看,这就是 3D 世界的“源代码”。3D-Generalist 的本质,就是通过 VLA 模型,自动编写出这样成千上万行的 USD 代码。
第五章: 源码级实战——如何用 Python 复现这一工作流?
虽然英伟达的官方代码库可能尚未完全开源(或者需要企业级权限),但作为复源AI社区的硬核读者,我们完全可以用现有的开源工具链来复现这一核心逻辑。
这一段非常有价值,建议开发者朋友们打开 IDE 跟着思路走。我们将使用 Python 将各个开源 SOTA 模型串联起来。
5.1 环境准备
你需要一台显存充足的机器(建议 24GB VRAM 以上,否则跑不动 SDXL + SAM + LLM)。如果是 4090 显卡就更好了。
操作系统:Windows (WSL2) 或 Linux (Ubuntu 22.04)。
我们需要安装以下核心库:
# 基础图像处理
pip install opencv-python numpy pillow
# 深度学习框架 (PyTorch)
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121
# HuggingFace 生态 (用于 SDXL)
pip install diffusers transformers accelerate
# 分割模型
pip install segment-anything
pip install groundingdino-py
# OpenAI (用于调用 GPT-4o 进行推理)
pip install openai
# 3D 处理 (Trimesh 或 Open3D)
pip install trimesh open3d
5.2 核心代码逻辑(伪代码框架)
我将用一段 Python 代码结构来展示如何通过代码实现这个“VLA”流程。大家可以把这当作一个开发框架。
import torch
from diffusers import StableDiffusionPipeline
from segment_anything import build_sam, SamPredictor
import openai
# 假设引入了 HorizonNet 的推理接口 (GitHub 上有开源实现)
from external.horizonnet import HorizonNetInferencer
class AutoWorldBuilder:
def __init__(self):
print(">>> [System] 正在初始化世界构建器...")
self.device = "cuda" if torch.cuda.is_available() else "cpu"
# 1. 加载全景图生成模型 (这里用 SD 模拟,建议用专门的 Panorama LoRA)
print(">>> [Model] Loading Stable Diffusion...")
self.sd_pipe = StableDiffusionPipeline.from_pretrained(
"stabilityai/stable-diffusion-2-1-base"
).to(self.device)
# 2. 加载布局估算模型 HorizonNet
print(">>> [Model] Loading HorizonNet...")
self.layout_model = HorizonNetInferencer(model_path="horizonnet.pth")
# 3. 加载 SAM (用于分割)
print(">>> [Model] Loading SAM...")
self.sam = build_sam(checkpoint="sam_vit_h_4b8939.pth").to(self.device)
self.sam_predictor = SamPredictor(self.sam)
# 4. 配置 VLM (GPT-4o)
self.client = openai.OpenAI(api_key="YOUR_KEY")
print(">>> [System] 初始化完成。准备造物。")
def generate_panorama(self, prompt):
"""
第一步:生成全景图
关键在于 Prompt 必须包含 'equirectangular projection'
"""
# 提示词工程:强制全景视角
full_prompt = f"360 panorama view of {prompt}, equirectangular projection, 8k, high detailed, photorealistic, interior design, hdri"
print(f">>> [Action] 正在生成全景图: {prompt}")
image = self.sd_pipe(full_prompt).images[0]
image.save("temp_pano.png")
return image
def analyze_layout(self, image_path):
"""
第二步:布局估算
返回墙角坐标 (Corner Coordinates)
"""
print(">>> [Action] 正在分析房间几何结构 (HorizonNet)...")
# 这里调用 HorizonNet 推理,返回 JSON 格式的几何数据
# 数据通常包含:[ceil_cor, floor_cor]
layout_data = self.layout_model.predict(image_path)
return layout_data
def detect_and_reason(self, image_path, layout_data):
"""
第三步 & 第四步:检测与推理 (VLA Core)
"""
print(">>> [Action] 正在识别场景物体并进行 VLM 推理...")
# 1. Grounding DINO 寻找物体 (伪代码)
# boxes = grounding_dino.predict(image, ["window", "door"])
# 2. SAM 分割
# masks = self.sam_predictor.predict(boxes)
# 3. 裁剪物体并发送给 GPT-4o
scene_objects = []
# 模拟 VLM 返回的数据
print(" - 发现物体: 窗户")
print(" - VLM 分析: 现代风格,黑色铝合金边框")
scene_objects.append({
"type": "window",
"location": "wall_1",
"material": "glass_frame_metal_black",
"dimensions": [1.5, 2.0],
"action": "create_opening_boolean" # VLA 中的 Action 指令
})
return scene_objects
def build_3d_scene(self, layout, objects):
"""
第五步:生成 USD 或 OBJ
这里通常会调用 Blender Python API (bpy) 或 Omniverse Kit
"""
print(">>> [Action] 正在构建 3D 资产 (Procedural Generation)...")
# 伪代码:调用 Blender API
# import bpy
# 1. 生成房间 Mesh
# create_room_mesh(layout)
# 2. 循环处理物体
for obj in objects:
if obj['action'] == 'create_opening_boolean':
# 在墙上挖洞
# add_boolean_modifier(obj['location'], obj['dimensions'])
pass
print(">>> [Success] 3D 场景构建完成,已保存为 scene.usd")
# --- 运行主程序 ---
if __name__ == "__main__":
builder = AutoWorldBuilder()
user_prompt = "a modern living room with scandinavian style, wooden floor, large window, sunset lighting"
# 1. 生成视觉蓝图
pano_img = builder.generate_panorama(user_prompt)
# 2. 提取结构
layout = builder.analyze_layout("temp_pano.png")
# 3. 语义推理
objects = builder.detect_and_reason("temp_pano.png", layout)
# 4. 执行建造
builder.build_3d_scene(layout, objects)
5.3 开发者避坑指南
莫潇羽在复现类似流程时,踩过无数坑,这里总结几点给大家:
- 全景图的“极点畸变”: 扩散模型生成的全景图,在天花板(Top)和地板(Bottom)中心往往会有一坨奇怪的拉伸纹理。这是因为训练数据通常是透视投影,而全景图是球形投影。
- 解决办法: 使用
Inpainting技术修复极点,或者寻找专门在 HDRi 数据集上微调过的 Checkpoint。 - 尺度对齐(Scale Alignment): 图像里的“100像素”到底是 1 米还是 1 厘米?AI 不知道。
- 解决办法: 假设摄像机高度(Camera Height)为固定值(例如 1.6米),以此为基准推算房间的其他尺寸。这是 HorizonNet 的标准做法。
- 多视角一致性: 如果场景很复杂,单一全景图可能遮挡了物体背面。
- 进阶玩法: 使用 Inpainting 生成被遮挡的部分,或者结合 Depth Map (深度图) 估算物体的厚度。
第六章: 3D-Generalist vs Gaussian Splatting —— 谁才是未来?
有些关注前沿技术的读者可能会问:“潇羽,最近 3D Gaussian Splatting (3DGS) 不是很火吗?它和 3D-Generalist 有什么区别?”
这是一个非常好的问题。这代表了两条完全不同的技术路线。
6.1 Gaussian Splatting (3DGS)
- 原理: 把 3D 世界看作是一团“发光的雾气”(高斯球)。通过调整这些雾气的位置、颜色和透明度,让它们从任何角度看都像真的照片。
- 优点: 渲染速度极快,照片级真实,适合复刻现实(比如把你的卧室拍下来转成 3D)。
- 缺点: 没有物理实体。 那些高斯球只是视觉上的欺骗,没有网格(Mesh),没有碰撞体积。由于不是 Mesh,很难进行物理模拟(杯子掉在高斯球上不知道怎么弹)。
- 定位: 视觉呈现(VR 看房、数字文博)。
6.2 3D-Generalist (Mesh/VLA)
- 原理: 生成标准的多边形网格(Polygon Mesh)和材质贴图(Texture)。这是传统游戏和电影工业的标准格式。
- 优点: 完全物理兼容。 可以直接在物理引擎里跑。可以编辑(比如把椅子腿拉长)。
- 缺点: 视觉真实度可能不如 3DGS(受限于材质库和光照计算),生成速度相对较慢。
- 定位: 交互模拟(机器人训练、游戏开发、元宇宙构建)。
莫潇羽的判断: 短期内,3DGS 适合“看”,3D-Generalist 适合“用”。未来两者会融合——用 3DGS 做背景渲染,用 Mesh 做交互物体。
第七章: 自我进化——AI 如何越做越好?
3D-Generalist 最可怕的地方不在于它能生成,而在于它能自我改进(Self-Improving)。这也是论文标题中 "Self-Improving" 的由来。
在论文中,作者提到了一种 Sim-to-Real-to-Sim 的闭环训练策略。这是一个强化学习(RL)的过程。
- 生成 (Generate): VLA 模型生成一个 3D 场景。
- 渲染与评估 (Render & Evaluate): 将这个 3D 场景渲染成 2D 图像,并与原始的 Prompt 或参考图进行对比(使用 CLIP Score 或 VLM 评分)。
- 反馈 (Feedback): 如果 VLM 发现生成的椅子腿悬空了,或者窗户位置不对,系统会生成一个“修正指令”(Correction Action)。
- 例如:“错误:门框与墙体穿模。修正:将门框宽度减少 5cm。”
- 微调 (Fine-tune): 这些修正数据被用来反向微调 VLA 模型。
这意味着,这个系统用得越多,它生成的 3D 世界就越符合物理规律。这就像是一个不知疲倦的建模师,每天都在练习,而且速度是人类的一万倍。它不需要人类标注数据,它自己生成数据,自己检查数据,自己训练自己。这就是数据飞轮。
第八章: 行业影响——谁会失业,谁会起飞?
技术变革总会带来阵痛和机遇。作为站长,我必须给大家分析一下风口。
8.1 游戏开发(独立开发者的福音)
以前做 3D 游戏,美术资产(Assets)占了 70% 的预算。一个小团队想做 3D RPG,光是建模就能把资金烧光。
有了 3D-Generalist,独立开发者只需要写 Prompt:“生成一个 18 世纪的闹