图形学大佬、前微软全球研究合伙人童欣加盟，Meshy 下一步要做实时互动世界

作者｜周一笑 微信｜smiletalker 计算机图形学研究者童欣最近加入 AI 3D 生成公司 Meshy，出任首席科学家。 童欣 1999 年获得清华大学博士学位后加入微软亚洲研究院，在那里工作了 25 年，曾领导网络图形组，并担任全球研究合伙人（Partner Research Manager）。研究范围横跨纹理合成、材质建模、真实感渲染、三维动画和几何处理，是微软亚洲研究院图形学团队最资深的研究者之一。 他的工作也不只停在论文里。中国计算机学会的介绍提到，童欣带领团队开发过高动态范围纹理压缩、GPU 虚拟化、3D 打印支撑和几何细节绘制等技术，其中一些后来进入 Xbox 游戏开发 API、Windows 3D 打印驱动和 Direct3D 图形开发工具包。 童欣发表论文 190 余篇，其中 60 余篇发表于 SIGGRAPH、ACM TOG 等图形学顶级会议和期刊。2018 年，他获得中国计算机图形学杰出奖；2024 年，又获得 AsiaGraphics Outstanding Technical Contributions Award，后者每年最多授予一人，用于表彰在计算机图形学领域作出突出技术贡献的研究者。 2024 年离开微软后，童欣加入 Anuttacon，继续研究 AI 与游戏图形学。如今，他去了 Meshy。 今年 GDC 上，Meshy 的游戏工作室 Meshy Game Studio 展示了 AI 原生游戏《Black Box: Infinite Arsenal》。最近公开的 Mora，则把 Coding Agent、3D 生成和实时视频模型放进同一个系统，希望 AI 做出来的小游戏既有明确的玩法和空间结构，也能实时生成更丰富的视听表现。 1 先把生成的 3D 真正用起来 Meshy 于 2023 年上线 AI 3D 产品。到今年 7 月，公司披露注册用户超过 1200 万，累计生成 3D 模型超过 1 亿个，ARR 约为一年前的 12 倍，并以 15 亿美元估值完成近 4 亿美元 B 轮融资。 这些模型已经被用到游戏、3D 打印、设计和产品开发中。Meshy 官网列出的客户和使用方包括 Nexon、网易游戏、三七互娱等游戏公司，也包括拓竹、创想三维、ELEGOO、闪铸科技和 xTool 等 3D 打印和制造品牌。 产品本身也在解决越来越具体的问题。AI 已经可以做出一个 3D 模型，真正进入制作流程后，还要看形状是否准确、部件能不能拆开、拓扑是否干净，以及后续是否方便继续编辑。 8 月发布的 Meshy 7 把重点放到了 geometry alignment，也就是几何对齐。简单说，就是生成出来的 3D 形状和参考图究竟对不对得上。一个机械零件看起来可能已经很像，但如果比例有偏差、两个相邻部件粘在一起，或者参考图里的凹槽只停留在纹理上，没有真正进入几何结构，后面的动画、编辑和制造都会受到影响。 Meshy 为此做了一套自动几何评测，把结果拆成整体比例、空间分布和表面细节三个指标。在 Meshy 自建的单视图 benchmark 中，Meshy 7 三项分别达到 81.0%、79.7% 和 59.8%，高于同一测试中的其他受测模型。 Smart Topology 处理的是更靠后的制作环节。它可以直接生成带原生分件的 3D 模型，并控制模型面数，减少人工减面、重拓扑和部件整理。 童欣在 2023 年讨论 AIGC 时，就把类似的问题叫作 3D 生成的“最后一公里”。 他的意思并不复杂。生成模型已经能完成内容生产的第一步，但一个真正可以继续做动画和交互的 3D 模型，还需要语义、部件结构、表面属性等信息。传统图形学为这些工作建立了成熟的制作流程，生成式 AI 还要继续处理生成之后的部分。 三年后，一致性、拓扑、分件这些已经变成 AI 3D 产品里很实际的指标。Meshy 也已经靠这套产品获得了用户、客户和收入。 今年，Meshy 开始更多谈“AI for Fun”。Meshy 创始人兼 CEO 胡渊鸣对它的解释，是希望 AI 最后改变的不只是内容怎么生产，还包括人们怎么玩、体验什么。Meshy 把它概括成“用 AI 给人类带来快乐和意义感”。Mora 是目前这套想法里最完整的一次技术尝试。 1 把规则、空间和画面拆开做 今年 1 月，Google 首先向美国 AI Ultra 用户开放 Project Genie。用户输入文字和图片，可以创建一个由 Genie 3 实时生成的环境，再进入里面移动和探索。 这类产品很容易让人想到一种更彻底的做法。既然视频模型已经可以边生成边维持一个可探索的空间，未来是否可以直接让一个模型生成完整游戏？ 胡渊鸣最近在自己的公众号发表《Mora：超越“世界模型”》，专门讨论了这个问题。 他列出了现有互动视频模型的八类局限，包括空间很难长时间保持一致、复杂物理和精确的游戏逻辑难以处理、交互方式有限，以及持续时间和操作延迟等。一个由视频模型生成的世界可以看起来很真实，但“看起来存在”和“真的按照一套稳定规则运行”仍然是两件事。 Mora 把这些工作拆开处理。 Coding Agent 先生成游戏世界的骨架、运行代码和玩法逻辑，Meshy 的 3D 生成补充场景和资产，并向实时视频模型提供 3D 结构与控制信息。视频模型负责最后的画面和声音。代码和 3D 提供更明确的运行规则和空间结构，也减少了视频模型独自维持整个世界的难度。 一个比较直观的例子，是 Mora 做的类《传送门》Demo。《传送门》是 Valve 的经典空间解谜游戏，玩家通过两个相连的传送门改变人物和物体的移动路径，玩法高度依赖稳定的空间关系和精确规则。 Mora 的类《传送门》Demo 在 Mora 的 Demo 里，场景结构和谜题逻辑由代码与 3D 系统维持，玩家负责解谜，实时视频模型再生成最后看到的画面。胡渊鸣也在文章里直接写了当前局限，模型还不能正确表现传送门内部的内容，所以他们暂时把传送门本身的渲染关掉了。 其他 Demo 还包括多人平台跳跃、赛车、种植、建造和带物理碰撞的小游戏。部分场景可以在运行时直接切换视觉风格。对 Coding Agent 快速生成的小游戏来说，实时视频模型可以补上更丰富、可以随时变化的视觉表现。 胡渊鸣给 Mora 设定的目标也很直接，希望“让 Coding agent 生成的小游戏拥有 3A 级别的视听体验”。 公司已经在 3D 生成上积累了产品、图形学和大模型训练经验。Mora 进一步把这些能力与 Coding Agent、视频生成和实时推理系统结合起来，探索更丰富的实时互动内容。 这种做法和童欣这些年研究问题的变化也能接上。 1 图形学的制作流程也在变 童欣并不是最近两年才开始把机器学习带进 3D 图形学。 2017 年，他参与的 O-CNN 发表于 SIGGRAPH。传统卷积神经网络擅长处理规则排列的二维图像，但 3D 模型通常由不规则的网格或点云构成，直接把高分辨率 3D 空间切成密集体素，计算和显存开销会迅速增加。O-CNN 用八叉树组织 3D 数据，只在物体表面附近进行卷积计算，让神经网络能够更高效地处理高分辨率 3D 形状。 那时要解决的问题，还是怎样让深度学习更好地理解 3D。 到了近年的 RenderFormer，模型已经开始接手图形学流程里另一项核心工作。 3D 渲染需要根据场景里的几何、材质和光照计算最终画面。RenderFormer 保留了三角网格和材质这些 3D 场景信息，再让 Transformer 学习场景中的光照关系，生成带全局光照效果的最终图像。这项研究发表于 SIGGRAPH 2025，童欣是论文作者之一。 TRELLIS 处理的是另一个问题，怎样让生成模型更灵活地表示 3D 内容。它先学习统一的内部 3D 表示，再根据需要输出不同形式的 3D 结果。今年发布的 LPM 1.0 则进入角色表演，尝试直接从视频学习人物说话、动作和反应，减少对传统角色绑定和动画制作流程的依赖。 这也接回童欣 2023 年说的另一段路。 他把它叫作“开始一公里”。新的表示和生成模型出现以后，3D 内容是不是还必须沿用原来的制作方式，还是可以建立一套新的流程？ RenderFormer 与 Mora 处理的任务并不相同，但有一个很具体的相似点。两者都保留明确的 3D 场景信息，再让模型根据这些信息生成画面。童欣近年在 3D 表示、神经渲染和视频角色上的研究，也与 Meshy 正在探索的问题出现了更多交集。 童欣加入以后具体会负责哪些研究，Meshy 目前还没有进一步披露。 1 接下来不只是生成 3D 模型 Mora 1 目前仍是一次早期架构验证。 Meshy 自己列出的限制包括多人画面容易变糊、小角色面部仍有典型的视频生成错误。据胡渊鸣披露，计入网络后，目前 Mora 从玩家操作到画面反馈的延迟约为 300 毫秒，团队希望进一步压到 100 毫秒以内。对 FPS 这类需要快速转动视角的游戏来说，这仍然很重要。 Mora 2 已经在开发，这次没有开放的创作系统也会留到后续版本。团队的招聘岗位也已经覆盖视频基础模型、大规模训练、实时生成、Agent 和系统工程。 童欣三年前说，生成式 AI 给图形学留下了“最后一公里”和“开始一公里”。前者是让生成的 3D 真正进入生产，后者则是重新思考 3D 内容以后应该怎么做。 现在 Meshy 两边都在做。 童欣加入时，这家公司的目标已经不只是让 AI 更快做出一个 3D 模型。它还在试另一件事，让这些模型和代码、视频生成一起，组成一个可以运行、可以交互，也有足够丰富视听表现的游戏世界。