李飞飞今天扔了个重磅炸弹:手机浏览器里能跑1亿个3D粒子了
李飞飞今天扔了个重磅炸弹:手机浏览器里能跑1亿个3D粒子了
https://images.unsplash.com/photo-1573164713988-8665fc963095?w=800" alt="李飞飞与World Labs" class="article-img">
故事是这样的。 今天早上我刷推特,看到李飞飞发了一条消息。她说她的团队搞出来一个东西,能在任何设备的浏览器里流畅渲染超过1亿个3D高斯溅射点。 我当时就愣住了。 1亿个点是什么概念?传统3D游戏里,一个复杂场景可能也就几十万到几百万个多边形。而她说的这个,是1亿个。 而且不是在高端游戏主机上,不是在专业显卡上,是在**手机浏览器**里。 这意味着什么?意味着以后你点开一个链接,就能走进一个照片级真实的3D世界。不用下载APP,不用装插件,就跟你现在看网页一样简单。 && 先说说李飞飞是谁
如果你关注AI,肯定听过这个名字。
李飞飞,斯坦福大学教授,业界叫她「AI教母」。她最出名的成就是搞了ImageNet——一个包含上千万张标注图片的数据集。这事发生在2007年到2009年,那时候深度学习还没火,很多人觉得她是疯子。
但2012年,一个叫AlexNet的神经网络在ImageNet竞赛上一鸣惊人,深度学习的时代正式开启。可以说,没有ImageNet,就没有今天的AI热潮。
后来李飞飞去了Google Cloud当首席科学家,又回斯坦福创办了以人为本AI研究院。2024年,她干了一件很多人没想到的事——创业。
她创立的公司叫World Labs,专注「空间智能」。按她的说法,语言模型解决了AI理解和生成语言的能力,但AI还缺一个核心能力:理解三维物理世界。
「没有空间智能的AGI是不完整的。」这是她的原话。
<hr>
Spark 2.0到底是个啥
https://images.unsplash.com/photo-1633356122544-f134324a6cee?w=800" alt="3D渲染技术" class="article-img">
今天要说的主角,是World Labs开源的一个叫Spark 2.0的东西。
简单说,它是一个3D高斯溅射渲染引擎。这名字听着唬人,其实原理不难理解。
传统3D图形用三角形网格来拼出物体表面,就像用乐高积木搭模型。而3D高斯溅射用的是数百万个半透明椭球体,英文叫splats。这些椭球体层层叠叠,通过色彩融合呈现出超写实的细节。
你可以把它想象成数字版的点彩画,只不过用的不是颜料,而是3D高斯分布。
Spark 2.0最牛逼的地方在于,它解决了大规模3D场景的流式渲染问题。
以前的问题是:一个高质量的3D扫描场景可能有4000万甚至1亿个splats,普通手机根本跑不动。即使能跑,文件也可能几百MB甚至上GB,等下载完天都黑了。
Spark 2.0用了三招来解决这个问题:
第一招:LoD(细节层级)系统。远处的物体用粗糙的模型,近处的用精细的,视线之外的干脆不渲染。这样不管场景多大,实际渲染的粒子数是固定的,帧率很稳。
第二招:渐进式流式加载。新的.RAD文件格式把数据切成64K的小块,先传一个粗略版本让你立刻看到画面,然后再根据你的视角慢慢加载细节。就像刷短视频,先看到模糊预览,再变清晰。
第三招:虚拟内存管理。GPU内存是有限的,但Splats数据可能无限大。Spark借鉴了操作系统的虚拟内存机制,只把当前需要的部分放进GPU,其他的存在云端,需要时再换进来。
三招合一,结果就是:1亿个粒子的3D世界,能在手机浏览器里流畅运行。
<hr>
这玩意儿能干嘛
https://images.unsplash.com/photo-1614726365723-49cfae987c3b?w=800" alt="虚拟世界" class="article-img">
World Labs已经搞了几个Demo,我看了之后有点震惊。
一个是Coit Tower场景,超过4000万个splats构成,完全在浏览器里交互。你可以走进去,围着塔转,细节极其丰富。
另一个叫Starspeed的游戏,是个多人宇宙飞船射击游戏。整个场景由超过1亿个splats构建,附带10首原创音乐,全部通过浏览器流式加载。科幻环境直接跑在网页里,效果堪比专业游戏引擎。
还有一个艺术项目叫「Dormant Memories」,把真实地点的3D扫描和想象中的空间并置在一起,做成可探索的交互环境。现实与虚构的边界在这些颗粒感中变得模糊。
但这只是开始。
李飞飞的野心很大。Spark 2.0和他们的3D世界生成工具Marble深度绑定:你用Marble生成3D世界,用Spark渲染分享,整个链路已经跑通。
这意味着什么?意味着普通人也能创造3D世界了。
以前你要做一个3D场景,得学建模、学渲染、学编程,门槛极高。现在?一句话描述或者一张图片,AI帮你生成世界,然后你分享给朋友,对方点开链接就能走进去看。
一行链接,交付世界。这是World Labs的 slogan。
<hr>
为什么开源
这里有个点我觉得很有意思。
李飞飞在发布Spark 2.0的时候说了一句话:「能为基于网页的3D高斯溅射渲染开源生态贡献力量,我们感到无比自豪。」
她没有强调「我们做到了什么」,而是强调「我们为开源社区贡献了什么」。
这个表述很耐人寻味。
3DGS渲染是一个仍在快速演进的领域,单靠一家公司推不动整个生态。李飞飞选择开源,本质上是想建立行业标准。当所有人都用Spark的时候,World Labs就掌握了话语权。
而且开源能加速技术发展。开发者们会在Spark上做各种尝试,有的做游戏,有的做艺术,有的做建筑可视化。这些案例反过来会推动Spark进化,形成良性循环。
这是一种比封闭垄断更聪明的打法。
<hr>
写在最后
从ImageNet到Spark 2.0,李飞飞一直在做同一件事:降低AI的使用门槛。
ImageNet让机器能「看见」,Spark 2.0让3D世界能「触手可及」。
这两件事中间隔了十几年,但逻辑是一致的:用数据和工程能力,把原本只有专业人士能干的事,变成普通人也能玩的东西。
我不知道空间智能会不会真的成为AI的下一个前沿。但我知道,当1亿个3D粒子能在手机浏览器里流畅运行的时候,一些东西已经改变了。
未来的互联网,可能不再是平面的网页,而是立体的世界。
而我们,正站在这个转折点上。
<hr>
——— 🦞 养龙虾技巧 ———
想体验Spark 2.0?直接去这个链接:https://starspeed.game/ 这是一个完全基于Spark 2.0构建的多人太空射击游戏,在浏览器里就能玩。如果你的手机能流畅运行这个,就说明Spark的LoD系统和流式加载真的起作用了。
<hr>
编辑:小哎 来源:World Labs Blog、36氪、量子位、智东西 📢 AI世界,哎咆为你精选。资讯快如咆,观点不随大流。