变革的行业:Linux 席卷好莱坞
在 2001 年夏天之前,Linux 的支持者经常指出许多单公司部署案例,以此作为这个新兴操作系统的成功衡量标准。例如,伯灵顿北方公司在 1999 年 2 月承诺在美国 250 家门店部署 Linux。紧随其后的是日本的 Lawson 便利店,该公司与 IBM 达成协议,由 IBM 为这家便利店零售商提供 15,000 台基于 Linux 的 IBM eServer 服务器,运行 Red Hat 软件。福特宣布了一项计划,他们将部署 33,000 台 Linux 桌面电脑。这些对于开源信徒来说都是巨大的胜利。但它们只是变革浪潮中的企业浪花。Linux 需要的是一场海啸——一场全行业范围的迁移——来宣告企鹅时代已经到来。
视觉特效行业应运而生,这个行业由为电影和动画故事(如玩具总动员和怪物史莱克)制作特效的工作室组成,在行业术语中称为 VFX。这是一个亟待变革的行业,一个努力摆脱单一供应商解决方案和高价专用硬件束缚的行业。这也是一个试水 Windows 后发现它朝着错误方向流动的行业。
这不是一个关于一两个工作室在其渲染农场(用于制作电影中单个帧集合的服务器机房)中采用 Linux 作为服务器的故事。我们谈论的是整个行业——从 Rhythm & Hues 到 Pixar,从 Digital Domain 到 DreamWorks。到 2001 年夏天,梦工厂-PDI 已经有超过 2,000 个基于 Linux 的 CPU 在线运行。他们的夏季大片怪物史莱克是在 1000 多台主要是 Linux 机器上渲染完成的(参见GFX:“梦工厂在动画制作中使用 Linux”,2001 年 8 月刊LJ)。Pixar 仅在生产中部署了 15 个工作站,在软件开发中部署了 25 个工作站,但技术副总裁 Darwin Peachey 表示,该工作室正处于大规模采购和部署桌面电脑以取代他们当前的 SGI 桌面电脑的边缘。甚至工业光魔也在考虑大规模转向企鹅操作系统。
这也不是基础设施供应商(如 IBM 或 Compaq 或 HP)宣布他们将支持 Linux 操作系统,而是最终用户要求应用程序和硬件供应商提供支持。早在 2001 年 6 月,视觉特效协会技术委员会主席 Ray Feeney 就表示:“对于电影制作的高端部分,80-90% 将在 18 个月内基于 Linux。一切都将转向 Linux。” 这种大规模迁移在 Linux 世界中从未发生过。海啸已经来临。
要理解这场浪潮是如何形成的,需要对行业本身有所了解。特效工作室将电影制作称为流水线,即创建特效并将其整合到电影中所需的一系列流程。流水线有两个截然不同的方面:图形工作站和渲染农场。后者就像任何其他装满服务器的机房一样,处理任何给定的问题。在这种情况下,问题是从工作室众多艺术家提供给渲染农场的模型中生成 3D 图像。艺术家们在流水线的另一端工作,即在图形工作站上。
这场浪潮的第一个涟漪出现在 Digital Domain 使用 Linux 为电影泰坦尼克号渲染帧时。著名的 Linux 图形大师 Daryll Strauss 参与了这部电影的制作,他早在 1998 年 2 月就为Linux Journal报道了这个故事。当时,Daryll 使用一间装满基于 Alpha 的 Linux 系统的房间联网在一起,渲染了电影中使用的一些水景场景。在这个早期阶段,Linux 仍然扮演着其传统的后端服务器角色。前端图形工作站仍然主要是 SGI IRIX 系统的领域。
1999 年,SideFX 软件将其非常流行(且非常昂贵)的高端 3D 建模和动画软件包 Houdini 移植到 Linux。Linux Journal 再次报道了这个故事,这次是在我对 SideFX 研发总监 Paul Salvini 的采访中。Houdini 是艺术家用来创建模型(渲染农场处理的模型)的工具。在 Houdini 移植时,Linux 仍然存在图形相关的限制,例如缺乏对硬件加速 OpenGL(事实上的行业标准,用于进行 3D 应用程序和游戏)的支持。根据 Salvini 的说法,这造成了一个鸡生蛋蛋生鸡的问题。“为 Linux 开发这样的产品需要硬件加速才能真正可行,但硬件加速通常需要应用程序才能保证驱动程序的编写。” 视频卡制造商没有编写驱动程序,因为没有应用程序需要它们,而应用程序没有被编写,因为没有可用的驱动程序。SideFX 通过使用软件加速 OpenGL 绕过了这个问题,这是一种较慢且存在问题的替代方案,不需要特殊的视频卡驱动程序。尽管如此,这足以吸引 VFX 行业转向 Linux。这也促使显卡供应商向 XFree86 提供帮助,并开始着手开发自己的专有驱动程序。
随着操作系统在生产的渲染农场方面被证明是可行的,并且图形工作站方面也在不断改进,VFX 行业海啸力量的地震舞台已经搭建完毕:VES 2000 Linux 峰会。视觉特效协会 (VES) 是 VFX 行业的专业会员组织。那年夏天,来自 24 家特效公司的 45 名代表在加利福尼亚州圣巴巴拉市会面,讨论摆脱 SGI IRIX 并转向 Linux 的必要性。这次活动由 VFX 协会技术主席 Ray Feeney 和梦工厂的 Kate Swanborge 组织,开始了融化工作室之间通常冻结的沟通的过程。会议强调需要移植第三方应用程序。当时,行业使用的 20 多个标准图形软件包中,只有 5 个被移植到 Linux。更糟糕的是,应用程序供应商认为 Linux 不是该行业正在使用的操作系统。
大多数工作室开始自行将其内部软件移植到 Linux。与此同时,VES 邀请软件供应商参加研讨会,讨论移植应用程序的需求。VES 成员认为,通过一致行动,他们可以对供应商施加足够的压力,以快速移植应用程序。
一些应用程序已经可用。Pixar 的 RenderMan 产品开发总监 Dana Batali 表示,他们实际上已经在 Linux 上提供了 PRMan 渲染器好几年了。SideFX 的 Houdini 移植是第一个公开宣布的产品。协会施加的压力奏效了。到 2001 年 8 月 SIGGRAPH 2001 大会召开时,移植的应用程序包括 Alias|Wavefront 的完整 Maya 建模和渲染工具集(参见“GFX:Alias|Wavefront Maya 4”,2001 年 10 月刊LJ)、Avid 的 Softimage XSI 图像合成器、Kaydara 的 Filmbox 内容创作包、Silicon Grail 的 RAYZ 合成器和 Nothing Real 的合成器 Shake。
VFX 行业向 Linux 的迁移揭示了一些开源倡导者可能之前没有注意到的有趣的相互作用。例如,与微软产品相比,成本问题不一定重要,而且在不考虑底层商品硬件的情况下,成本也不是一个因素。
位于多伦多的 Axyz Animation 为 SideFX 的 Houdini 在 Linux 上的早期采用者测试做了很多工作。Axyz 的高级动画师 John Coldrick 表示,Axyz 已经用基于 Linux 的 PC 取代了他们所有的工作站,他说,从 IRIX 迁移过来是成本问题,但从 NT 迁移过来是技术问题。
除了价格便宜得多之外,[Linux] 并没有比 IRIX 提供更多功能。但 Linux 的可扩展性非常出色。如果你从八个 NT 工作站开始,你还可以,但如果你必须扩展到 70 或 100 个,你就会遇到一些重大问题。使用 Linux 就不会有任何问题。
成本也不是 Pixar 最重要的问题。“当谈到迁移问题时,大多数人倾向于关注成本”,Pixar 的技术副总裁 Darwin Peachey 说。
但在这个价格水平上,成本并不是最重要的。最重要的是要看看哪种硬件性能最好。目前,配备 NVIDIA 或 ATI 图形解决方案的基于英特尔的工作站是最好的。这些工作站在图形和 CPU 性能方面现在已经超越了传统的 RISC 工作站(如 SGI)。除了性价比之外,如果你看绝对性能,似乎这才是行业必须走的路。
梦工厂动画技术主管 Ed Leonard 表示,如今,计算成本必须通过每部电影来收回。
历史上,我们购买了大量的 SGI。这些设备在几部电影中摊销。由于投资巨大,你希望从一些硬件中获得五年的使用寿命。而如今,通过英特尔/Linux 策略,我们正在转向我们所说的“一次性计算”。电影制作通常为期两年,在此期间,技术会向前发展几个台阶。我们通常预计在每次制作中收回大部分硬件成本。因此,对于每部新电影,我们都会购买一个新的渲染农场。
但 SideFX 的 Salvini 最直言不讳地指出:“让你的产品在 Linux 上运行是一回事,但如果你在操作系统上节省了 200 美元,却需要一张 5,000 美元的显卡,那又有什么意义呢?”
商品组件的使用使该行业能够摆脱对 SGI 的依赖,SGI 是一家拥有昂贵、专用硬件且未来前景不明的公司。Peachey 补充说,英特尔解决方案只有两条路可走:微软 NT 或 Linux。Feeney 说,NT 最终被证明既是一个技术问题,也是一个政治问题。
“曾几何时,微软非常关注 VFX 行业,认为这将是他们下一个要征服的领域”,Feeney 说,他也是 VFX 工作室 Silicon Grail 的创始人。“他们会修复其操作系统中的大数据传输问题等等,将 Windows 从消费者工具转变为企业工具。” 但他说,这种情况从未发生过。
这个行业就像一项团队运动——它是一项协作努力。共享数据和其他材料的能力,除了办公室风格的文档之外,极其复杂,而且由于微软环境的限制而变得更加复杂。因此,正是出于技术原因,该行业才重新关注 [Linux] 市场。
Axyz 的 John Coldrick 对此表示赞同,并补充说,转向 NT 的想法让他不寒而栗。“我们习惯于在 UNIX 环境中工作,在那里我们可以控制、联网和保持稳定性。更像是 NT 对我们来说不够用:网络很糟糕,没有链接,稳定性也不好。” 从移植的角度来看,迁移到 Linux 提供的技术问题较少。由于 Linux 在所有实际用途上都是 UNIX,因此从 IRIX 移植比转向 NT 容易得多。
Giga 最近的一项调查发现,一大群与 VFX 行业无关的微软客户不愿意升级,因为 XP 的新许可规则将他们锁定在两年升级周期中。相反,许多人计划迁移到其他选项,主要是因为他们计划更长时间地保留他们的 PC。令人惊讶的是,想要经常升级的群体——VFX 行业——并没有得到微软的太多支持。Feeney 说,
他们正忙于解决与高端特效行业无关的一系列问题。他们认为最好将时间花在其他地方,比如在网络上使用 Hailstorm 和 .NET。因此,他们从未涉足企业市场。
但这不仅仅是因为 Linux 更像 UNIX。在第一次 Linux 峰会之前,各工作室都在考虑他们的升级策略。“这个行业是一个相对较新的行业,在过去五到七年中发展起来”,梦工厂的 Leonard 说,“这大约是 SGI 硬件的寿命。”
业内人士开始思考如何处理这个问题——要么购买新的 SGI 并处理可能隐含的企业稳定性问题,要么转向商品平台。Leonard 表示,英特尔的 IA-64 将为 VFX 市场带来质的飞跃。“它将迫使所有人未来 18 个月内迁移到商品硬件”,与 IA-64 的发布周期相匹配。
作为迁移的一部分,该行业不得不以一种新的方式考虑升级策略。工作室发现升级商品硬件没有多大意义。桌面电脑和渲染农场的寿命为两到三年,与给定的电影制作的时间框架相匹配,之后更快的硬件使它们可以被替换。随着新系统的引入,也会引入新的软件安装,这意味着要验证应用程序是否继续在两者上运行。在许多情况下,工作室将继续依赖单一来源供应商——尽管他们现在可以选择供应商——来提供经过其硬件认证的 Linux 和第三方应用程序。从迁移开始,对行业动向最感兴趣的供应商一直是惠普。
像 Pixar、梦工厂和 Axyz Animation 这样的公司在早期迁移工作中获得了很大帮助,这在很大程度上归功于 HP 位于柯林斯堡的图形团队的积极努力。
SideFX 的 Salvini 和 Axyz 的 Coldrick 都称赞 HP 在帮助 Houdini 的初始移植工作方面做出的贡献。HP 认识到 XFree86 中缺乏加速硬件支持,因此将其自己的服务器从 HP/UX 移植到 Linux,并提供支持 OpenGL 环境。虽然这个解决方案并非完全面向开源,但它将进程推进到第一次 VES Linux 峰会之前。
Nothing Real 在 2000 年 4 月之前将其 Shake 合成软件移植到 Linux。该公司本来可以更早完成移植,只是由于缺乏硬件加速驱动程序。他们赞扬 HP 帮助他们迁移到 Linux,以及显卡制造商 NVIDIA,他们说 NVIDIA 的行动比较缓慢,但最终还是提供了自己的专有驱动程序。
虽然 HP 和 NVIDIA 等公司的早期产品包含一些闭源软件组件,但这种情况仅被视为临时解决方案。Ed Leonard 表示,由于整体迁移的早期阶段,该行业愿意接受这些短期的闭源解决方案。但他们仍然希望看到包含开源的长远战略。“我们已经对 HP 等供应商说,‘为了与您合作,我们真的希望看到您拥抱 Linux 和开源。’ 这为行业提供了更大的硬件选择灵活性。行业正在推动供应商提供开源解决方案。” 而 HP 也对此表示赞同。他们已经注意到他们希望退出 X 服务器业务,将这项工作留给 XFree86 组织和显卡制造商。
惠普和 IBM 等解决方案提供商为 VFX 工作室提供完整的系统解决方案,运行各种 Linux 发行版,行业默认标准是红帽 Linux。HP 的数字内容创作(又名 DCC)系统是 x2000 和双处理器 x4000,两者都经过红帽认证可用于使用。IBM 的 Linux 数字工作室解决方案是该公司提供的 DCC 产品,包括其 IntelliStation M Pro 工作站、用于渲染任务的 eServer xSeries 以及各种其他硬件存储选项。Threshold Entertainment 制作了伯克利·布雷思德的短片爱德华·福德沃珀撒了弥天大谎,今年在 SIGGRAPH 2001 上展出,完全使用 IBM 的产品。
Pixar 的 PRMan、Alias|Wavefront 的 Maya、Nothing Real 的 Shake、Silicon Grail 的 RAYZ 和 SideFX 的 Houdini 都经过认证可在红帽上运行。制作 XSI 合成软件包的 Softimage 计划支持多个发行版。但是,他们可以支持的发行版数量必须有限制,这仅仅是基于让这些发行版准备就绪并可用于测试的要求。每个发行版都有很好的机会可以工作,但管理所有这些发行版对于任何应用程序供应商来说都太多了。
出于这个原因,工作室将继续依赖单一来源供应商。Leonard 表示,就梦工厂而言,与 HP 合作进行他们的初步工作是有道理的。
他们拥有整个堆栈,就像 SGI 一样。不是通过指令或选择。只是碰巧他们制造了硬件,例如他们的 FX 系列显卡。他们有自己的显卡驱动程序。如果我们遇到问题,他们可以负责解决问题。
但最终,当 NVIDIA 或 ATI 首选显卡的开源驱动程序可用时,梦工厂和其他工作室将期望从任何供应商那里获得开源解决方案。工作室可以选择保持单一来源以获得完整的解决方案,他们只是有更多的供应商可供选择。
该行业已经认识到,其业务的保密性质已接近尾声,很快将被开源世界更具共享性的性质所取代。将行业迁移到 Linux 所需的合作精神使工作室能够更快地解决常见问题。Pixar 的 Peachey 表示,他的工作室欢迎这种变化。
我们在某种意义上都是竞争对手,但 [迁移到 Linux] 帮助我们比以往更多地分享我们的想法和计划。毫不奇怪,这些问题在许多工作室中非常常见。我们开始看到,如果有人解决了与我们 [作为个体工作室] 所做的艺术无关的问题,并且该艺术存在技术组成部分,但我们必须解决的许多事情与该艺术无关,那么突然之间,我们都感觉到我们可以从中受益。这令人鼓舞。看到这种情况很有趣。
梦工厂的 Leonard 表示,他仍然希望看到开源社区将娱乐业视为创新和认可的合作伙伴。
处理开源的难点之一是,它仍然被视为有点像黑客的世界,只要你愿意破解代码,你就会得到你想要的东西。对于 VFX 行业而言,现实情况是,作为真正的企业,我们需要找到一种方法来引导开源世界中的人才,以便我们可以从中获得价值。
Leonard 补充说,对于开源开发者来说,与 VFX 行业合作可能比与其他行业合作更容易。
VFX 行业愿意承担风险。我们的解决方案不必用漂亮的蝴蝶结包装——我们愿意共同努力使这些东西发挥作用。我认为我们与开源共同解决的问题的应用可以应用于更大的社区。
Ray Feeney 对此表示赞同。“我们是矿井里的金丝雀”,他这样评价该行业推动 Linux 走向新方向的意愿。
尽管如此,行业中的许多人仍然担心与开源开发者合作。在改进 GIMP(开源世界对 Photoshop 的回应)以更好地满足电影行业需求时,就出现了一个早期的冲突例子。GIMP 在行业中备受推崇,但 1.2 版本缺少 16 位颜色通道,这是行业保持电影中高质量色彩所需要的。创建了一个单独的好莱坞 GIMP 分支来解决这个问题,但它提供的解决方案(已提供回开源社区)并未被 GIMP 开发者直接接受。相反,他们选择了一种从长远来看更实用的重新设计,但也需要更长的时间才能推出(一年多后仍然不可用)。
Pixar 的 Peachey 说,不幸的是,这在该行业的集体口中留下了一点不好的味道。
扩展是由 VFX 行业完成的,但没有被项目采纳。这让行业中的一些成员感到,由于我们是一个与开源开发者感兴趣的市场领域不同的市场领域,因此行业无法让任何开源开发者认真对待行业的需求。
Peachey 说,“行业对进行开源工作很感兴趣,但如果你做了工作却没有人接受,你如何让这项工作生存下去?”
Feeney 对此表示赞同。“Linux 社区与精通开发的团队合作良好,但你如何让电影制作人和开源开发者沟通?对于行业来说,这是一个复杂的问题。” 例如,GIMP 始终缺乏专业的色彩管理功能。有许多可用的外部专有系统,可以通过正确的技术工作将其添加到程序中。但也有后勤和政治问题需要解决,例如如何让这些专有系统与 GPL 代码(如 GIMP)一起工作。
VFX 行业是否知道 GPL 是什么,它意味着什么,以及它与专有软件的关系?Feeney 说可能不知道。“在我们的社区中,当你需要达成共识和标准时,开源推动是很好的。但我们的客户所做的事情需要通过他们自己的专业方法来实现差异化。开源和共享源代码之间存在很大差异。” Feeney 认为,VFX 世界工作的应用层更像是一个共享源代码世界。
尽管对如何与开源开发者合作存在担忧,但 VFX 行业仍在继续其向 Linux 的全面转换。该操作系统使他们能够更好地控制自己的未来,无论是作为工作室还是作为一个行业。
目前,行业使用的大多数主要工具都已可用。行业的主要会议和贸易展 SIGGRAPH 在 2001 年 8 月充满了 Linux 产品。这包括建模和渲染工具、用于分发渲染工作的工具以及 2D 合成工具,如 Avid 的 Softimage XSI。
虽然 VFX 是第一个采用的主要行业,但其他行业可能会很快效仿。业内人士表示,如果福特确实部署了 33,000 台 Linux 桌面电脑,那么由于汽车业务的成本竞争性,这可能会推动通用汽车、戴姆勒和其他公司采取类似的行动。这将使好莱坞的视觉特效行业显得像一部无声电影。
网站
新闻报道
SIGGRAPH 2000:来自展会现场的新闻和观点1999 年 Pixar/PDI 的辩论使行业保持操作系统不可知论,但在 Alias/Wavefront 的支持下,转变为推动 Linux。
Michael J. Hammel 是一位著名的作家,著有关于 GIMP 和 GTK+ 的书籍,是一位有抱负的图形艺术家和软件开发人员,目前与妻子 Brinda 和女儿 Ryann 一起住在休斯顿。最近,Michael 曾担任Linux Weekly News (LWN.net) 的高级编辑。