Linux 正装版 - 让 IT 工作运转

作者:Doc Searls

2005 年 8 月,当飓风卡特里娜袭击新奥尔良和墨西哥湾沿岸时,它迅速成为美国历史上最严重的自然灾害。在堤坝决堤,墨西哥湾涌入新奥尔良之后,法律和秩序与我们称之为基础设施的公民文明一同崩溃。随着水位上升,电力服务中断,电话、手机、有线电视和自来水也随之瘫痪。电视台和广播电台都沉默了。警察、消防和紧急服务部门之间的通讯也中断了。医院和他们的病人们都在挣扎求生。在被淹没房屋的屋顶和被淹没的教区的岸边,市民们等待着同样无助的服务部门的帮助,而与此同时,抢劫者洗劫商店,狙击手向救援人员射击。在接下来的两周里,新奥尔良变成了摩加迪沙。

然而,在风暴和潮汐之上,有一座基础设施持久性的灯塔般屹立不倒:DirectNIC,域名注册商和网站托管服务,由 Intercosmos Media Group, Inc. 运营,该公司由 Sigmund “Sig” Solares 创立,他也是该公司的 CEO。Sig 在新奥尔良出生、长大并接受教育,在那里获得了 Loyola University 的文学学士学位、法学学位和 MBA 学位。他也是一位意志坚定、足智多谋的商人,对他的公司、客户和城市的忠诚近乎绝对。

在维持 DirectNIC 正常运转的过程中,Sig 和他的团队也开辟了一条通往世界的生命线,成为第一手的、不掺水的的新闻和摄影新闻来源,同时也提供了急需的技术帮助。DirectNIC 的生存是一个开源的胜利故事,它包含了这个词的每一种含义。它也可能是史上最佳的 DIY-IT(自己动手 IT)故事:一个如何在真正的最坏情况下生存的闪光榜样。

DirectNIC 不是一家小型 IT 企业。根据 Netcraft(参见在线资源),DirectNIC 是世界排名第 11 的域名注册商,拥有超过 40 万客户和 110 万个域名。它也是一家大型托管服务提供商,在拉斐特广场一栋办公楼的 9 层和 10 层占据了 6,800 平方英尺的空间,靠近超级dome体育馆和城市被淹地区的海岸。

并非巧合的是,DirectNIC 在 Linux 上运行。当我看到这种情况时,我开始尝试联系 Sig。他最终抽出时间在 2005 年 9 月 7 日接受了我 45 分钟的采访,当时灾难仍在继续。(为了将其放在时间线上,堤坝仍然被冲破,城市仍然被水淹没,混乱仍然占据主导地位,五天后 FEMA 主管 Michael Brown 辞职。)我们进行这次采访是为本专栏提供背景资料。我们还将其制作成播客,您可以从 IT Conversations 下载(参见资源)。

“当我们刚开始创业时,我们不得不选择 Linux,因为我们没有钱选择其他任何方案”,Sig 解释道。他继续说道

我们聘请了熟悉 Linux 的程序员。这就是我们选择的方向。这使得我们很容易找到员工。我们使用 Red Hat。当然,一切都是 Apache、MySQL、PHP。我们有 17 名程序员,我们尝试用 PHP 和 MySQL 完成所有工作。事实上,早在 MySQL 还很小的时候,他们每年都会举行几次会议。他们使用我们的培训设施,在这里进行培训。我们非常重视聘请他们的培训人员来提高我们程序员的速度。

因此,在网络上已经很清楚的事情在电话中变得更加生动:Sig 和他的团队在很大程度上和同等程度上都足智多谋和意志坚定。“我们有自己的 6,800 平方英尺的数据中心。它是由安然公司为我们建造的,后来安然公司破产了。我们去了破产法庭,说‘我们将以 5 美分的价格买下它。’他们说,‘我们接受。’”

至于依赖性,DirectNIC 与其客户的关系比与其供应商的关系更密切

我们一直购买 HP 服务器。我们过去使用白盒服务器;但是我们遇到了一些问题,所以自 2000 年以来,我们一直在使用 HP。我们对这些服务器非常满意。MySQL 一直在技术问题上帮助我们。我们与他们有一个支持包。但在这种情况下,我们真的不需要他们的帮助。事实上,在这种情况下,我们没有求助于我们的任何供应商。我们实际上求助于我们的一些在该地区的客户,我们需要柴油,所以她去买了一辆(悍马)H1。她说:“听着,我要确保你能弄到柴油。而且之后你还会有一辆很酷的车。”

当卡特里娜逼近并且疏散命令下达时,Sig 表明了他的立场

我告诉我们所有的 IT 人员,“我没有要求任何人留下来。如果你们要留下来,并且想来办公室,那很好。我会在这里。”我自己留了下来。高级副总裁 Donny Simonson——他负责我们所有的程序员——他留了下来。我们所有的网络运营人员都离开了小镇。然后是我的朋友 Michael Barnett——他以前从未为公司工作过——他想留在办公室。他已经有一个 Live Journal 博客,他在那里自称 Interdictor。

事实上,Michael Barnett 是一位前绿色贝雷帽队员,他显然觉得自己的经验和技能会派上用场。他的头衔变成了危机经理,他早期的卡特里娜日记清楚地表明,管理正是他打算做的事情

8 月 28 日星期日,下午 12:01。我们位于 Poydras 大道上一栋企业高楼的 10 层和 11 层,就在圣查尔斯附近。我们有发电机和大量食物和水。我们总共有五个人。我不确定互联网连接会受到什么影响。我有一台相机和我的枪。

8 月 29 日星期一,凌晨 5:12。欢迎来到震中。

一小时后,飓风卡特里娜以 4 级风暴在路易斯安那州登陆,风速超过 145 英里/小时。同一天早上,第 17 街运河堤坝被冲破。墨西哥湾通过庞恰特雷恩湖涌入新奥尔良。

DirectNIC 也遭受了直接袭击,雨水和风打破了 DirectNIC 设施的窗户。“你永远不会想到当你的数据中心位于一栋建筑的 10 层时,会有水进来”,Sig 说。然而,他们做好了准备。某种程度上是这样。Sig 解释道

我们总是在寻找角度。

任何时候我们制作 T 恤,这肯定预示着这将是一个失败的商业项目。幸运的是,我们有一个失败的项目,所以我们有 2,000 件这样的 T 恤。它们非常适合做沙袋……

首先,我们用 T 恤制作了一个路障。我们抓起水桶和拖把。我们还抓起一台吸水机来吸水。所以我们有六七个人什么都不做,只是吸水。与此同时,我们可以听到飓风打破了我们身后的墙壁上的玻璃……任何时候玻璃破裂,都会有更多的水穿过墙壁……并朝着我们的服务器方向前进。

今天,我们在通风口上覆盖了纸板,只是为了保持空调的冷气。防风百叶窗无法阻止空调冷气流失。

发电机在 9 楼,我们在 10 楼。我们在 10 楼还有一个 1,500 加仑的柴油箱。我们在 11 楼有 120 吨的冷却器用于空调和鼓风机。

DirectNIC 能够保持正常运行,仅仅是因为发电机持续运转,空调为服务器降温。还要确保他们与网络的的光纤连接正常工作。“我们知道我们不时会丢失 OC-3”,Sig 说。“所以我们有四个 OC-3,而我们知道我们只需要两个就可以维持运转。”(OC-3 代表 3 级光载波,是目前提供的最高级别。OC-3 线路的传输速度是基本 OC-1 速率 51.84Mbps 的三倍,即 155.52Mbps。)他继续说道

我们不得不关闭一些东西,但我们在整个过程中至少保持了一条 OC-3 线路的运行……

我们依靠三家不同的供应商提供四条 OC-3 线路。其中两条线路瘫痪了。第三条线路的燃料即将耗尽,所以我们必须找到一种方法将燃料运送到他们的设施。我的一个客户和国民警卫队一起上了一辆油罐车,沿着街道行驶,以确保燃料运送到该设施……供应商告诉我们,如果星期六之前他们得不到燃料,他们的燃料就会耗尽。所以……Brian 和国民警卫队一起上了卡车,并确保燃料运到了大楼。它靠近超级dome体育馆,那里的洪水非常严重。我们不可能用卡车到达那里。你必须有一辆军用高水位车辆才能将柴油运到那里。

光纤都在地下,但状况良好。大多数发电机都在地面以上,状况良好;但问题是向发电机输送燃料。我们的发电机在 9 楼。另一个在上面几层楼。所以最大的问题只是将燃料运送到建筑物,以及通过所有军队的检查,说服他们有足够的理由。你必须获得市政厅的批准才能将燃料运送到你需要的地方。

与此同时,网络运营人员的缺席给剩余的少数员工带来了压力

在整个过程中,我们确实有很多问题。我们遇到的问题之一是我们所有离开的员工……我们无法通过手机联系到他们。主要的沟通方式是通过博客,以及电子邮件之类的东西。我们会说,“好吧,这里有一些我们不知道如何解决的问题,因为通常解决这些问题的人都离我们很远。”所以我们能够以这种方式获得很多帮助。

例如,“我们非常担心我们几周内都无法获得柴油,所以我们必须弄清楚,‘我们如何才能减轻负载,以便尽可能延长我们的柴油使用时间?’我们从博客的评论中获得了大量关于这方面的信息。”

与此同时,Michael Barnett 的 Interdictor 成为了真实世界风暴中的虚拟港湾。虽然该博客充当了 DirectNIC 的半双工一对多求助热线,但它也充当了关于新奥尔良最深处实际情况的真实信息的实况、不掺水的信息来源。Michael 完成了大部分帖子,没有时间闲聊。每一篇文章都像一记重拳,击中了媒体巨兽肥胖的肚子,媒体巨兽的措手不及程度不亚于当地、州和联邦政府部门。例如,8 月 30 日的这篇文章

我一直被告知 CNN 和 Slate 报道说我们的“情绪”不是乐观的。这座城市正在崩溃,毫无疑问。抢劫行为猖獗。只要看看摄像头,你就会看到他们闯入那家酒店,拿走一切东西。水位仍在上升。但是你知道吗?我们团队的情绪并不消极。我们很专注。我们有需要完成的事情,我们将完成它们。这就是全部。我们需要柴油。我们会找到的。有人在依靠我们,我们不会让他们失望的。这就是全部。

如果这还不足以让我们认清自己的处境,那就记住我们住在这里。

还有,第二天

如果你正在观看摄像头,你会注意到有白人、黑人和西班牙裔在抢劫。有趣的是,我没有看到亚洲人在抢劫,但我会将这个观察留给社会学家来解释。回到重点,不要把你的政治正确那一套带到这个博客上来。这场危机与种族无关,而是与不人道有关。明白了吗?

结果,The Interdictor 拥有了自己的媒体生命。9 月 1 日,卡特里娜灾难发生的第六天,Michael 写道,“这个博客从来没有打算成为某种名声的跳板。我不知道它会……好吧,会变成现在的样子。这简直令人震惊……”仅这篇文章就有超过 500 条评论。许多评论是通过来自伦敦 泰晤士报 和其他大型出版物以及数千个其他博客的链接进来的。

然而,媒体明星的光环并没有分散 DirectNIC 对其首要任务的注意力。以下是 Michael 在 9 月 2 日发布的第一件事

水晶前哨站度过了漫长的一天。阿尔法小队要睡几个小时了。你们都很棒,你们所有的支持都是我们继续前进的纯粹动力。我向你们保证,我们不会放弃。我们预计今天(星期五)将是我们迄今为止体力消耗最大的一天。Sig 和我将把 18 个 55 加仑的柴油桶推上陡峭的停车场斜坡,送到 9 楼的发电机。

还有第二天

你刚才在网络摄像头上看到的这三个人是 Data Protection Services 的 Jeff 和 Hank(我们的客户之一,他们向他们的客户发誓,他们不会因为这场风暴而倒下),以及麻醉师 Doctor Tom。这三位英雄找到了将燃料和补给品运送到这个灾区的方法。我之所以说英雄般,是因为他们为了协调一种方法,在街头持续不断的危险面前,获得一个集装箱和燃料以及进入城市的路线,付出了巨大的努力,这绝对是超乎寻常的。他们的客户需要知道这些人为了完成工作付出了多大的努力。我听了他们的叙述,我对这些人的主动性和足智多谋印象深刻。

一个月后(当我写这篇文章时,在 2005 年 10 月初),结果是关于 DIY-IT 以及为自然灾害做准备和从中恢复的越来越多的智慧。Sig 解释道

我们以前经历过飓风。我们说“好吧,我们需要赶快弄到一些柴油,并备好柴油,并将备用油箱完全加满。”第一次我们只有一个泵。柴油泵会烧坏,你必须等待它冷却下来。所以我们学到了很多,因为我们已经经历过几次了。但没有什么能与这次的规模相提并论。所以这次绝对是一场火的考验。

我们以前做过迁移。但是当我们从一个数据中心迁移到另一个数据中心时,我们做过的最大规模的迁移是五个机架。我们在全国范围内迁移了五个机架。这次我们有一个 6,800 平方英尺的数据中心。事情最终变得更加复杂。特别是当你考虑到现在你无法联系到你的大部分员工时。我们确实有七到十个人在做大量的远程办公工作。这是真正帮助我们的一件事。其中一位所有者住在佛罗里达州那不勒斯。他负责协调将东西从这个设施迁移出去的所有工作。所以他一周内都在夜以继日地工作,从最关键的东西开始,然后逐步向下处理。我们有很多客户不担心在两个数据中心拥有冗余解决方案。他们会花 15 美元从我们这里购买一个域名,我们免费托管它。所以在这些情况下,我们不提供两种不同的解决方案。因此,如果这个数据中心要瘫痪,他们也会瘫痪。但是一旦我们面临数据中心要消失的可能性,我们想尽一切努力来阻止这种情况发生。

我一直专注于确保一切都在控制之中。

Sig 对他的公司作为新闻来源的角色,和他作为市场参与者的角色一样直言不讳:“我们绝对尽力发布尽可能多的信息,同时做所有必须做的事情。”

DirectNIC 也努力帮助新奥尔良内部的通讯。Sig 报告说

有很多不同的组织。我已经和阿拉巴马州警察、佛罗里达州警察、后备役人员交谈过……不同群体之间的沟通不是很顺畅。[这是我们]正在努力帮助的事情之一。该市的电话(市长办公室等)由我们的一位客户处理。因此,如果我们的设施瘫痪,该市将没有电话。由于卡特里娜飓风,NOPD 失去了很多通讯能力。我们有一位警察和我们在一起,24 小时没有收到指挥部的消息。

在我与 Sig 交谈整整一个月后,他在 Interdictor 上发表了一封公开电子邮件,他和 Michael Barnett 已将 Interdictor 转变为新奥尔良生存博客,网址为 mgno.com。这封电子邮件包含如此宝贵和来之不易的经验教训,以至于我找不到任何方法来对其进行删减。内容如下

最近,我收到了一位客户的电子邮件,他担心他在 DirectNIC 注册的域名,因为新奥尔良的问题。让我明确一点:新奥尔良的其他所有企业都可能倒闭;然而,Intercosmos Media Group, Inc.,DirectNIC 的运营商,将继续在新奥尔良和/或其他地方成功运营,而不会对我们的客户造成任何中断。

新奥尔良从来没有以亲商地点而闻名。尽管如此,我们还是在新月城蓬勃发展。在卡特里娜飓风之前,我们是新奥尔良最成功的企业之一。在卡特里娜飓风袭击几天后,只有两家办公室的主街(Poydras 街)亮着灯,位于中央商务区的中心地带。这两家办公室是 Bell South 和 Intercosmos Media Group, Inc.。我们能够继续运营绝非偶然。

在 Intercosmos,我们没有为卡特里娜飓风做任何特别的准备。我们已经为之前的数十次飓风做好了准备,并且我们已经制定了灾难准备计划。以下是我们为应对任何灾难所做的准备的简短摘要

1. 要求员工追求卓越。一支精干的优秀团队可以完成任何事情。如果你拥有合适的团队,那么你就可以在任何灾难中生存下来,甚至蓬勃发展。我们花了数年时间组建合适的员工团队,以便在任何情况下都能运营。

2. 建立一个规模过大的战争基金。在 Intercosmos,我们从不借钱来促进增长。我们始终专注于增加流动资产,同时保持稳定的盈利增长。对于这个策略,我们只是效仿比尔·盖茨,他喜欢为不时之需保留大量现金。正因为如此,我们有能力经受住任何风暴或一系列风暴。

3. 获得 300 万美元的信贷额度。我们获得这条信贷额度,尽管事实上我们过去和现在都没有打算使用这条信贷额度。信贷额度仅仅是一个安全网。

4. 大量保险。我们在 Intercosmos 是保险迷。然而,由于卡特里娜飓风以及我们所做的准备,我们将提出的索赔相当有限。

5. 制定远程办公计划。在卡特里娜飓风袭击之前,我们公司近 50% 的员工已经签订了远程办公协议。当任何飓风来袭并且员工疏散时,我们计划让员工通过使用基于互联网的 (VoIP) 电话、无线互联网和笔记本电脑进行远程办公。

卡特里娜飓风袭击后

1. 提高冗余级别。现在我们在四个安全的、遥远的设施中拥有服务器,而不仅仅是在两个设施中。

2. 提高盈利能力和手头现金。我们的业务不依赖于受卡特里娜飓风袭击的地区。我们 99% 以上的业务来自路易斯安那州以外的个人和企业。因此,我们在卡特里娜飓风袭击后的那个月的盈利能力实际上高于卡特里娜飓风袭击前的那个月。

3. 我们开始使用我们在另一个州拥有的 8,000 平方英尺的建筑物作为员工的重新安置工作空间。无法在我们新奥尔良的建筑物之一工作的员工可以作为远程办公人员或在我们的其他办公室工作。

你能做些什么来帮助我们?

我们对我们的城市充满热情。我们希望看到新奥尔良再次崛起。然而,我们的命运与新奥尔良无关。我们正在努力提高人们对新奥尔良问题的认识,因为我们希望重建工作取得成功,而不是像往常一样陷入政治泥潭。如果您想帮助我们完成这项使命,我们请求您加入我们在 nola.us 上启动的留言板上的对话。

此致,

Sigmund Solares Intercosmos Media Group, Inc. 首席执行官

我的妻子将世界分为“储蓄者”和“消费者”。她的理论是,我们大多数人天生就是其中之一。她是一个储蓄者。我是一个消费者。我们的四个孩子包括每种类型两个。Phil Hughes,我们 Linux Journal 的创始人兼出版商,是一位储蓄者。据我所知,Linus Torvalds 也是如此。在去年秋天的 Linux Lunacy Geek Cruise 上与 Andrew Morton(Linus 称之为他的“右手”)共事后,我确信他也是一个储蓄者。

所以,Sig Solares 显然也是。

正如我的妻子解释的那样,储蓄者和消费者之间的区别在于债务。尤其是信用卡债务。在她看到我没有信用卡债务并且开始每月全额支付账单之前,她不想嫁给我。我已经这样做这么久了,以至于想到回到我过去的方式就会让我不寒而栗。我可能天生是一个消费者,但我不是一个实际的消费者。至少在债务方面不是。

我相信,Linux 是储蓄者的操作系统。储蓄的价值观也体现在每个自由软件和开源项目的开发和应用实践中。

从灾难中幸存下来也与储蓄有关。这就是超越政治、种族、阶级和所有其他分裂我们问题的教训。当情况变得艰难,坚强的人开始行动时,走得最远的人将是那些一开始储蓄最多的人。

本文资源: /article/8637

Doc Searls 是 Linux Journal 的高级编辑。

加载 Disqus 评论