Ultimate Linux Box 2005

作者:Justin Thiessen

让我们将 2005 年称为电源管理年。处理器供应商大肆宣传关于节能的白皮书,并且我们在二月份的 LinuxWorld Conference and Expo 上听到了很多关于电源管理的信息。

行业是否开始关心全球变暖?IT 首席执行官是否想更频繁地吃箭鱼,因此他们必须减少发电厂的汞排放?不尽然。今天的服务器系统将更多更热的处理器紧密地封装在一起,而客户的空调系统尚未为此做好准备。正如我们在 1 月份的杂志中展示的那样,美国宇航局不得不为其 10,240 个处理器的 Columbia 集群安装水冷。

您可以节省的每瓦时电量都是客户不必处理的热量——精确地说,是 3.6kJ 或 3.4BTU。数据中心遍布刀片服务器,1U 系统最多可配备四个处理器,所有这些热量确实会累积起来。

Linux 桌面贪婪地吞噬着来自数十亿美元 Linux 服务器市场的残羹剩饭,功耗对我们的桌面也很重要。风扇很吵。如果您的处理器具有更好的电源管理,它们产生的热量就会更少,您可以运行更少的风扇或更安静地运行您已有的风扇。正如您稍后将看到的,我们对风扇采取了不同的方法。

最后,当然,电源在笔记本电脑和便携式设备上也很重要,因为电池续航时间很重要。我们将把调整以最大化脱离交流电时间的具体细节留给以后的文章。

主板:系统的核心

我们喜欢 Tyan 主板,构建定制 Linux 系统的公司也是如此。四路 Opteron Tyan Thunder K8QS Pro 问世的时间有点晚,未能赶上去年的 Ultimate Linux Box。它基于 AMD 8000 系列芯片组。当我们说“芯片组”时,我们指的是与基于 Intel 的系统略有不同的硬件组合。AMD64 的方式是为每个处理器配备一个板载内存控制器,为每个处理器提供自己的内存库,并使用 HyperTransport 将它们连接起来。您的 AMD64 “SMP” 机箱实际上是一个迷你 NUMA,“芯片组”不包括内存控制器。

去年,我们使用 Celestica A8440 准系统机架式系统作为 Ultimate Linux box 的基础。虽然从预集成的机箱和电源开始可以节省大量时间,但我们意识到去年的机箱声音有点大。今年,回到我们通常的计划让我们能够以我们想要的方式挑选其他一切。

K8QS Pro 有两个 PCI-X 总线,A 和 B。B 专用于两个支持 133MHz 的 PCI-X 插槽,A 提供两个最大频率为 66MHz 的 PCI-X 插槽和一个常规 PCI 插槽。板载网络是两个 Broadcom BCM5704C 千兆以太网接口,也在总线 A 上。

这里有所有常见的 PC 端口,我们正在使用 USB。SCSI 和串行 ATA 是可选的,如果您计划在构建下一个 Ultimate Linux Box 时将此主板移动到更传统的服务器角色,您可能需要记住这一点。

在这块强大的主板上,我们插入了当时可用的最好的四颗 Opteron 处理器——846 HE,主频为 2.0GHz,提供 1MB 的 L2 缓存。请参阅侧边栏,了解我们在测试系统时可用的产品。我们将系统的主内存最大化为 32GB。

对于机箱购物者来说不幸的是,这块主板是 SSI MEB 尺寸——13 英寸 x 16 英寸或 330.2 毫米 x 406.4 毫米。这对我们来说不是问题,因为我们今年使用的是定制机箱,但尺寸确实限制了您的机箱选择。

当为任何定制构建的系统(无论是 Ultimate 还是其他系统)挑选机箱时,我们通常会选择比大型供应商用于同类系统的机箱大得多的机箱。较小的机箱需要的材料更少,供应商的运输成本也更低,但由于我们喜欢调整,因此我们选择了一个有更多空间添加设备和更多内部工作空间的机箱。

存储

为了拥有完全静音的系统,您需要将存储移到机箱外部。自您可以选择 NFS 和通过 3 米电缆连接的外部 SCSI 扩展柜以来,执行此操作的选项已发生很大变化。

如今,您可以使用 USB、FireWire、SCSI 当然还有光纤通道或新的 ATA over Ethernet(我们在 2005 年 6 月号中介绍过)来让您的驱动器消失。单独的存储扩展柜不再仅仅是企业服务器机房的东西。

另一种选择是简单地通过网络启动并通过 NFS 挂载您的存储。由于 Penguin 与企业服务器机房硬件合作,并且光纤通道确实提供了令人印象深刻的基准测试结果,因此我们选择了它;nStor 4320F 光纤通道 RAID 扩展柜,带有用于操作系统的 Hitachi 18GB 驱动器和用于更多存储的更大的 Seagate 驱动器。

列表 1. 在 /etc/fstab 中看到的分区方案。

LABEL=/nstor-OS   /         ext3   defaults       1 1
LABEL=/cfboot     /boot     ext3   defaults       1 2
LABEL=/nstor-DATA /u1       ext2   defaults       1 2
none              /dev/pts  devpts gid=5,mode=620 0 0
none              /dev/shm  tmpfs  defaults       0 0
none              /proc     proc   defaults       0 0
none              /sys      sysfs  defaults       0 0

因为我们希望系统是独立的,并且不依赖另一台服务器来启动,所以我们安装了一张 Sandisk 256MB CompactFlash 卡来从中启动。此设备看起来与系统的另一个 ATA 驱动器完全一样,因此任何 PC 主板都可以从中启动。

我们考虑过使用 USB 拇指驱动器,但这需要一些 initrd 驱动器调整和 GRUB 向导操作。能够将启动设备从系统中拔出并单独存储是有优势的,但我们没有预料到会通过机场运送装有加密机密数据的驱动器的系统。

如果您计划将您的静音 Linux 系统留在您的网络上,您将在启动方面更加灵活,并且您可以设置 PXE 启动。但是,如果您想将您的 Ultimate Linux Box 带到朋友家播放音乐,您将希望能够独立启动。Penguin 团队计划将此系统带到 LinuxWorld Conference and Expo,当您为贸易展会整理硬件时,少设置一件事是好事。

如果您确实构建并安装了静音 Linux box,您可能会最终混合使用两者:用于用户主目录的 NFS、公司 /usr/local/bin/ 和其他需要同步但对性能要求不高的项目。您可以将您机器自己的文件系统保存用于大型工作文件,例如您将从此系统的高端声音硬件获得的所有音频数据。

最后,为了消除静音系统中的键盘咔嗒声,Penguin 创始人 Sam Ockman 建议使用 TouchStream LP 键盘,它像触摸板一样工作,并且不需要移动部件。它也是一个指点设备,可让您将手势映射到界面操作。

音频

这是我们第一次将专业音频硬件放入 Ultimate Linux Box 中。有什么地方比录音室更适合静音机器呢?

我们为该系统选择的 RME Hammerfall HDSP9652 卡能够处理多达 52 个通道,我们将其与一个名为 Multiface 的外部盒匹配,该盒带有 8 个 1/4 英寸插孔,以及光纤、同轴和 MIDI。

该卡尽可能接近“盒装工作室”,因为它围绕内部混音器构建,并允许您在卡内路由信号,延迟低,CPU 负载低。其他功能包括像传统磁带录音机一样“插入”和“切出”的能力。

最重要的是,RME 自 2000 年以来一直支持高级 Linux 声音架构 (ALSA) 项目,因此 Linux 用户不是二等公民。RME 的网站上写道:“Hammerfall 的 ALSA 支持打破了令人讨厌的鸡/蛋原则——没有专业的硬件/驱动程序,就没有专业的软件。”

Peter Todd 在我们 2003 年 10 月号中介绍了使用 Hammerfall HDSP 卡的必要工具。

对于视频,我们使用了一张相对低端的卡(请参阅在线资源)。我们真的很想开始在 Ultimate Linux Boxes 上放置有趣且创新的视频,但驱动程序仍然存在一些问题(请参阅侧边栏)。

散热管理

那么我们如何保持这东西凉爽呢?首先,重要的是不要在不了解您的更改对系统温度的影响的情况下开始调整硬件组合。除非您知道如何衡量更改的效果,否则不要更改任何内容。

好消息是处理器和主板供应商周到地为我们在关键部件上提供了温度传感器。我们可以使用一个非常重要的工具 lm_sensors 来跟踪它们。

我们不必测量驱动器温度,因为我们将驱动器移到了单独的扩展柜中,但 smartmontools(请参阅资源)为您提供了一种简单的方法来做到这一点。

我们从 Zalman 订购了一些部件,Zalman 提供了一套漂亮的水冷硬件。最引人注目的部分是 Reserator 1,这是一个组合的水箱和散热器,半米高,可容纳 2.5 升水。除了 Reserator 之外,我们还为每个处理器订购了一个 CPU 水冷头和匹配的管道。

热估算表明我们不需要每个处理器都配备一个完整的 Reserator,因此我们每两个处理器使用一个 Reserator,电源使用一个。

Reserator 配备了一个 5W 泵,这会打破我们美丽的静音,因此是时候将其转换为纯粹通过对流运行了。在其标准配置中,Reserator 的入口和出口彼此靠近,因此我们在每个 Reserator 内部安装了一根管子,从热入口延伸到顶部附近。

Ultimate Linux Box 2005

贾斯汀,你隔间里的是什么?我们使用临时系统和 lm_sensors 测试了对流冷却。

它奏效了吗?处理器温度攀升至约 50°C,然后从处理器通向 Reserator 的管子升温到足以启动对流。在正常使用情况下,温度降至 47° 或 48°C,并且在全速运行时,系统保持在 50°C 以下。

为电源散热有点困难。Zalman 最强大的无风扇电源只有 400W,而大型四路主板需要更多。我们决定使用 PC Power and Cooling Turbo-Cool 510 ATX。

我们决定不为该项目设计和构建电源,因为以正确的顺序为组件供电非常重要,而且我们知道 PC Power and Cooling 为我们解决了这个问题。散热问题仍然存在。

金属加工的魔力来了。Phil 将问题带到了一家名为 Global Precision 的机械加工车间,我们让他们做了三件工作。他们将电源散热器的原始散热片加工下来,以创建用于连接水冷头的平面区域。他们自己制作了水冷头——使用蓝色阳极氧化铝来匹配 Zalman 部件。他们还制作了两个定制的 Y 形连接器,以在两个散热器之间分配水流。

我们从电源中取出了风扇控制板。我们不再需要它了。

机箱

能够容纳 Ultimate Linux Boxes 并使其名副其实的机箱很少见。今年,只有一种替代方案可行:完全定制。今年的机箱有亚克力窗户,可展示冷却系统,为三个 Reserator 提供集成支架,并为 RME Multiface 提供安装位置。

Ultimate Linux Box 2005

看,大家,没有泄漏!贾斯汀为封面照片拍摄做准备(照片:Don Cameron)。

结论

尽管我们现在可能难以置信,但许多真实世界的系统既不需要 52 声道音频,也不需要光纤通道。但是不寻常的硬件组合才是实现创意项目的关键,我们很高兴 Linux 没有妨碍我们,并让我们连接我们想要的东西。

当您从可能的方面入手并去除不需要的东西时,您将有信心构建一台满足您需求的机器。我们希望无论您决定构建哪种类型的系统,您都能从今年的 Ultimate Linux Box 中获得一些想法。

Ultimate Linux Box 2005 零件清单

主板:Tyan Thunder K8QS Pro (S4882)

CPU:4 个 AMD 846HE Opteron

内存:8 x 4GB Registered ECC Samsung DDR PC2700 CL 2.5 DIMM

电源:510W 定制线束 PC Power and Cooling Turbo-Cool 510 ATX(已修改)

机箱:定制,由 Matt Fulvio 设计,由 Trevor Sherard 建造

光纤通道:Qlogic 2342 双端口、133MHz、PCI-X、2Gb 光纤通道适配器

启动设备:Sandisk 256MB CompactFlash 卡,DCFB-256-A10

存储:nStor 4320F 光纤通道 RAID 扩展柜

硬盘:2 个 18Gb Hitachi DK32DJ-18FC 10KRPM 光纤通道驱动器(RAID 1 阵列,用于操作系统安装)和 6 个 73Gb Seagate ST373405FC Cheetah 73LP FC 10KRPM 光纤通道驱动器(RAID 10 阵列)

显卡:PNY NVIDIA Quadro NVS 280 PCI

显示器:2 个 ViewSonic VX2000 20 英寸 1600x1200 LCD 显示器

声卡:RME HDSP9652 PCI 声卡

音频 I/O:RME Multiface 36 通道 24 位 96-kHz I/O 盒

冷却系统:3 个 Zalman Reserator 1s。

CPU 水冷头:4 个 Zalman ZM-WB2 Gold 水冷头

电源散热硬件:由 Global Precision 定制设计和加工。

未来的硬件,停留在过去的律师

它总是这样。我们想在 Ultimate Linux Box 中尝试的新产品在我们正在构建今年的产品时就出来了。

AMD 推出了双核 Opteron 处理器,但为时已晚,无法通过我们的散热测试,这使您可以使用 BIOS 升级在现有的四插槽主板上构建八路系统。今天,这意味着在处理器上花费 10,000 美元,但(大家一起)我们预计价格会下降。

我们正在关注 LinuxBIOS 项目(参见第 XX 页)的进展,并计划明年获得支持的主板。我们知道耐心是一种美德,但几秒钟内启动本身就很酷。

今年的系统听起来非常不错,我们明年也想再做一台静音机器。这意味着我们必须选择一种存储技术,并且明年备选方案列表中将增加 ATA over Ethernet,正如 Ed Cashin 在 2005 年 6 月号的文章中介绍的那样。

视频仍然是一个薄弱环节,不是因为硬件问题,而是因为供应商的律师。每个从事 3D 业务的人都在侵犯其他人的专利,并且将驱动程序代码埋藏在带有禁止反向工程条款的专有 EULA 背后只会减慢行业发展速度。当正常的内核开发过程经常破坏常用硬件的驱动程序时,该硬件需要跟上程序。

图形供应商,请聚在一起,交叉许可硬件专利,并为软件和文档提出一个许可证,让开发人员发布使人们首先想要图形硬件的新代码。从长远来看,这将对所有人都有帮助——NVIDIA 仅因其许可决策就维护着整个并行软件分发系统。为什么不将该成本中心从预算中剔除呢?

悲观主义者会说要“现实”,并接受专有驱动程序。但实际上,1990 年代中期的 UNIX 供应商也不打算支持 Linux。今天,每个 UNIX 供应商都倒闭了或支持 Linux。我随时都会将现实与“现实”进行比较。

基准测试结果

使用 100 个模拟客户端的 dbench

%dbench 100
Throughput 1234.57 MB/sec (NB=1543.21 MB/sec 12345.7 MBit/sec)

Bonnie++ 1.03——更准确的磁盘基准测试

  • 按字符顺序输出:58,577Kb/s,CPU 占用率 98%

  • 按块顺序输出:281,032Kb/s,CPU 占用率 50%

  • 顺序输出,重写:52,603Kb/s,CPU 占用率 18%

  • 按字符顺序输入:34,717Kb/s,CPU 占用率 58%

  • 按块顺序输入:90,097Kb/s,CPU 占用率 11%

  • 随机寻道:257.5/秒

  • 顺序创建:5,924 个文件/秒

  • 随机创建:6,056 个文件/秒

Postmark 基准测试——Postmark 模拟繁忙邮件服务器的操作。对于 20,000 个基本文件和 100,000 个事务,我们获得了以下结果。

时间

  • 总共 46 秒

  • 40 秒事务(2,500/秒)

文件

  • 创建 70,128 个(1,524/秒);单独创建:20,000 个文件(5,000/秒);与事务混合:50,128 个文件(1,253/秒)

  • 读取 49,656 个(1,241/秒)

  • 追加 50,199 个(1,254/秒)

  • 删除 70,128 个(1,524/秒)

  • 单独删除:20,256 个文件(10,128/秒);与事务混合:49,872 个文件(1,246/秒)

数据

  • 读取 303.46MB(6.60MB/秒)

  • 写入 436.18MB(9.48MB/秒)

内核编译:50 秒

本文资源: /article/8330

Justin Thiessen 是 Penguin Computing 的 Linux 工程师。作为今年 Ultimate Linux Box 项目的负责人,他负责系统设计、构建和测试,并参与组件选择。当不忙于 Ultimate Linux Box 时,他致力于新产品开发,并通过为 lm_sensors 项目做出贡献来改进 Penguin 硬件的 Linux 支持。

Matt Fulvio 是海湾地区的自由工业和建筑设计师。可以在旧金山建筑学院或 www.mattfulvio.com 找到他教授数学。

Philip Pokorny 是 Penguin Computing 的工程总监。他与电源供应商和机械车间合作,对电源进行改装以进行水冷。当他不这样做时,他像典型的尖头老板一样站在那里观看并提出愚蠢的问题。

Trevor Sherard 是 ULB 机箱的工匠,是旧金山湾区的自由雕塑家和木工。可以通过 www.woodentemple.com 与他联系。

Don Marti 是Linux Journal 的主编,并撰写了本文的文本。

加载 Disqus 评论