前沿
前沿
LJ 索引,2007年5月
1. 有线电视运营商到 2012 年将在改善数字网络容量方面花费的数十亿美元:80
2. 旧金山市政高速互联网公用事业的光纤基础设施建设报价,单位为百万美元:500
3. 日本光纤到户 (FTTH) 用户增长率,单位为百分比:88
4. 2005 年 3 月日本 FTTH 用户数,单位为百万:5.4
5. KRUU“开源无线电”的有效辐射功率,单位为瓦特:100
6. KRUU 城市级信号的覆盖范围,单位为英里:4
7. KRUU 直播网络流服务的行星数量:1
8. 一位 88 岁的老人自 1960 年代以来持续使用按钮电话向 AT&T 支付的总美元:7,500
9. 2006 年底的汽车数量,单位为百万:800
10. 2006 年底的 PC 数量,单位为百万:850
11. 2006 年底的互联网连接数,单位为十亿:1.1
12. 2006 年底的信用卡数量,单位为十亿:1.4
13. 2006 年底的电视机数量,单位为十亿:1.5
14. 2006 年底的手机数量,单位为十亿:2.7
15. 2006 年 9 月使用的手机数量,单位为十亿:2.5
16. 上一年新增的手机数量,单位为百万:484
17. 亚洲新增手机百分比:41
18. 预计到 2007 年底的手机数量,单位为十亿:3
19. 2008 年预计的年度手机出货量,单位为十亿:1
20. 2006 年 7 月估计的人类数量,单位为十亿:6.525170264
1:ABI Research
2:《政府和公共宽带光纤:为旧金山市和县准备的可行性研究,2007 年 1 月》,由 Communications Engineering & Analysis for the Public Interest 编写
3, 4: Broadband Properties,2006 年 12 月
5: FCCInfo.com
6: radio-locator.com
7: KRUU
8: The Consumerist
9–14: Tomi T. Ahonen 和 Alan Moore 在 Communities Dominate Brands 中
15–18: Wireless Intelligence,通过 Cellular News
19: Gartner 通过 windowsfordevices.com
20: CIA 的 World Factbook
解锁音乐存储柜业务
感谢 Linux 和其他开源构建材料,在线存储已成为一种商品。去年,Amazon 通过 S3 以通用方式提供它。然后,在 2007 年 2 月,Michael Robertson 的 MP3tunes 对一种垂直领域的存储(音乐存储柜)做了同样的事情。该服务的名称是 Oboe,它可以为您存储无限量的音频。免费服务由广告支持。每年 39.95 美元的美国服务提供客户支持,允许更大的文件并充当异地 NAS。
在 Oboe 新闻发布后,我们与 Michael 进行了简短的采访。
LJ:您使用的服务器是 Linux 服务器吗?(我假设是,但需要问一下。)
MR:是的,当然。家里没有 Microsoft 产品。由于巨大的存储需求,我们必须拥有行业领先的成本结构,而只有 LAMP 才能做到这一点。您不能在成本上处于竞争劣势。
如果您看看电子邮件的争夺战,这是一个很好的例证。Hotmail 拥有昂贵的 EMC 硬件,这让它被基于 Veritas 的 Yahoo 抢走。然后 Google 提高了标准,并且由于 LAMP 技术,它能够提供 Yahoo 和 Microsoft 难以匹敌的存储服务。音乐存储柜对存储的需求甚至更高,因此成本是一个更大的问题。依赖 LAMP 可以让我们搭上存储成本下降的顺风车。
LJ:您能告诉我们其他相关技术吗?
MR:CentOS——三百兆兆字节的存储空间。我们每周部署新的服务器。我们标准化使用 750GB 硬盘,但我们将在今年晚些时候转向 1TB 硬盘。对我们来说,一个大问题是电力和占地面积,而不是处理性能。
LJ:您的音乐存储柜在某些方面似乎与 Amazon 的 S3 相似,后者的无限存储空间正被用作销售异地备份公司的业务后端。您是否有机会考虑为临时或独立的音乐服务提供后端?我在这里考虑的是,一个大型后端可以使许多尚不存在的业务成为可能,并使音乐行业在各个层面都更加具有创业精神和竞争力。
MR:是的,两者有相似之处,但也有不同之处。这两项服务都有 API,可将其开放给各种软件和硬件应用程序(请参阅 mp3tunes.com/api)。但是,MP3tunes 是专门为音乐传输量身定制的。而且,我认为音乐是一种非常独特的数据类型,因为它在许多位置被重复使用。因此,API 内置了丰富的音频相关功能,例如转码格式、降低采样比特率、元标记和封面艺术。这是一个例子:Mp3tunes.com 是一个移动界面,可以从您的存储柜直接流式传输或下载歌曲到移动设备,无缝更改格式和比特率。
LJ:让我们看看这方面的经济效益。我很容易看到与 Sonos 等公司的合作关系,它们也是基于 Linux 的。对于像您这样的服务来说,40 美元的价格似乎是对客户维护自己的 NAS(网络附加存储)设备的有力论据。
MR:是的,期望人们管理自己的 NAS 设备就像期望人们运行自己的后院发电机一样。这太愚蠢了。通过使用可以利用规模经济的集中式系统,您将获得更好的服务和更高的成本效率。我们已经与 Sonos 进行了交谈,并且有兴趣。我希望他们支持我们的 API。
并行 NFS (pNFS) 桥接到成熟标准
由于低成本 Linux 集群的出现,高性能计算 (HPC) 不再仅仅是公共部门资助的精英实验室的领域。事实上,现在可以发现 HPC 正在应对各种挑战,例如模拟整个地球的行为到单个产品设计师的模拟需求。
但是,随着集群变得越来越普遍,新的挑战也随之出现。第一个挑战是定义一种存储和 I/O 架构,该架构不仅能够处理这些强大的计算引擎创建和消耗的大量数据,而且还能够保持这些引擎的充分利用并为其提供数据。没有数据,最大和最快的超级计算机也只不过是昂贵的空间加热器。
第二个挑战围绕着如何使集群生成的数据易于集群外部的其他系统和用户访问。将数据复制或移动到其他系统显然是一种选择,但会涉及固有的开销成本和复杂性。理想情况下,网络上的任何节点都应该能够访问和处理数据,无论数据位于集群上的何处。
最初,集群使用无处不在的 NFS 标准,该标准具有易于理解、几乎受到许多供应商的普遍支持以及为集群外部的系统和用户提供数据轻松访问的优点。但是,NFS 将所有数据和元数据都通过单个网络端点(服务器)移动,当尝试满足集群的 I/O 需求时,这会很快造成瓶颈。结果是带宽和存储容量都无法扩展——需要一种新的解决方案。
并行文件系统能够直接从服务器节点并行访问存储设备,已被证明是应对这一可扩展性挑战的领先解决方案。尽管并行文件系统相对较新,但这项技术显然将在未来几年内成为每个中型到大型集群的基本组成部分。目前有几种并行文件系统解决方案可从 Panasas (ActiveScale PanFS)、IBM (GPFS)、EMC (HighRoad) 和 Cluster File Systems (Lustre) 等供应商处获得。
来自全球各地的政府、学术界和财富 500 强客户都接受了并行文件系统解决方案;但是,这些解决方案要求客户锁定特定供应商的软件,有时甚至是硬件。如果有一个文件系统,其性能与这些供应商特定的解决方案相同,但同时也是一个真正的开放标准,那岂不是很好?然后,您可以获得并行访问数据的性能优势,同时享受部署通用接受的标准文件系统所带来的灵活性和选择自由。
这篇入门文章讨论了正在开发以满足这些需求的并行 NFS (pNFS)。pNFS 是对 NFS 标准的重大改进,并已获得 NFS 社区的近乎普遍的支持。
当人们第一次听说 pNFS 时,有时他们的第一反应是这是一种试图将并行功能硬塞到现有 NFS 标准中的尝试。实际上,它是 NFS 发展的下一步,它理解组织需要更高的性能,同时保持其多供应商标准。NFSv4.1 草案标准包含 pNFS 的草案规范,该规范目前正在开发和演示中。
Panasas 是原始 pNFS 提案的作者。自原始提案撰写以来,许多其他供应商(特别是 EMC、IBM、Network Appliance 和 Sun)也加入了进来,以帮助定义和扩展 pNFS。其他供应商也在做出贡献,因此 pNFS 在供应商中获得了广泛的势头。
由于 pNFS 是 NFS 标准的演进,因此它将使熟悉 NFS 的组织能够以最少的更改来实现并行性能。此外,因为它将成为 NFS 标准的一部分,因此可以轻松地将集群文件系统挂载到桌面上。
NFSv4.0 改进了 NFSv3.0 的安全模型,NFSv3.0 是当今最广泛部署的版本,并且它整合了以前在不同协议下实现的文件锁定。NFSv4.0 具有可扩展的架构,可以更容易地发展标准。例如,拟议的 NFSv4.1 标准将 NFS 发展为包括高速并行文件系统。pNFS 的基本架构如图 1 所示。
pNFS 客户端挂载文件系统。当他们访问文件系统上的文件时,他们会向 NFSv4.1 元数据服务器发出请求,该服务器会将布局传递回客户端。布局是一种抽象,用于描述文件在存储设备上的位置。一旦客户端获得布局,它就会直接访问存储设备上的数据,从而将元数据服务器从实际数据访问过程中移除。当客户端完成时,它会将布局发回元数据服务器,以防对文件进行任何更改。
这种方法可能看起来很熟悉,因为 Panasas (ActiveScale PanFS) 和 Cluster File System (Lustre) 都使用相同的基本非对称元数据访问方法及其各自的文件系统。它之所以具有吸引力,是因为它将元数据服务器从数据事务的中间移开,从而提高了性能。它还允许直接或并行数据访问,从而带来灵活性和性能。
目前,作为 pNFS 的一部分,将支持三种类型的存储设备:块存储(通常与 SAN 相关联,例如 EMC 和 IBM)、对象存储设备(例如 Panasas 和 Lustre)和文件存储(通常与 NFS 文件服务器相关联,例如 NetApp)。传递回客户端的布局用于访问存储设备。客户端需要一个布局驱动程序,以便它可以与这三种存储设备中的任何一种或可能同时与设备的组合进行通信。这些存储设备可以是 EMC SAN、Panasas ActiveScale 存储集群、IBM GPFS 系统、NetApp 文件服务器或任何其他使用块存储、对象存储或文件存储的存储系统等产品。作为整体架构的一部分,计划为块存储、对象存储和文件存储后端提供标准的开源驱动程序(布局驱动程序)。还将有其他后端。例如,PVFS2 在第一个 pNFS 原型中用作后端存储。
数据如何在存储设备和客户端之间实际传输在其他地方定义。数据可以使用 RDMA(远程直接内存访问)协议进行通信以获得更好的性能。例如,InfiniBand SDP 协议可用于传输数据。数据可以使用基于光纤通道的 SCSI 块命令 (SBC) 或基于 iSCSI 的 SCSI 基于对象的存储设备 (OSD) 或使用网络文件系统 (NFS) 进行传输。
图 1 中元数据服务器和存储之间的“控制”协议也在其他地方定义。例如,它可以是基于 iSCSI 的 OSD。
控制协议和数据传输协议在其他地方定义这一事实为供应商提供了极大的灵活性。它允许他们将他们的价值添加到 pNFS 中,以提高性能、提高可管理性、提高容错能力或添加他们想要解决的任何功能,只要他们遵循 NFSv4.1 标准即可。
人们自然会问一个问题:“拟议的 pNFS 标准如何避免供应商锁定?”pNFS 的主要方面之一是它具有通用的文件系统客户端,而与底层存储架构无关。特定供应商的存储系统唯一需要的是布局驱动程序。这与其他硬件在 Linux 中的使用方式非常相似——您使用驱动程序来允许内核访问硬件。
并行 NFS 也非常适合供应商,因为它允许他们的存储与各种操作系统一起工作,而无需移植他们完整的专有文件系统堆栈。由于 NFSv4.1 将成为标准,因此只要操作系统具有客户端,基本客户端就可以在各种操作系统上使用。供应商唯一需要提供的是驱动程序。编写驱动程序通常比将完整的文件系统堆栈移植和支持到各种操作系统更容易。
如果您有来自某个存储供应商的当前并行文件系统,那么 pNFS 为您提供的功能是供应商没有的吗?最初,pNFS 的性能可能比专有文件系统慢,但随着经验的积累和标准 pNFS 客户端的成熟,性能将提高。更重要的是,pNFS 允许您以集群享有的相同性能将文件系统挂载到您的桌面上。此外,如果您想扩展您的存储系统,您可以从任何为 NFSv4.1 提供驱动程序的供应商处购买。这允许您现有的客户端访问新的存储系统,就像您今天的计算机使用 UNIX 或 Linux 操作系统附带的文件系统客户端软件访问来自不同供应商的 NFS 服务器一样。
并行 NFS 正朝着成为标准的方向稳步前进。它目前处于原型设计阶段,并且各个参与者正在进行互操作性测试。希望在 2007 年的某个时候,它将被采纳为新的 NFS 标准,并将在许多操作系统中可用。
如果您现在想尝试 pNFS,信息技术集成中心 (CITI) 提供了一些使用 PVFS2 进行存储的 Linux 2.6 内核补丁 (www.citi.umich.edu/projects/asci/pnfs/linux)。
diff -u:内核开发中的新内容
看起来现代内核将支持 MinixFS 版本 3。Daniel Aragones 有一个补丁在流传,Andries Brouwer 最近清理了它并使其完全符合内核标准。Andrew Morton 表示该补丁似乎无害,可以随时接受。
一个新的可堆叠文件系统,称为 RAIF(独立文件系统冗余阵列),正在由 Nikolai Joukov 和其他人开发。此文件系统执行跨多个磁盘的数据复制,如 RAID,但它是在用户想要合并到 RAIF 结构中的任何其他文件系统之上执行的。该项目仍未准备好被考虑包含在官方内核中,并且有足够勇气尝试它的人应该事先备份他们的数据。尽管如此,Nikolai 说 RAIF 已经达到了一个稳定的水平,因此玩它可能比沮丧更有趣。
内核可能很快就会支持 SDHC(安全数字高容量)闪存卡。Philip Langdale 在他新编写的驱动程序中看到了一些非常好的结果(换句话说,最近的测试中没有丢失数据)。John Gilmore 捐赠了一张 SDHC 卡供 Philip 测试,并且 SD 卡协会 显然发布了有用的规范,Philip 已将其充分利用。
有些人希望即使在运行 X Window 系统时也能访问 崩溃报告,这引发了一个问题,即是否开始将图形驱动程序迁移到内核中,而不是将它们留给 X 人员。这将代表内核开发中的一个相当大的转变,但这可能是确保正确显示 oops 信息的最佳方法,无论系统崩溃时恰好处于哪种图形模式。D. Hazelton 和其他人可能正在研究这个问题,但在任何此类转变可能在内核中发生之前,肯定会发生大规模且长期的口水战。
在 Karel Zak 和其他人无法从当前的维护者 Adrian Bunk 那里获得关于他们的补丁和更改维护者提议的回复后,Karel Zak 已决定将 util-linux 从当前的维护者 Adrian Bunk 中分离出来。除非 Adrian 决定声明他应该继续担任官方维护者,否则 Karel 最终可能会将他的代码与 Adrian 的代码重新集成,再次只有一个代码库,Karel 担任维护者。
Greg Kroah-Hartman 为任何为发行版打包内核的人启动了一个 邮件列表。该列表的目的是提供一个供应商中立的场所,以讨论与打包内核相关的错误和其他问题。它也可能为内核打包者提供一种更可见的方式,将其自己的更改向上游提交给开发人员。
他们如是说
我认为,像维多利亚时代的人们因忽略性而歪曲生活一样,忽略技术的长篇小说也同样歪曲了生活。
—库尔特·冯内古特,《没有国家的男人》(兰登书屋,2005 年)
真理在对话中到来。而不是孤独……我们这些抵制……文化公地私有化的人,不妨问问自己,我们试图保护的是什么。对于内容产业来说,圈地的工具(版权期限延长、数字版权管理等)已被调用以保护和增加收入;这与金钱有关。对于我们这些抵制者来说,金钱是最不重要的。保护文化公地意味着保护某些作为人的方式。
—刘易斯·海德,在 2007 年 2 月 13 日对伯克曼中心的一次演讲中
这首歌在美国已获得版权,版权印章编号为 154085,有效期为 28 年,任何未经我们允许而被抓到唱歌的人都将成为我们的好朋友,因为我们毫不关心。出版它。写下来。唱出来。摇摆起来。放声歌唱。我们写了它,这就是我们想做的全部。
我经常收获别人播种的东西。我的工作是一个集体存在的工作,这个集体存在的名字是歌德。
—约翰·沃尔夫冈·歌德,www.publicknowledge.org/resources/quotes
在社会底层人群中保存知识手段比这个国家所有富人的财产对公众更重要。
便携机的回归
如果 Linux 是终极寄居蟹操作系统——天生没有家,但能够在任何人的硬件中生活得很好——那么看看 Linux 在 Acme Portable Machines, Inc. 提供的时髦外形尺寸中生活得有多好将会很有趣。
Acme 的硬件专为实用性绝对超过美观的地方而打造:服务器机房、工厂车间、军用飞机和医疗机构。Acme 制造 KVM(键盘/视频/鼠标)切换器,这些切换器在导轨上滑入机架并控制多个 CPU(以及许多其他连接的东西)。它制造自助服务终端 PC。它制造塔式 CPU,其尺寸与便携式缝纫机相当,具有平面屏幕和侧面打开的键盘,以及内部插槽,最多可容纳八个全尺寸卡。
但是,也许最有趣的物品是 Acme 的便携式系统——看起来像可怕的公文包的便携式工作站,并拥有诸如“阻燃”外壳等功能。Acme 冷静地称其 EMP 为“一款坚固的午餐盒电脑,采用重型金属制成,可提供坚固耐用的、可随处移动的装置,非常适合恶劣/严酷的环境和关键任务应用”。Netgate 的 Jim Thompson 称之为“终极 LAN 派对盒”。
Acme Portable 的主要市场是 OEM,但您可以直接在 acmeportable.com 上查看和购买其商品。
KRUU 示范开源无线电
KRUU 是新型“低功率”社区 FM 电台,旨在为当地社区提供非商业节目 (www.fcc.gov/mb/audio/lpfm)。正如 FCC 所说,“100 瓦 LPFM 电台的大致服务范围为 5.6 公里(半径 3.5 英里)”。在 KRUU 的案例中,该范围很好地覆盖了爱荷华州费尔菲尔德镇。然而,该电台的网络流不受这些物理限制的约束。我在圣巴巴拉收听它,它已经成为我最喜欢的电台之一。
该电台的“关于”页面讲述了为什么它特别相关和酷
KRUU 对社区的承诺也扩展到电台使用的软件和系统。所有计算基础设施都只使用自由软件(有时也称为开源软件)。这里的“自由”指的是自由,而不是成本——所有软件都带有底层源代码,我们将所有更改、编辑和建议贡献回自由软件社区。使用自由软件的原因远远超出了成本范围。KRUU 希望使用不对使用施加限制或限制的系统来构建本地知识。为此,我们支持根据“copyleft”或“开放”条款许可的软件,以及根据知识共享许可的内容。
“开放”这个词贯穿于 KRUU 播放和重视的一切。从早上 5 点到 6 点,每周 7 天,它播放“开源无线电时段”。而这只是自由冰山一角。
对于使用 Linux 收听的用户,它介绍了 XMMS、Banshee、Amarok、VLC 和 Rhythmbox。KRUU 以 MP3 格式流式传输,但也以 Ogg Vorbis 格式播客。我在线收听了很多广播,我不知道有哪个电台比这个小电台更致力于自由软件和开源价值观。在 kruufm.com 上找到它们。