CTOCIO IT专家网

天极传媒 比特网 | 天极网 | IT专家网 | IT商网 | 52PK游戏网 | 手机天极 | IT分众 |
IT专家网搜索

数据库 | Oracle | DB2 | SQL Server | MySQL | 商业智能 | BI | DBA | Sybase| SQL Server 2008

数据仓库应用设备走向成熟

作者: cyw,  出处:IT专家网, 责任编辑: 李书琴, 
2007-11-30 09:37
  与前一代的大规模并行处理系统相比,数据仓库应用设备价格要便宜多了,只是传统大规模并行处理系统成本的一个零头……

  【IT专家网独家】数据仓库应用设备已经准备就绪,迎接黄金时代的到来。

  几年前,大规模并行处理(MPP)在数据库管理和数据仓库的应用还是非常有限,当时有不少专家试图向一些IT高管宣扬其好处,尽管成效寥寥。

  现在回想起当时的形势,硬件和相关软件确实还没有成熟到能够支持绝大部分企业的需求。再看看今天的数据仓库市场,我们看到琳琅满目的产品都是基本上用来执行数据仓库任务的,不过是以一种更为成熟的方式来运行。

  今天,我们给这一类型的产品起了个名字,叫做数据仓库应用设备(data warehouse appliances)。数据仓库应用设备就是能够进行大型数据仓库相关大规模并行处理操作的软硬捆绑套件。这些产品的设计就是想利用连接到网格的大量硬件节点的超强处理能力,最大限度的提升相关数据管理系统的功能,以便创造出超高效率的工作负荷和搜索功能。简而言之,就是能够在相对较短的时间完成TB级的数据的装载和搜索任务。

  这个概念要解释起来也很简单:其中一个节点充当分配器或管理器节点,当从调用程序里发布一条SQL语句时,分配器就会把它分割成若干的物理子查询(数量的多少由系统的节点数和数据在节点间的物理分布决定),并在所有的节点间分配这些子查询。这些节点并行处理这个查询需求,并把执行结果返回到分配器节点。然后由分配器节点整理结果,如果需要还要进行终极筛分,最后把结果返回到请求程序。

  大规模并行处理系统已经盛行了相当长一段时间了,而且运作非常成功。不过,大多数情况下,大规模并行处理系统的实施成本太高,而且必须配备专门的技术人员才有可能最大限度优化其效率。与此同时,数据仓库应用设备系统发展到了成熟水平,已经能够提供一些关键因素从其前辈中分化出来。这些关键性的分化因素如下:

  较低的拥有总成本(TCO):与前一代的大规模并行处理系统相比,数据仓库应用设备价格要便宜多了,只是传统大规模并行处理系统成本的一个零头。采用这些设备使企业能够以较低的预算获得处理大量数据的高级配置,并真实体现了一个设计良好运行顺畅的数据仓库的强大力量。低成本的原因有二:其一,这些设备大部分都具备实用商业硬件,因此客户可以自行决定选择他们最喜欢的硬件供应商和操作系统;其二,这些系统有一些采用了开源数据库管理系统,因此可以不用支付巨额的数据库操作系统认证费用。总之,其拥有总成本相当低。

  较高的可扩展性:对于企业的钱袋来说,这是数据仓库应用设备系统最重要的一个分化指标。企业可能一开始会构建一个五到十个节点的小规模数据仓库(为了证明数据仓库确实物有所值),然后根据需求和预算的提高再增加新节点和额外的存储设备。

  黑盒子:就像绝大部分的大规模并行处理系统一样,数据仓库应用设备系统不需要IT部门分开购买硬件和数据管理系统,不需要他们去安装数据库管理系统,不需要再动用一个资深数据库管理员的时间去优化系统所有节点的性能。数据仓库应用设备之所以称之为应用设备就是因为它是一个完整的设备包。除了数据库的物理设计和实现所有指定节点的效率最优化等问题外,IT机构不必担心其他任何问题。我们不应该把数据仓库应用设备当作一个硬件解决方案,它是真正的混合应用设备。

  处理海量数据:数据仓库应用设备系统就是为了更容易处理超TB级数据而设计的。因此,如果你手头上要处理的数据量非常大,而又没那么多资金的话,数据仓库应用设备可能是你最佳的选择。

  高度灵活性:你想构建一个企业级数据仓库吗?没问题。你已经有了一个企业级数据仓库,又想构建一个小型的数据集市?没问题。你还没有构建数据仓库解决方案的经验,但又想尝试构建一些新的数据仓库?都没问题。不管是哪种要求,你都不用付出太多。

  实时数据仓库的实现:数据仓库应用设备支持目前流行的实时和近实时数据仓库的构建。低廉的价格结构、高度可扩展性和高度灵活性使数据仓库应用设备能够提供简便快速支持操作应用设备的工具。

  虽然以上的这些优点显而易见,不过凡事都得看两面。虽然在这个市场里到处都能看到发光的金子,不过这毕竟不是能开所有锁的万能钥匙。主要的缺点当然就是企业用来存储和支持节点的数据中心物理容量和能源容量的问题了。有一些企业其数据中心没有足够的空间和/或能量来维持庞大的系统,要知道为四十、六十甚至更多的节点提供足够的空间、能源和冷却设备会是个大问题。

  我们应该仔细的分析企业的短期和长期需求,再决定用哪套合适的工具来达到一举两得的效果。如果你决定实施数据仓库应用解决方案,专家强烈建议对市场上的若干产品进行研究,并对每一套产品进行深入细致的调查。在缩小了最终的选择范围后,对每个选择进行实证检验。只有这样,企业才有可能找到能够作为长期的助手实实在在为企业服务的数据仓库应用设备产品。

 

  IT专家网原创文章,未经许可,严禁转载!

网友评论

笔名 
请您注意:遵守国家有关法律、法规,尊重网上道德,承担一切因您的行为而直接或间接引起的法律责任。    IT专家网友拥有管理笔名和留言的一切权利。
  • 周排行榜
  • 月排行榜

邮件订阅


    
天极服务 | 关于我们 | 网站律师 | 加入我们 | 联系我们 | 广告业务 | 友情链接 | 我要挑错
All Rights Reserved, Copyright 2004-2008, Ctocio.com.cn
渝ICP证B2-20030003号 如有意见请与我们联系 powered by 天极内容管理平台CMS4i