以文本方式查看主题

-  中文XML论坛 - 专业的XML技术讨论区  (http://bbs.xml.org.cn/index.asp)
--  『 Java/Eclipse 』  (http://bbs.xml.org.cn/list.asp?boardid=41)
----  [转帖]MapReduce发力:发布支持Eclipse和Amazon EC2平台的工具插件  (http://bbs.xml.org.cn/dispbbs.asp?boardid=41&rootid=&id=44661)


--  作者:hongjunli
--  发布时间:3/31/2007 9:44:00 AM

--  [转帖]MapReduce发力:发布支持Eclipse和Amazon EC2平台的工具插件
作者 Scott Delap译者 Jason Lai 发布于 2007年3月29日 上午9时28分

From:[URL=http://www.infoq.com/cn/news/2007/03/mapreduce-hadoop;jsessionid=9A49418570644F3BEC1224512C6FF53E]http://www.infoq.com/cn/news/2007/03/mapreduce-hadoop;jsessionid=9A49418570644F3BEC1224512C6FF53E[/URL]
IBM Alphaworks网站发布了一个[URL=http://www.alphaworks.ibm.com/tech/mapreducetools/]新的Eclipse插件[/URL],使用开源Java MapReduce框架Hadoop来简化应用程序的开发。Hadoop框架的产生最初是为了[URL=http://lucene.apache.org/nutch/]支持Nutch项目[/URL]。Hadoop包含了一个分布式文件系统以及MapReduce编程结构的一个实现,该实现被[URL=http://labs.google.com/papers/mapreduce.html]Google广泛用于[/URL]进行跨集群海量数据集的并行处理。今年在Hadoop上所做的集成工作使得[URL=http://labs.google.com/papers/mapreduce.html]在Amazon的EC2平台上运行Hadoop MapReduce应用[/URL]和[URL=http://wiki.apache.org/lucene-hadoop/AmazonS3]使用Amazon的S3平台[/URL]进行存储等更为容易。[URL=http://aws.typepad.com/aws/2007/01/hadoop_filesyst.html]Amazon Web服务博客[/URL]表示:“由于EC2实体和存储于S3上的数据之间的带宽尚未度量或发布,这是处理大量数据的一种很节约成本的方式”。
IBM MapReduce插件包含以下功能:

允许Java™项目以JAR(Java Archive)文件形式打包并部署到(本地和远程的)Hadoop服务器上
提供辅助开发过程的备忘单(Cheat Sheets)
增加了一个独立的Eclipse透视图(Perspective),以及用于显示Hadoop服务器、Hadoop分布式文件系统(DFS)和当前任务状态的视图
提供了一些向导,使基于MapReduce框架的类的开发变得更加容易
此外,它还包括了改进的备忘单,并且完全兼容OS X。插件使用SCP和SSH与Hadoop服务器进行交互,通过HTTP协议获取工作状态。


W 3 C h i n a ( since 2003 ) 旗 下 站 点
苏ICP备05006046号《全国人大常委会关于维护互联网安全的决定》《计算机信息网络国际联网安全保护管理办法》
8,498.047ms