大数据 hadoop 应用案例 大众点评===========================================================大众点评网从2011年中开始使用Hadoop，并专门建立团队。Hadoop主分析集群共有60多个节点、700TB的容量，月运行30多万个Hadoop Job，还有2个HBase线上集群。作者将讲述这各个阶段的技术选择及改进之路。2011年小规模试水
这一阶段的主要工作是建立了一个小的集群，并导入了少量用户进行测试。为了满足用户的需求，我们还调研了任务调度系统和数据交换系统。
我们使用的版本是当时最新的稳定版，Hadoop 0.20.203和Hive 0.7.1。此后经历过多次升级与Bugfix。现在使用的是Hadoop1.0.3+自有Patch与Hive0.9+自有Patch。考虑到人手不足及自己的Patch不多等问题，我们采取的策略是，以Apache的稳定版本为基础，尽量将自己的修改提交到社区，并且应用这些还没有被接受的 Patch。因为现在Hadoop生态圈中还没有出现一个类似Red Hat地位的公司，我们也不希望被锁定在某个特定的发行版上，更重要的是Apache Jira与Maillist依然是获取Hadoop相关知识、解决Hadoop相关问题最好的地方（Cloudera为CDH建立了私有的Jira，但人气不足），所以没有采用Cloudera或者Hortonworks的发行版。目前我们正对Hadoop 2.1.0进行测试。
在前期，我们团队的主要工作是ops+solution，现在DBA已接手了很大一部分ops的工作，我们正在转向solution+dev的工作。
我们使用Puppet管理整个集群，用Ganglia和Zabbix做监控与报警。
集群搭建好，用户便开始使用，面临的第一个问题是需要任务级别的调度、报警和工作流服务。当用户的任务出现异常或其他情况时，需要以邮件或者短信的方式通知用户。而且用户的任务间可能有复杂的依赖关系，需要工作流系统来描述任务间的依赖关系。我们首先将目光投向开源项目ApacheOozie。Oozie是Apache开发的工作流引擎，以XML的方式描述任务及任务间的依赖，功能强大。但在测试后，发现Oozie并不是一个很好的选择。
Oozie采用XML作为任务的配置，特别是对于MapReduceJob，需要在XML里配置Map、Reduce类、输入输出路径、DistributedCache和各种参数。在运行时，先由Oozie提交一个Maponly的Job，在这个Job的Map里，再拼装用户的Job，通过JobClient提交给JobTracker。相对于Java编写的JobRunner，这种XML的方式缺乏灵活性，而且难以调试和维 护。先提交一个Job，再由这个Job提交真正Job的设计，我个人认为相当不优雅。
另一个问题在于，公司内的很多用户，希望调度系统不仅可以调度Hadoop任务，也可以调度单机任务，甚至Spring容器里的任务，而Oozie并不支持Hadoop集群之外的任务。
所以我们转而自行开发调度系统Taurus（https://github.com/dianping/taurus）。Taurus是一个调度系统， 通过时间依赖与任务依赖，触发任务的执行，并通过任务间的依赖管理将任务组织成工作流；支持Hadoop/Hive Job、Spring容器里的任务及一般性任务的调度/监控。
图1 Taurus的结构图
图1是Taurus的结构图，Taurus的主节点称为Master，Web 界面与Master在一起。用户在Web界面上创建任务后，写入MySQL做持久化存储，当Master判断任务触发的条件满足时，则从MySQL中读出 任务信息，写入ZooKeeper；Agent部署在用户的机器上，观察ZooKeeper上的变化，获得任务信息，启动任务。Taurus在2012年 中上线。
另一个迫切需求是数据交换系统。用户需要将MySQL、MongoDB甚至文件中的数据导入到HDFS上进行分析。另外一些用户要将HDFS中生成的数据再导入MySQL作为报表展现或者供在线系统使用。
我们首先调研了Apache Sqoop，它主要用于HDFS与关系型数据库间的数据传输。经过测试，发现Sqoop的主要问题在于数据的一致性。Sqoop采用 MapReduceJob进行数据库的插入，而Hadoop自带Task的重试机制，当一个Task失败，会自动重启这个Task。这是一个很好的特性，大大提高了Hadoop的容错能力，但对于数据库插入操作，却带来了麻烦。
考虑有10个Map，每个Map插入十分之一的数据，如果有一个Map插入到一半时failed，再通过Taskrerun执行成功，那么fail那次插入的一半数据就重复了，这在很多应用场景下是不可接受的。 而且Sqoop不支持MongoDB和MySQL之间的数据交换，但公司内却有这需求。最终我们参考淘宝的DataX，于2011年底开始设计并开发了Wormhole。之所以采用自行开发而没有直接使用DataX主要出于维护上的考虑，而且DataX并未形成良好的社区。
2012年大规模应用
2012年，出于成本、稳定性与源码级别维护性的考虑，公司的Data Warehouse系统由商业的OLAP数据库转向Hadoop/Hive。2012年初，Wormhole开发完成；之后Taurus也上线部署；大量应用接入到Hadoop平台上。为了保证数据的安全性，我们开启了Hadoop的Security特性。为了提高数据的压缩率，我们将默认存储格式替换为RCFile，并开发了Hive Web供公司内部使用。2012年底，我们开始调研HBase。
图2 Wormhole的结构图
Wormhole（https://github.com /dianping/wormhole）是一个结构化数据传输工具，用于解决多种异构数据源间的数据交换，具有高效、易扩展等特点，由Reader、 Storage、Writer三部分组成（如图2所示）。Reader是个线程池，可以启动多个Reader线程从数据源读出数据，写入Storage。 Writer也是线程池，多线程的Writer不仅用于提高吞吐量，还用于写入多个目的地。Storage是个双缓冲队列，如果使用一读多写，则每个目的地都拥有自己的Storage。
当写入过程出错时，将自动执行用户配置的Rollback方法，消除错误状态，从而保证数据的完整性。通过开发不同的Reader和Writer插件，如MySQL、MongoDB、Hive、HDFS、SFTP和Salesforce，我们就可以支持多种数据源间的数据交换。Wormhole在大众点评内部得到了大量使用，获得了广泛好评。
随着越来越多的部门接入Hadoop，特别是数据仓库（DW）部门接入后，我们对数据的安全性需求变得更为迫切。而Hadoop默认采用Simple的用户认证模式，具有很大的安全风险。
收敛自己的脾气，偶尔要刻意沉默，
