专注于:互联网 电子商务 大数据 欢迎来访!

中小企业的大数据技术路线选择(二)-Cassandra+Presto方案

我前面曾经写过:中小企业的大数据技术路线选择 和 低调、奢华、有内涵的敏捷式大数据方案:Flume+Cassandra+Presto+SpagoBI 。 最近用了两个月的时间终于把Cassandra+Presto+SpagoBI方案验证通过了。验证了Presto的JDBC Driver 、Prestogres网关、SHIB三种方式。 一、Presto JDBC驱动方案 Presto JDBC驱动方案,Java动用客户端,如dbeaver可以使用Presto JDBC驱动访问,执行SQL语句。这其中要注意的问题是:需要添加“user.timezone=Shanghai/ASIA”参数。 在自己写程序调用Presto JDBC驱动时,需要注意现在的版本已经是独立版本,不再需要调用引用Jar包。此外,也需要设置“user.timezone=Shanghai/ASIA”.。我在这个问题纠结了很久。 此外,需注意SpagoBI无法使用Presto JDBC驱动程序,只能使用Prestogres网关方案。 二、Prestogres网关方案 使用Prestogres网关方案时,需注意protocolVersion=2。这一步,我也是摸索了很久才找到连接一直无法测试成功的原因。SpagoBI测试成功后,PostgreSQL客户端也可以访问Presto了。 三、SHIB方案 SHIB方案安装配置简单,很容易成功。但使用SHIB后,发现界面粗糙,功能太简单,难以在实际生产中使用。 四、总结 以上几种方案中,Prestogres网关方案,可以使用PostgreSQL 客户端和JDBC驱动,支持SpagoBI等BI工具。但这种方式架构复杂,可能有性能瓶颈,,无法发挥该方案的优势。SHIB现在代码量较小,在Team中有报表开发经验的成员即可上手。如果时间和人力允许,开发一个轻量级的Bigdata BI也是可能的。我更推荐使用SHIB+定制开发的模式。 我已经在准备在实际项目中使用,希望有兴趣的朋友可以一起研究下。

大多数人想要改造这个世界,但却罕有人想改造自己。

专注于:互联网 电子商务 大数据 欢迎来访!

相关文章:

你感兴趣的文章:

标签云: