中科院计算所在可信大数据软件技术方面的研究工作【DOC+PPT下载

清单:

中科院计算所在可信大数据软件技术方面的研究工作.doc 【本文doc文档】

中科院计算所在可信大数据软件技术方面的研究工作.ppt 【本文ppt演讲稿】

PS:前段时间接到任务,对中科院计算所在可信大数据软件技术方面的研究工作进行调研,以下是正文。

第1章 鉴定/验收的代表性成果

1.1 天玑大规模网络信息处理系统

在 国 家“973” 课题“ 基 于 Internet 超大规模知识检索的算法及应用”(课题编号:G1998030413)、“大规模文本内容计算”(课题编号:2004CB318109),以及“863”计划“大规模网络内容安全监控关键技术与示范系统研究(课题编号:2006AA01Z452)”、“863”计划子课题“CNGrid 网格软件测试及工程化”(课题编号:2005AA119010)等项目的持续支持下,中科院计算所和国家计算机网络与信息安全管理中心等单位历时十余年研制了“天玑大规模网络信息处理系统”。

“天玑大规模网络信息处理系统”覆盖了大规模网络信息获取、存储与管理、分析与挖掘等深度处理的关键环节,在信息分析的精度、信息挖掘的深度和信息处理的广度等方面取得了系统性成果。系统在高维稀疏特征的精准分析、多元异构数据融合的深度挖掘、跨尺度演变的聚集行为发现和海量数据的分布式存储管理等四个方面的关键技术上取得了重要突破。项目所形成的技术成果发表学术论文356余篇,SCI收录 60余篇,被包括Nature、PhysicsReports、IEEE汇刊等SCI学术刊物引用 183 次。已形成了覆盖网络信息监测与服务领域成体系的核心技术发明专利群和软件著作权,申请发明专利20项,授权12项,软件著作权16项。该系统在由美国国防部高级研究计划局(DARPA)、美国国家标准技术研究所(NIST)等机构主办的国际权威评测中,有4 项技术获得国际排名第一;所提出来的分布式数据存储结构(RCFile)技术系国际首创,被Apache Hive、Pig 等主流开源软件采纳,已成为国际上分布式离线数据分析系统中存储结构的事实标准;所研制的开源软件影响范围遍及全球,全文索引与检索平台系统(Firtex)全球下载10万余次,在东亚开源大赛中获得杰出成就奖。

系统结构框图

项目在核心技术和应用系统上均实现突破,整体系统和关键技术在国务院新闻办、中国人民解放军、公安部、安全部、教育部、工信部、广电总局、中国证监会、中国互联网协会等国家级网络空间舆情分析、情报挖掘等重大战略性任务中得到规模化应用,在重大突发事件的监测中,分析结果准确,反应及时。在北京奥运会、上海世博会、广州亚运会、国庆 60 周年、全国“两会”、台湾地区领导人选举等特殊时期的信息监测与安全保障中发挥了重要作用,为维护社会稳定、保障国家安全做出了突出贡献。同时,成果在中国教育电视台、华为公司、百度公司、淘宝公司等大型企业的线上系统中得到广泛使用,显著提升了大型互联网企业的核心竞争力,取得了突出的经济效益。该成果为满足国家网络空间的战略需求,推动互联网产业的发展做出了重要贡献。该成果于 2011 年 8 月 7 日通过了由中国科学院在北京组织的科技成果鉴定会。由何德全、胡启恒、邬贺铨、陈俊亮、王小谟、蔡吉人、姜景山、戴浩、张尧学、于全等 10 位院士和领域内著名专家组成的鉴定委员会一致认为,该系统“技术难度很大,在理论与技术上均具有重大创新,研究成果整体上处于国际先进水平。其中,中文词法分析、查询推荐、网络核心人物发现、网络动态更新摘要、关联实体查找、行列混合式数据存储等算法与技术达到国际领先水平;RCFile 技 术系国际首创,被 Apache Hive、Pig等主流开源软件采纳,已成为国际上分布式离线数据分析系统中存储结构的事实标准。建议进一步加强应用系统的规模化产品开发和市场推广,进一步发挥系统在国家重大任务中的作用”。“大规模网络信息监测与服务系统关键技术及应用”获得 2011 年度“中国电子学会电子信息科学技术奖”一等奖。

获中国电子学会电子信息科学技术一等奖

1.2 基于虚拟机架构的可信计算环境与可信软件设计

本项目为国家自然科学基金重点项目(编号为 90718040),于 2011 年 1 月通过国家基金委验收,验收结果为“优秀”,项目取得如下成果:

◇ 在平台基础设施方面,对虚拟计算资源的建模、分配与隔离、有效利用与管理等方面进行了深入的研究,并按计划书要求构建了TRainbow 可信虚拟计算平台系统。在此平台基础上,重点对虚拟集群的可信增强技术、信任链构建机制、虚拟平台的可靠机制、虚拟监控器的可信机理等进行了研究。

◇ 项目组在下列研究领域取得了若干创新成果:可信平台能力服务计算理论及三层资源调度框架和以此为基础的按需资源流动算法、可信平台下服务整合的效用分析模型、管理域及虚拟存储的完整性检测方法、基于多核技术的可信计算机制、面向流动的内存全局优化方案、指令监控和替换技术、虚拟机监控器多域隔离技术、虚拟域运行时监控技术、虚拟集群中休眠节点的Optimal 和 Demotion 管理算法等。

◇ 实现了包括 TRainbow 可信虚拟计算平台、TMemCanal 内存全局优化系统、VMGuard管理域完整性检测系统、VSchecker 虚拟存储完整性透明检测工具、Luvalley 虚拟机监视器等多个虚拟机架构下的可信保障及增强系统,为后续研究工作提供了平台和基础。项目成果在中国移动大云计划“基于虚拟化的 DSN 多业务融合架构研究项目”和华为云计划“基于 Xen 架构虚拟机安全技术合作项目”中得到推广应用。作为对本项目工作的进一步延续与发展,项目组拟以网络服务器可信增强技术为切入点申请国家自然科学基金项目“云计算环境下虚拟化网络服务器的可信增强技术”。项目发表学术论文 31 篇;申请国家发明专利14 项,已授权 3 项;申请软件登记 2 项,1 项已登记;培养博士 9 名、硕士 16 名;有 10 人次参加国际学术会议。

VMGuard :一种面向管理者虚拟机的完整性检测系统

VSchecker :透明的虚拟存储完整性检测工具

1.3 基于云计算的海量数据挖掘

本项目为国家基金重点项目(课题编号:61035003),起止时间是 2011 年 1 月至 2014年 12 月。项目组按计划进行深入研究,圆满地完成了2013 年的工作,取得如下进展。

1. 基于云计算的海量数据挖掘方法和算法

(1)并行数据挖掘方法利用数据库来模拟链表结构,管理挖掘出来

的知识,提供了树形结构、图模型的分布式计算方法,提出一种在 Hadoop 上高效数据挖掘框架。

为了加速分布式 SVM 优化的全局一致性,我们提出分组式的分布式交替方向乘子法,引入分组机制,将学到的组结构信息用于全局变量优化。

(2)特征捆绑框架

击败不等于击倒,跌倒了,爬起来,想一想,为什么跌倒了,

中科院计算所在可信大数据软件技术方面的研究工作【DOC+PPT下载

相关文章:

你感兴趣的文章:

标签云: