数据集成

集成多样化的数据和方法使我们能够发展预测性分析的能力以发现新的知识。由于传统的数据集成方法在大数据环境下效率低下,探索如何开发新的数据关联和集成方法来最大程度地提高大数据的价值成为-一个热]的研究课题,特别是数据的深度集成仍是一个难题。除了已有多个昂贵的数据集成商业化平台外,近年来产业界和学术界还开发了一系列用户友好、功能丰富的数据集成开源工具。其中有许多工具,如Kettle和Talend Open Studio ,具有直观的图形化用户界面和易于使用的拖放功能,能够兼容多个运行平台/操作系统,并且能够进行自定义的部署配置。这些高效低成本的解决方案能够探索用于开发多样化的大数据应用。

斯坦福大学InfoL ab实验室开发了一个开源的知识抽取系统DeepDive ,能够从非结构化信息(如文本)创建结构化数据,并将这类数据集成到现有的结构化数据库。DeepDive充分利用统计推断和机器学习的效率和有效性用于复杂的抽取任务,已在药物基因组学、古生物学、反人口贩卖执法等一系列领域获得了应用。

还有相当多的研究人员在这一-领域开展了大量 工作。美国亚利桑那大学开发了用于情报与安全信息学的数据基础设施,主要关注于数据采集、数据管理和数据获取。这一基础设施由在线存档和分析工具组成,集成了大批的开源数据,使研究者能够更方便地与同行开展合作。Ma等基于统一概念模型( UCM )提出了一个数据集成框架,解决现实世界中汽油和天然气安全性监管的问题。通过UCM的结构对齐,将不同来源的数据自动转换成实例数据,存储在图数据库中,并通过语义相似度计算指标建立相互关联。Daraio 等提出了基于本体的数据管理

 ( OBDM )方法集成异构数据，包括学术大数据(如论文和引文等)支持科研评估和开发科学学政策模型。Meng等建立了以作者为中心的计算机科学学科中文文献集成系统 ScholarSpace ( C-DBLP) , 支持按研究者、研究领域和研究主题等类别的学术信息分面检索。Williams 等开展了数字图书馆与学术文献搜索引擎CiteSeerx的案例研究,集成了网络上的海量文献数据,并进行了自动抽取、聚类、实体链接和人名消歧等数据处理。