多源知识融合技术研究综述

赵晓娟 贾焰 李爱平 常春喜

引用本文:
Citation:

多源知识融合技术研究综述

    作者简介: 赵晓娟(1975−),女,湖南人,博士生,讲师,研究方向为知识图谱. E-mail: zhaoxiaojuan18@nudt.edu.cn;
    通讯作者: 常春喜, 471764877@qq.com
  • 中图分类号: TP391

A survey of the research on multi-source knowledge fusion technology

    Corresponding author: CHANG Chun-xi, 471764877@qq.com
  • CLC number: TP391

  • 摘要: 多源知识融合的研究成果有助于计算机更好地理解人类的智能、人类语言以及人类思维,可以有效地促进网络空间大搜索,有效地促进领域知识图谱的构建,具有巨大的社会经济效益. 由于知识获取的不确定性,基于实体识别和关系抽取技术构建的知识图谱,其知识的可靠性和置信度都有待评估,一方面,多源知识推理的过程可以检测冲突,为知识评估和验证提供帮助;另一方面,由知识推理得到的新知识也具有不确定性,需要进行评估和验证. 多源知识协同推理不仅包括从多源知识中推断出新知识,还包括冲突检测,即识别错误知识或知识间存在的冲突. 从多源知识融合的几个相关概念出发,全面介绍了开源知识融合、多知识图谱融合、知识图谱内部信息融合、多模态知识融合和多源知识协同推理的最新研究进展. 在此基础上,探讨了大规模知识库环境下多源知识融合的挑战和未来研究方向.
  • 图 1  SEEA方法的框架

    Figure 1.  The framework of the proposed SEEA method.

    图 2  基于CKE框架的推荐系统流程图

    Figure 2.  The flowchart of the proposed Collaborative Knowledge Base Embedding (CKE) framework for recommender systems

    图 3  关于LiteralE如何应用于基本评分函数f的说明图

    Figure 3.  Overview on how LiteralE is applied to the base scoring function f

    图 4  融合模型说明图

    Figure 4.  Illustration of the fusion model

    图 5  (a) 在第一个隐藏层中混合统计特征的模型 (b) 构造高级特征表示以后再混合的模型

    Figure 5.  Direct use of deep model (a) and the deep architecture we propose (b) for part score S, deformation D and mixture type T.

    图 6  k阶递归推理的图模型

    Figure 6.  Graphical model of the Level-k recursive reasoning

  • [1] Dong X L, Srivastava D. Knowledge curation and knowledge fusion: Challenges, models and applications[C]. International Conference on Management of Data, Melbourne, Australia, 2015: 2 063-2 066. DOI:  10.1145/2723372.2731083.
    [2] Wang H F, Fang Z J, Zhang L, et al. Effective online knowledge graph fusion[C]. Proceedings of ISWC, Bethlehem, PA, USA, 2015: 286-302. DOI:  10.1007/978-3-319-25007-6_17.
    [3] Dong X L, Gabrilovich E, Heitz G, et al. From data fusion to knowledge fusion[J]. Proceedings of the VLDB Endowment, 2014, 7(10): 881-892. DOI:  10.14778/2732951.2732962.
    [4] Dong X L, Naumann F. Data fusion-resolving data conflicts for integration[J]. Proceedings of the Vldb Endowment, 2009, 2(2): 1 654-1 655. DOI:  10.14778/1687553.1687620.
    [5] 周芳, 王鹏波, 韩立岩. 多源知识融合处理算法[J]. 北京航空航天大学学报, 2013, 39(1): 109-114. Zhou F, Wang P B, Han L Y. Multi-source knowledge fusion algorithm[J]. Journal of Beijing University of Aeronautics & Astronautics, 2013, 39(1): 109-114.
    [6] Dempster A P. Upper and lower probabilities induced by a multivalued mapping[J]. Annals of Mathematical Statistics, 1967, 38(2): 325-339. DOI:  10.1007/978-3-540-44792-4_3.
    [7] Shafer. G. A mathematical theory of evidence[M] Advances in Mathematics, New Jersey, Princeton University Press. 1976: 341.
    [8] Couso I, Sanchez L. Upper and lower probabilities induced by a fuzzy random variable[J]. Fuzzy Sets & Systems, 2011, 165(1): 80-102. DOI:  10.1016/j.fss.2010.10.005.
    [9] Keller J M, Liu D, Fogel D B. Fundamentals of computational intelligence: Neural networks, fuzzy systems and evolutionary computation [M]. Wiley-IEEE Press, c2016: 183-205.
    [10] Tahani H, Keller J M. Information fusion in computer vision using the fuzzy integral[J]. IEEE Transactions on Systems, Man and Cybernetics, 1990, 20(3): 733-741. DOI:  10.1109/21.57289.
    [11] Dong X, Gabrilovich E, Heitz G, et al. Knowledge vault: a web-scale approach to probabilistic knowledge fusion[C]. Knowledge Discovery and Data Mining, New York, USA, 2014: 601-610. DOI:  10.1145/2623330.2623623.
    [12] Lao N, Mitchell T M, Cohen W W, et al. Random walk inference and learning in a large scale knowledge base[C]. Empirical Methods in Natural Language Processing, Edinburgh, UK, 2011: 529-539.
    [13] Zhao B, Rubinstein B I, Gemmell J, et al. A Bayesian approach to discovering truth from conflicting sources for data integration[J]. Very Large Data Bases, 2012, 5(6): 550-561.
    [14] Dong X L, Gabrilovich E, Murphy K, et al. Knowledge-based trust: estimating the trustworthiness of web sources[J]. Very Large Data Bases, 2015, 8(9): 938-949.
    [15] 王雪鹏, 刘康, 何世柱, 等. 基于网络语义标签的多源知识库实体对齐算法[J]. 计算机学报, 2017, 40(3): 701-711. DOI:  10.11897/SP.J.1016.2017.00701. Wang X P, Liu K, He S Z, et al. Multi-source knowledge bases entity alignment by leveraging semantic tags[J]. Chinese Journal of Computers, 2017, 40(3): 701-711.
    [16] Zhang Y, Liu L, Fu S, et al. Entity alignment across knowledge graphs based on representative relations selection[C]. 5th International Conference on Systems and Informatics, California, USA, 2018: 1 056-1 061. DOI:  10.1109/icsai.2018.8599288.
    [17] Wang L L, Bhagavatula C, Neumann M, et al. Ontology alignment in the biomedical domain using entity definitions and context[J]. arXiv: Computation and Language, 2018. DOI:  10.18653/v1/W18-2306
    [18] Zhu H, Xie R, Liu Z, et al. Iterative entity alignment via joint knowledge embeddings[C]. International Joint Conference on Artificial Intelligence, Melbourne, Australia, 2017: 4 258-4 264. DOI:  10.24963/ijcai.2017/595.
    [19] Lin Y, Liu Z, Luan H, et al. Modeling relation paths for representation learning of knowledge bases[C]. Proceedings of EMNLP, Lisbon, Portugal, 2015: 705-714. DOI:  10.18653/v1/D15-1082.
    [20] Sun Z, Hu W, Li C, et al. Cross-lingual entity alignment via joint attribute-preserving embedding[C]. International Semantic Web Conference, Vienna, Austria, 2017: 628-644. DOI:  10.1007/978-3-319-68288-4_37.
    [21] Kong C, Gao M, Xu C, et al. EnAli: entity alignment across multiple heterogeneous data sources[J]. Frontiers of Computer Science in China, 2019, 13(1): 157-169. DOI:  10.1007/s11704-017-6561-3.
    [22] Wu F, Huang Y, Yuan Z, et al. Domain-specific sentiment classification via fusing sentiment knowledge from multiple sources[J]. Information Fusion, 2017(35): 26-37. DOI:  10.1016/j.inffus.2016.09.001.
    [23] Sun K, Zhu Y, Song J, et al. Progress and challenges on entity alignment of geographic knowledge bases[J]. ISPRS International Journal of Geo-Information, 2019, 8(2): 77. DOI:  10.3390/ijgi8020077.
    [24] Wang Z, Zhang J, Feng J, et al. Knowledge graph embedding by translating on hyperplanes[C]. Twenty-eighth Aaai Conference on Artificial Intelligence, Québec City, Canada, 2014: 1 112-1 119.
    [25] Mikolov T, Sutskever I, Chen K, et al. Distributed representations of words and phrases and their compositionality[J]. Advances in Neural Information Processing Systems, 2013(26): 3 111-3 119.
    [26] Mikolov T, Chen K, Corrado G, et al. Efficient estimation of word representations in vector space[C]. International Conference on Learning Representations, Scottsdale, Arizona, USA, 2013: 186-197.
    [27] Bordes A, Usunier N, Garcia-Duran A, et al. Translating embeddings for modeling multi-relational data[C]. Advances in Neural Information Processing Systems, Lake Tahoe, Nevada, USA, 2013: 2 787-2 795.
    [28] Zhong H, Zhang J, Wang Z, et al. Aligning knowledge and text embeddings by entity descriptions[C]. Proceedings of EMNLP 2015, Lisbon, Portugal, 2015: 267-272. DOI:  10.18653/v1/D15-1031.
    [29] Guo L, Sun Z, Cao E, et al. Recurrent skipping networks for entity alignment[J]. arXiv: 1811.02318v1, Computation and Language, 2018.
    [30] Xie R, Liu Z, Jia J, et al. Representation learning of knowledge graphs with entity descriptions[C]. National Conference on Artificial Intelligence, Phoenix, Arizona, USA, 2016: 2 659-2 665.
    [31] Collobert R, Weston J. A unified architecture for natural language processing: deep neural networks with multitask learning[C]. International Conference on Machine Learning, Helsinki, Finland, 2008: 160-167. DOI:  10.1145/1390156.1390177.
    [32] Schmidhuber J. Deep learning in neural networks[J]. Neural Networks, 2015, 61(9): 85-117. DOI:  10.1016/j.neunet.2014.09.003.
    [33] Guan S, Jin X, Jia Y, et al. Self-learning and embedding based entity alignment[J]. Knowledge and Information Systems, 2017, 59(2): 361-386.
    [34] Yang C, Liu Z, Zhao D, et al. Network representation learning with rich text information[C]. International Conference on Artificial Intelligence, Cambridge, England, 2015: 2 111-2 117.
    [35] Tu C, Liu H, Liu Z, et al. CANE: Context-aware network embedding for relation modeling[C]. Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), Vancouver, Canada, 2017: 1 722-1 731. DOI:  10.18653/v1/P17-1158.
    [36] Zhang F, Yuan N J, Lian D, et al. Collaborative knowledge base embedding for recommender systems[C]. The 22nd ACM SIGKDD International Conferenc, San Francisco, California, United States, 2016: 353-362. DOI:  10.1145/2939672.2939673.
    [37] Lin Y, Liu Z, Sun M, et al. Learning entity and relation embeddings for knowledge graph completion[C]. National Conference on Artificial Intelligence, Austin, Texas, USA, 2015: 2 181-2 187.
    [38] Vincent P, Larochelle H, Lajoie I, et al. Stacked denoising autoencoders: Learning useful representations in a deep network with a local denoising criterion[J]. Journal of Machine Learning Research, 2010, 11(12): 3 371-3 408.
    [39] Kristiadi A, Khan M A, Lukovnikov D, et al. Incorporating literals into knowledge graph embeddings [C]. International Semantic Web Conference, Auckland, New Zealand, 2019: 347-363. DOI:  10.1007/978-3-030-30793-6_20.
    [40] Collobert R, Weston J, Bottou L, et al. Natural language processing (almost) from scratch[J]. Journal of Machine Learning Research, 2011, 12(1): 2 493-2 537.
    [41] Guo S, Wang Q, Wang L, et al. Jointly embedding knowledge graphs and logical rules[C]. Empirical Methods in Natural Language Processing, Austin, Texas, USA, 2016: 192-202. DOI:  10.18653/v1/D16-1019.
    [42] Demeester T, Rocktaschel T, Riedel S, et al. Lifted rule injection for relation embeddings[C]. Empirical Methods in Natural Language Processing, Austin, Texas, USA, 2016: 1 389-1 399. DOI:  10.18653/v1/D16-1146
    [43] Rocktaschel T, Singh S, Riedel S, et al. Injecting logical background knowledge into embeddings for relation extraction[C]. North American Chapter of the Association for Computational Linguistics, Denver, Colorado, USA, 2015: 1 119-1 129. DOI:  10.3115/v1/N15-1118.
    [44] Newmangriffis D, Lai A M, Foslerlussier E, et al. Jointly embedding entities and text with distant supervision[C]. Meeting of the Association for Computational Linguistics, Melbourne, Australia, 2018: 195-206. DOI:  10.18653/v1/w18-3026.
    [45] Shu G, Quan W, Wang L, et al. SSE: Semantically smooth embedding for knowledge graphs[J]. IEEE Transactions on Knowledge & Data Engineering, 2017, 29(4): 884-897.
    [46] Xie R, Liu Z, Sun M, et al. Representation learning of knowledge graphs with hierarchical types[C]. International Joint Conference on Artificial Intelligence, New York, USA, 2016: 2 965-2 971.
    [47] Xu J, Chen K, Qiu X, et al. Knowledge graph representation with jointly structural and textual encoding [C]. International Joint Conference on Artificial Intelligence, Melbourne, Australia, 2017: 1 318-1 324.
    [48] Wang Z, Li J. Text-enhanced representation learning for knowledge graph[C]. International Joint Conference on Artificial Intelligence, New York, USA, 2016: 1 293-1 299.
    [49] Wang Z, Zhang J, Feng J, et al. Knowledge graph and text jointly embedding[C]. Conference on Empirical Methods in Natural Language Processing, Doha, Qatar, 2014: 1 591-1 601.
    [50] Neelakantan A, Roth B, Mccallum A. Compositional vector space models for knowledge base completion [C]. International Joint Conference on Natural Language Processing, Beijing, China, 2015: 156-166.
    [51] Guu K, Miller J, Liang P, et al. Traversing knowledge graphs in vector space [C]. Empirical Methods in Natural Language Processing, Lisbon, Portugal, 2015: 318-327. DOI:  10.18653/v1/D15-1038.
    [52] Lin Y, Liu Z, Luan H, et al. Modeling relation paths for representation learning of knowledge bases[C]. Empirical Methods in Natural Language Processing, Lisbon, Portugal, 2015: 705-714.
    [53] Knowledge acquisition. Wikipedia. [EB/OL]. (2019-04-05)[2019-12-16]. https://en.wikipedia.org/wiki/Knowledge_acquisition.
    [54] Zhang L, Fu S, Jiang S, et al. A fusion model of multi-data sources for user profiling in social media[C]. International Conference Natural Language Processing, Copenhagen, Denmark, 2018: 3-15. DOI:  10.1007/978-3-319-99501-4_1.
    [55] Tang J, Qu M, Wang M, et al. LINE: Large-scale information network embedding[C]. The Web Conference, Florence, Italy, 2015: 1 067-1 077. DOI:  10.1145/2736277.2741093.
    [56] Smolensky P. Information processing in dynamical systems: Foundations of harmony theory[R]. Colorado Univ at Boulder Dept of Computer Science, 1986.
    [57] Welling M, Rosenzvi M, Hinton G E, et al. Exponential family harmoniums with an application to information retrieval[C]. Neural Information Processing Systems, Vancouver, Canada, 2004: 1 481-1 488.
    [58] Salakhutdinov R, Hinton G. Deep boltzmann machines[C]. Artificial Intelligence and Statistics, Florida, USA, 2009: 448-455.
    [59] Srivastava N, Salakhutdinov R. Multimodal learning with deep Boltzmann machines[C]. International Conference on Neural Information Processing Systems, Lake Tahoe, Nevada, USA, 2012: 2 222-2 230.
    [60] Srivastava N, Salakhutdinov R. Learning representations for multimodal data with deep belief nets[C]. International Conference on Machine Learning Representation Learning Workshop, Edinburgh, Scotland, UK, 2012: 1-8.
    [61] Ouyang W, Chu X, Wang X, et al. Multi-source deep learning for human pose estimation[C]. IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society, Columbus, Ohio, USA, 2014: 2 337-2 344. DOI:  10.1109/CVPR.2014.299.
    [62] Ngiam J, Khosla A, Kim M, et al. Multimodal deep learning[C]. International Conference on Machine Learning, ICML 2011, Bellevue, Washington, Usa, June 28-July. DBLP, 2011: 689-696.
    [63] Zhao L, Hu Q, Wang W, et al. Heterogeneous feature selection with multi-modal deep neural networks and sparse group LASSO[J]. IEEE Transactions on Multimedia, 2015, 17(11): 1 936-1 948. DOI:  10.1109/TMM.2015.2477058.
    [64] Wang A, Lu J, Cai J, et al. Large-margin multi-modal deep learning for RGB-D object recognition[J]. IEEE Transactions on Multimedia, 2015, 17(11): 1 887-1 898. DOI:  10.1109/TMM.2015.2476655.
    [65] Neverova N, Wolf C, Taylor G W, et al. Moddrop: adaptive multi-modal gesture recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(8): 1 692-1 706. DOI:  10.1109/TPAMI.2015.2461544.
    [66] Liu Z, Zhang W, Quek T Q, et al. Deep fusion of heterogeneous sensor data[C]. IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE, New Orleans, LA, USA, 2017: 5 965-5 969. DOI:  10.1109/ICASSP.2017.7953301.
    [67] Chen W, Xiong W, Yan X, et al. Variational knowledge graph reasoning [C]. North American Chapter of The Association for Computational Llinguistics, New Orleans, USA, 2018: 1 823-1 832. DOI:  10.18653/v1/N18-1165.
    [68] Kingma D P, Welling M. Auto-encoding variational bayes[C]. International Conference on Learning Representations, Banff, Canada, 2014: 1-14.
    [69] Xiong W, Hoang T, Wang W Y, et al. Deep path: A reinforcement learning method for knowledge graph reasoning [C]. Empirical Methods in Natural Language Processing, Copenhagen, Denmark, 2017: 564-573. DOI:  10.18653/v1/d17-1060.
    [70] Das R, Dhuliawala S, Zaheer M, et al. Go for a walk and arrive at the answer: Reasoning over paths in knowledge bases using reinforcement learning[J]. arXiv: Computation and Language, 2017. arXiv: 1711.05851.
    [71] Das R, Neelakantan A, Belanger D, et al. Chains of reasoning over entities, relations, and text using recurrent neural networks[C]. Conference of the European Chapter of the Association for Computational Linguistics, Valencia, Spain, 2017: 132-141. DOI:  10.18653/v1/e17-1013.
    [72] Wen Y, Yang Y, Lu R, et al. Multi-agent generalized recursive reasoning [J]. arXiv: Artificial Intelligence, 2019. arXiv: 1901.09216v1 [cs. AI].
    [73] Costa G D, De Oliveira J M. Linguistic frames as support for entity alignment in knowledge graphs[C]. Proceedings of the 20th International Conference on Information Integration and Web-based Applications & Services, Yogyakarta, Indonesia, 2018: 226-229. DOI:  10.1145/3282373.3282415.
    [74] Chen M, Tian Y, Yang M, et al. MTransE: Multilingual knowledge graph embeddings for cross-lingual knowledge alignment[C]. Proceedings of IJCAI, Melbourne, Australia, 2017: 1 511-1 517.
    [75] Wu T, Qi G, Wang H, et al. Cross-lingual taxonomy alignment with bilingual biterm topic model[C]. Proceedings of AAAI, Arizona, USA, 2016: 287-293.
    [76] Wu T, Zhang L, Qi G, et al. Encoding category correlations into Bilingual topic modeling for cross-lingual taxonomy alignment[C]. International Semantic Web Conference, Vienna, Austria, 2017: 728-744. DOI:  10.1007/978-3-319-68288-4_43.
    [77] Zhang Y, Paradis T, Hou L, et al. Cross-lingual infobox alignment in wikipedia using entity-attribute factor graph[C]. International Semantic Web Conference, Vienna, Austria, 2017: 745-760. DOI:  10.1007/978-3-319-68288-4_44.
    [78] Chen M, Tian Y, Chang K W, et al. Co-training embeddings of knowledge graphs and entity descriptions for cross-lingual entity alignment[C]. International Joint Conference on Artificial Intelligence, Stockholm, Sweden, 2018: 3 998-4 004. DOI:  10.24963/ijcai.2018/556.
    [79] Prytkova N, Weikum G, Spaniol M, et al. Aligning multi-cultural knowledge taxonomies by combinatorial optimization[C]. International Conference on World Wide Web, Florence, Italy, 2015: 93-94. DOI:  10.1145/2740908.2742721.
    [80] Li R, Zhang Q, Wang H, et al. Distributed RDFS rules reasoning for large-scaled RDF graphs using spark[C]. International Conference on Service Science. IEEE Computer Society, Chongqing, China, 2016: 158-162. DOI:  10.1109/icss.2016.28.
    [81] Mcbrien P, Liu Y. SPOWL: Spark-based OWL 2 reasoning materialisation[C]. Acm Sigmod Workshop on Algorithms & Systems for Mapreduce & Beyond. ACM, Chicago, IL, USA, 2017: 1-10. DOI:  10.1145/3070607.3070609.
    [82] Liu Z, Feng Z, Zhang X, et al. RORS: Enhanced rule-based OWL reasoning on spark[C]. Asia-pacific Web Conference, Suzhou, China, 2016: 444-448. DOI:  10.1007/978-3-319-45817-5_43.
    [83] Zhou Z, Qi G, Liu C, et al. Reasoning with large scale OWL 2 EL ontologies based on MapReduce[C]. Asia-Pacific Web Conference, Suzhou, China, 2016: 429-433. DOI:  10.1007/978-3-319-45817-5_40.
    [84] Donkal G, Verma G K. A multimodal fusion based framework to reinforce IDS for securing Big Data environment using Spark[C]. Workshop on Information Security Applications, Jeju Island, Korea, 2018: 1-11. DOI:  10.1016/j.jisa.2018.10.001.
    [85] Ju H, Oh S. Enabling RETE Algorithm for RDFS reasoning on apache spark[C]. 2018 IEEE 8th International Symposium on Cloud and Service Computing (SC2). IEEE Computer Society, Paris, France, 2018: 135-138. DOI:  10.1109/sc2.2018.00028.
    [86] Zhong J, Wang C, Li Q, et al. A new graph-partitioning algorithm for large-scale knowledge graph[C]. Advanced Data Mining and Applications, Nanjing, China, 2018: 434-444. DOI:  10.1007/978-3-030-05090-0_37.
    [87] Mantle M, Batsakis S, Antoniou G, et al. Large scale distributed spatio-temporal reasoning using real-world knowledge graphs[J]. Knowledge Based Systems, 2019, 163(8): 214-226. DOI:  10.1016/j.knosys.2018.08.035.
    [88] Liu C, Urbani J, Qi G, et al. Efficient RDF stream reasoning with graphics processingunits (GPUs)[C]. The Web Conference, Seoul, Korea, 2014: 343-344. DOI:  10.1145/2567948.2577323.
    [89] Tran H N, Cambria E, Hussain A. Towards GPU-based common-sense reasoning: Using fast subgraph matching[J]. Cognitive Computation, 2016, 8(6): 1 074-1 086. DOI:  10.1007/s12559-016-9418-4.
    [90] Tran N H, Cambria E. GPU-based commonsense paradigms reasoning for real-time query answering and multimodal analysis[J]. arXiv: 1807.08804v1.
    [91] Wei Y, Luo J, Xie H, et al. KGRL: An OWL2 RL reasoning system for large scale knowledge graph[C]. Semantics Knowledge and Grid, Beijing, China, 2016: 83-89. DOI:  10.1109/skg.2016.020.
    [92] Wang Y, Luo J. An incremental reasoning algorithm for large scale knowledge graph[C]. International Conference on Knowledge Science, Engineering and Management. Springer, Cham, 2018: 503-513.
    [93] Luo J, Wang Y, Xu Y, et al. Incremental theory closure reasoning for large scale knowledge graphs[J]. IEEE Access, 2019, 7: 24 593-24 601. DOI:  10.1109/access.2019.2900297.
  • [1] 钱振伟高怀雁罗艳琳 . 基于粗集知识推理的IDSS中的知识表示. 云南大学学报(自然科学版), 2003, 25(1): 22-24,28.
    [2] 岳昆刘惟一 . 不确定性知识的定性表示、推理及其应用——定性概率网研究综述. 云南大学学报(自然科学版), 2009, 31(6): 560-570 .
    [3] 蒋作李彤杨柽 . Web文档特征提取中知识树构造. 云南大学学报(自然科学版), 2011, 33(S2): 168-172.
    [4] 谢志昆 . 信息时代高校教师的知识与能力构成初探. 云南大学学报(自然科学版), 2015, 37(S1): 12-. doi: 10.7540/j.ynu.20150051
    [5] 丁海燕李辰吴雪峰姚尧刘松李俊杰邹疆丁怀东 . 面向日本语专家系统大规模知识型数据模型的研究及实现. 云南大学学报(自然科学版), 2011, 33(S2): 288-293.
    [6] 徐广义严馨余正涛周丽华 . 融合跨语言特征的柬埔寨语命名实体识别方法*. 云南大学学报(自然科学版), 2018, 40(5): 865-871. doi: 10.7540/j.ynu.20170593
    [7] 岳昆高明海韩格刘惟一 . 时序环境中概率因果关系的定性表示及融合. 云南大学学报(自然科学版), 2009, 31(5): 455-462 .
    [8] 刘琰煜周冬明聂仁灿侯瑞超丁斋生 . 低秩表示和字典学习的红外与可见光图像融合算法. 云南大学学报(自然科学版), 2019, 41(4): 689-698. doi: 10.7540/j.ynu.20180753
    [9] 胡茂胡盛 . 半结构数据中的结构推理. 云南大学学报(自然科学版), 2003, 25(1): 17-21.
    [10] 卢康贺西平安笑笑贺升平尼涛 . 基于TSVM的多特征融合超声金属防伪识别. 云南大学学报(自然科学版), 2017, 39(4): 584-589. doi: 10.7540/j.ynu.20160548
    [11] 王长城周冬明刘琰煜谢诗冬 . 多尺度形态聚焦测量和优化随机游走的多聚焦图像融合算法. 云南大学学报(自然科学版), 2020, 42(): 1-10. doi: 10.7540/j.ynu.20200019
    [12] 郝林 . 人工智能中时间推理的研究. 云南大学学报(自然科学版), 2002, 24(1): 21-23.
    [13] 张春霞纪开萍何明霞曹旸刘静王文兵 . 暗褐网柄牛肝菌子实体营养成分分析. 云南大学学报(自然科学版), 2010, 32(6): 702-704 .
    [14] 刘文星邱仕瑜陈毅坚董淼周敏 . 无柄灵芝子实体中的灵芝酸类化合物. 云南大学学报(自然科学版), 2020, 42(3): 553-559. doi: 10.7540/j.ynu.20190525
    [15] 李肖肖聂仁灿周冬明谢汝生 . 图像增强的拉普拉斯多尺度医学图像融合算法. 云南大学学报(自然科学版), 2019, 41(5): 908-917. doi: 10.7540/j.ynu.20180840
    [16] 郭敏任娜 . 基于小波变换与块分割的多聚焦图像融合. 云南大学学报(自然科学版), 2008, 30(3): 251-255.
    [17] 侯瑞超周冬明聂仁灿李兴叶 . 结合HSI变换与双通道脉冲发放皮层的彩色多聚焦图像融合. 云南大学学报(自然科学版), 2019, 41(2): 245-252. doi: 10.7540/j.ynu.20180191
    [18] 李彦敏梅凤翔 . 非自治Birkhoff系统的广义斜梯度表示. 云南大学学报(自然科学版), 2015, 37(6): 832-836. doi: 10.7540/j.ynu.20150411
    [19] 王海力韩光中谢贤健 . 基于多源遥感数据和DEM的沱江流域人口分布与地形起伏度关系研究. 云南大学学报(自然科学版), 2017, 39(6): 1001-1011. doi: 10.7540/j.ynu.20160599
    [20] 向光军孔兵欧家钦 . 贝叶斯网络VE推理算法的并行化研究. 云南大学学报(自然科学版), 2010, 32(4): 392-395, .
  • 加载中
图(6)
计量
  • 文章访问数:  1188
  • HTML全文浏览量:  747
  • PDF下载量:  74
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-09-09
  • 录用日期:  2019-12-07
  • 网络出版日期:  2020-02-10
  • 刊出日期:  2020-05-01

多源知识融合技术研究综述

    作者简介:赵晓娟(1975−),女,湖南人,博士生,讲师,研究方向为知识图谱. E-mail: zhaoxiaojuan18@nudt.edu.cn
    通讯作者: 常春喜, 471764877@qq.com
  • 1. 国防科技大学 计算机学院,湖南 长沙  410073
  • 2. 湖南工业大学 商学院,湖南 株洲 412007
  • 3. 国防科技大学 前沿交叉学科学院,湖南 长沙 410073

摘要: 多源知识融合的研究成果有助于计算机更好地理解人类的智能、人类语言以及人类思维,可以有效地促进网络空间大搜索,有效地促进领域知识图谱的构建,具有巨大的社会经济效益. 由于知识获取的不确定性,基于实体识别和关系抽取技术构建的知识图谱,其知识的可靠性和置信度都有待评估,一方面,多源知识推理的过程可以检测冲突,为知识评估和验证提供帮助;另一方面,由知识推理得到的新知识也具有不确定性,需要进行评估和验证. 多源知识协同推理不仅包括从多源知识中推断出新知识,还包括冲突检测,即识别错误知识或知识间存在的冲突. 从多源知识融合的几个相关概念出发,全面介绍了开源知识融合、多知识图谱融合、知识图谱内部信息融合、多模态知识融合和多源知识协同推理的最新研究进展. 在此基础上,探讨了大规模知识库环境下多源知识融合的挑战和未来研究方向.

English Abstract

  • 由于人类知识的复杂性、开放性、多样性和巨大的规模,我们需要大规模常识知识库来支撑类人推理和自然语言理解. 但是,知识图谱中的知识来源广泛,多源异构的知识之间会存在重复、语义多样、质量参差不齐等问题,需要进行冲突检测、实体消歧、实体对齐等操作,将多种来源的知识有机融合在一起,形成高质量知识图谱.

    从理论的角度来看,多源知识融合是人工智能、自然语言处理等领域的重要研究课题之一,多源知识融合的研究成果有助于计算机更好地理解人类的智能、人类语言以及人类思维. 从应用的角度来看,多源知识融合可以为智能搜索、智能推荐、情报分析等提供有效的知识支撑,具有巨大的社会价值和经济效益.

    目前国内外学术界对于多源知识融合的关键技术开展了广泛的研究,然而,现有工作是针对知识融合中的某个方面的技术,如实体对齐、实体消歧、知识表示等,也有一部分工作是借鉴多源数据融合的方法和技术,还没有形成一套统一的理论体系. 本文将全面介绍多源知识融合相关研究的最新进展. 首先,介绍与多源知识融合相关的几个概念,如数据融合、表示学习、实体对齐等;然后,基于多源知识融合与知识图谱的关系从两个大的方向介绍了知识融合的研究进展;接着介绍了多源知识协同推理的相关研究进展,最后,展望了多源知识融合在大规模知识库环境下遇到的挑战及未来的研究方向.

    • 数据融合(Data Fusion)也称多传感器数据融合,最早被应用于军事领域. 数据融合处理的是最原始的、未被加工的记录,主要是辨识数据的真实性,源的可靠性,解决不同数据源之间数值冲突问题,并找到隐含的真实值,这种处理侧重于数据层面. 由于数据会存在数据质量(如数据输入错误、数据丢失等)问题,而数据质量会影响算法效果,因此,解决数据冲突和发现数据真值被认为是数据融合的两个基本任务. 多源数据融合可以获得比单一数据源更精确、更完全、更可靠的估计和判断.

      知识融合(Knowledge Fusion)不同于数据融合. 知识融合基本的问题是研究怎样将来自多个来源的关于同一个实体或概念的描述信息融合起来,因此,知识融合有不同的叫法,如本体对齐(Ontology Alignment)、本体匹配(Ontology Matching)、记录链接(Record Linkage)、实体消歧(Entity Resolution)、实体对齐(Entity Alignment)等叫法,但它们的本质工作是一样的.

      早期的知识融合主要是借鉴传统数据融合的方法,从传统的数据融合方法中,根据知识融合的数据特征,挑选一些数据融合的方法并加以改进,将其应用于知识融合[1],或者将知识融合问题转化之后,再应用数据融合技术进行求解[2-3].

    • 知识表示学习主要是面向知识图谱中的实体和关系进行表示学习. 使用建模的方法将实体和向量表示在低维稠密向量空间中,然后进行计算和推理. 知识表示学习对于计算机如何理解和计算知识的意义是重大的. 从2013年嵌入(embedding)的思想流行之前,人们基本采用one-hot的表示方法来表示实体. 近几年知识表示的核心思想就是如何找到合适的方法来将知识图谱embedding到向量空间,从而在向量空间中进行计算. 表示学习技术在图像、语音、视频以及自然语言处理等领域的成功引起了知识图谱领域研究人员的注意,一些学者开始研究面向知识融合的表示学习技术.

      基于向量的知识图谱表示使得这些数据更加易于与深度学习模型集成,使得基于向量空间的知识图谱表示越来越多的得到重视. 一方面,通过设计合理的知识图谱表示学习模型,将不同来源的知识投影到统一的表示空间中,可实现多知识图谱的有机融合,并适应大规模知识图谱应用,对知识图谱构建所涉及的融合、补全等任务也有重要的研究意义;另一方面,将不同来源的知识融为一体,可以帮助知识图谱更易于捕获隐含知识、有效提升知识表示的性能,这是一个迭代的相互增强的过程.

      随着知识图谱以及机器学习的发展,对于网络表示学习的研究受到的广泛的关注. 由于信息网络可能包含数十亿个节点和边缘,在整个网络上执行复杂的推理过程可能非常棘手. 因此,有人提出了用于解决该问题的一种方法是网络嵌入. 网络嵌入旨在学习网络中节点的低维度潜在表示,所学习到的特征表示可以用作基于图的各种任务的特征,例如:分类、聚类、链路预测和可视化;其中心思想就是找到一种映射函数,该函数将网络中的每个节点转换为低维度的潜在表示. 与之相关的概念还有图嵌入、图表示学习等,多源知识融合可以充分关注这些领域的研究成果. 本文将这些与多源知识融合有关的表示学习技术在论文的第2部分提出.

    • 实体是文本中承载信息的重要语言单位,也是知识图谱的基本单元. 知识图谱的数据来源广泛,其多样性和异构性导致真实世界中的相同事物可能对应着知识图谱中的不同实体. 为了将不同知识图谱融合为一个统一的形式,常用的技术方法包括本体对齐和实体对齐等. 实体对齐也叫实例对齐,对象共指消解. 根据对齐的对象不同,对齐一般分为本体对齐和实例对齐两方面本体对齐侧重发现(模式层)等价或相似的类、属性或关系,而实例对齐侧重发现指称真实世界相同对象的不同实例. 根据对齐的方法可以分为成对实体对齐和集体(collective)实体对齐. 成对实体对齐又叫基于元素的实体对齐,集体实体对齐又叫基于结构的实体对齐,分为全局集体实体对齐和局部的集体实体对齐.

      多源知识融合要解决的基本问题是如何将多个来源的关于同一个实体或者概念的描述信息融合起来,根据其融合的内容可分为数据模式层融合和数据层融合. 多源知识融合的关键任务在数据层的融合,包括实体对齐、属性对齐以及冲突检测与解决. 数据模式层融合包括概念合并、概念上下位关系合并以及概念的属性定义合并. 有些研究将实体对齐和知识融合作为两个独立的环节,认为知融合是在对齐的基础上,通过冲突检测、真值发现等技术消解冲突之后,再对知识进行关联与合并,最终形成一个一致的结果. 我们的研究中提到的知识融合是包括实体对齐以及冲突检测、冲突消解整个环节.

      实体链接是运用实体识别技术检测文本中的新实体,将实体提及与知识图谱中对应实体进行链接,并将其加入到现有知识库中,也属于知识融合的大范畴.

    • 大数据环境下,一方面我们可以从开放的互联网中融合多源知识,丰富和完善已有知识图谱,另一方面在知识图谱应用的过程中融合多个知识图谱或者融合知识图谱中更多语义信息,增强应用效果.

      从知识图谱构建的角度来看,多源知识融合可以分为两大类,一类是对既有知识图谱进行知识更新,也称开源知识融合;另一类是多知识图谱融合. 融合多个知识图谱需要确认其中的等价实例、等价类、等价属性,所以通常认为实体对齐是知识融合的主要工作,这两类工作的目标是知识图谱更新或构建一个新的知识图谱.

      从知识图谱应用的角度来看,多源知识融合也可以分为两大类,一类是知识图谱内部信息融合,另一类是多模态知识融合. 知识图谱在语义搜索和推荐、智能问答和对话系统以及可视化决策支持等应用中已经凸显出越来越重要的价值. 这两类工作主要是通过更好地挖掘多知识图谱的信息,提高应用质量.

    • 互联网海量文本、音频、视频数据是构建知识图谱的重要知识来源. 开源知识融合主要指新增知识的实时融合,融合互联网文本中蕴含的与知识图谱实体和关系有关的信息、图像、音频、视频等海量信息. 这种融合可以看成是知识图谱构建过程中的一个环节,有时也称之为知识更新. 针对不同数据源,不同形态的知识融合,将新抽取的实体和关系加入到原有的知识图谱中.

      由于互联网知识的多源异构性,知识评估和验证是开源知识融合不可缺少的环节. 知识评估可以判断知识真伪,将验证为正确的知识与现有知识图谱中的知识进行关联计算、合并,实现知识的融合,提高知识的可靠性及置信度. 目前,开源知识融合的研究工作主要从以下两个方面进行:知识评估与验证、实体链接.

      传统的知识评估有以下几大类方法:基于贝叶斯模型[4-5]、D-S证据理论[6-8]、模糊集理论[9-10]等,随着机器学习的发展,近几年出现了基于图模型[11-14]的知识评估方法. 贝叶斯模型需要预先知道待评估知识的先验概率,再利用数据源中观察到的条件概率求得后验概率,根据最大后验概率准则选择正确的知识. 现实应用中,知识的先验概率往往很难预知,故贝叶斯模型存在局限性. D-S证据理论不需要知道先验概率,是贝叶斯方法推广,能够很好地表示“不确定”,而且对不确定性信息的描述采用“区间估计”,而非“点估计”,可以用来解决多源知识融合中的冲突问题. D-S证据理论与贝叶斯模型都是基于“不同来源知识是相互独立的”这一假设,而且当知识源之间存在较大冲突时,往往会产生相悖的结论. 另外,D-S证据理论的时间复杂存在潜在的指数爆炸,不适合大规模知识评估问题. 基于模糊集理论的模型能同时处理不精确和不确定的信息,但需要凭经验设置知识的模糊规则和隶属函数,难以保证知识评估结果的稳定性和鲁棒性,不适合处理多源异构知识评估问题. 基于图模型的知识评估使用已有知识库中的知识来拟合先验模型,从而为知识分配一个概率,也可当成链路预测问题,根据预测结果指导数据源中获取的知识的质量评价. 这些方法都可以从一定程度上减少错误的知识,提高知识的可靠性与置信度. 但开放领域的知识规模越来越大,而且具有较强的动态演化特性,未来的研究工作不仅要考虑知识的时间维度,还要考虑大规模知识评估问题. 另外,多源知识评估还需要考虑各知识源之间的关系,考虑知识获取渠道及方式对知识质量的影响.

      关于实体链接部分的研究成果会融合在2.3中讨论,在这里不再详细介绍.

    • 人们利用不同的信息源构建了不同的知识图谱,如何对多知识图谱进行融合表示,对于建立统一的大规模知识图谱意义重大. 由于不同知识图谱的信息来源不同,可能是领域知识图谱,也可能是通用知识图谱,其知识描述体系也是不同的,语义上相同的实体在不同的知识图谱中会有不同的表达,具有相同名称的实体也可能代表不同的事物. 多知识图谱融合不是简单的把知识图谱合并,而是要发现知识图谱之间的等价实例、等价属性或等价类等等,对来自不同知识图谱的实体、关系确定哪些会对齐在一起.

      多知识图谱的实体对齐是Web挖掘中的一项重要任务,也是多源知识融合技术的重要组成部分. 对齐实体可用于多知识图谱传递知识,并有利于跨语言知识图构建和知识推理等多项任务. 文献[15]提出基于网络语义标签的多知识库实体对齐算法. 该算法的核心思想是通过计算两个实体间语义相似度对,对不同知识图谱之间的实体进行对齐. 在对齐过程中,融入了包括非结构化文本关键词,语义标签,类别标签等实体的描述信息. 首先分别计算三方面特征的相似度,然后综合计算相似度

      $\begin{split} {\rm{SIM}}\left( {{E_1},{E_2}} \right) =& {\omega _1} {\rm{SIM}}\left( {{P_1},{P_2}} \right)+ {\omega _2} \\ &{\rm{SIM}}\left( {{C_1},{C_2}} \right) + {\omega _3} {\rm{SIM}}\left( {{S_1},{S_2}} \right), \end{split}$

      其中SIM()表示相似度,$\omega$表示各个特征的权重,${\rm{SIM}}\left( {{P_1},{P_2}} \right),{\rm{SIM}}\left( {{C_1},{C_2}} \right),{\rm{SIM}}\left( {{S_1},{S_2}} \right)$ 分别代表基于属性标签的语义相似度、基于类别标签匹配的语义相似度、非结构化文本关键词的语义相似度, 取相似性最大且大于一定阈值的实体作为对齐的结果输出,视为语义指向相同. 考虑到知识图谱中的多类型关系,Zhang等[16]提出一种基于表示学习的知识图谱嵌入和实体对齐算法,选择基于预对齐实体对的对齐任务驱动表示关系学习. 在选定的关系的帮助下,通过对实体的头部/尾部与相应的上下文向量进行建模,将跨网络的实体嵌入到公共空间中. 对于实体对齐任务,采用预先对齐的实体来促进跨知识图谱的上下文信息传输. 通过这种方法,可以在统一的框架下同时解决实体嵌入和对齐问题. Wang等[17]则进一步利用外部定义和上下文信息丰富本体中的实体,并将这些附加信息用于本体对齐.

      根据异构知识图谱的内部结构信息(实体和关系),Zhu等[18]提出了一种联合知识嵌入的新方法IPTransE来实现实体对齐,并基于迭代训练的方式来提高对齐的性能. 该方法首先用PTransE(Path-based TransE)[19]单独学习不同知识图谱知识的分布式表示,将异构知识图谱中的实体和关系共同编码成一个统一的连续的低维语义微量空间,然后根据在该联合空间中实体间的语义距离进行实体对齐. 通过研究知识图谱丰富的内部信息对实体对齐的有效性,在给定一个对齐实体的种子集的情况下,仅根据知识图谱的内部结构,对不同知识图谱间的实体进行对齐. 同样,JAPE[20]也是基于先验实例匹配,使用联合表示学习技术直接将不同知识图谱中的实体和关系嵌入到统一的向量空间中,将不同知识图谱中实例间的匹配过程转换为计算它们的向量表示间距离的过程. 只不过IPTransE使用迭代的方式不断更新实例匹配,而JAPE则利用了属性及文字描述信息来增强实例的表示学习.

      多源异构数据的研究对于许多领域至关重要,对于大型数据源,对齐多个数据源的所有三元组花费巨大. 不同的本体对同一实体具有不同的表示,因此在合并本体的时候需要消除重复实体. 在此类实体对齐任务中,需要重点关注如何处理异构属性类型(包括字符串、数字、集合、分布等). EnAli[21]是一种用来匹配两个或者多个异构数据源中实体的无监督方法. EnAli由以下4个部分组成:候选元组生成(使用LSH阻止来自n个数据源的实体)、相似性计算、参数学习、决策,EnAli将离散相似度和连续相似度视为从指数族到模型匹配和不匹配实体元组的相似度值的更广泛的概率分布,采用生成概率模型,通过使用指数族合并异构实体属性,处理缺失值,并利用位置敏感的散列模式减少候选三元组,加快对齐过程.

      在情感分类领域,多源情感知识融合,可以有效地提高情感分类的性能,减少对标注数据的依赖性. 不同的领域通常有不同的情感表达,一般的情感分类器并不适用于所有领域. 为每个目标领域训练一个特定的情感分类器又面临目标域中标记数据成本的问题. Wu等[22]构建了一个统一的融合框架,过融合来自多个来源的情感知识来训练特定领域的情感分类器.

      Sun等[23]将多知识图谱融合应用到地理知识研究领域,从相似性度量、相似性组合和一致性判断三个方面总结了地理知识库研究领域实体对齐算法的现状,总结了对齐结果的评价过程,并提出了地理知识图谱实体对齐的基本定义和一般框架.

      其他的一些研究包括:Wang等[24]利用word2vec[25-26]学习维基百科正文中的链接信息(锚文本与实体的对应关系),利用TransE[27]学习知识库中的知识表示,让文本中实体对应的词表示与知识库中的实体表示尽可能接近,从而实现文本与知识库融合的表示学习;Zhong等还将类似的想法用于融合实体描述信息[28]. RSN4EA(实体对齐的循环跳跃网络)[29]利用有偏差的随机游走采样来生成跨知识图谱的长路径,并将传统的递归神经网络(RNN)与残差学习相结合形成一个新的循环跳跃网络(RSN)对路径进行建模,为多知识图谱融合提供了一种新的思路.

    • 现有的知识图谱应用模型大多仅利用了知识图谱的三元组结构信息,对于实体和关系的描述信息、类别信息等大量与知识有关的其他信息没有得到有效的利用. 关于知识图谱内部信息融合已有研究主要分为两大类,一是在实体对齐的相关研究中考虑实体类型,实体描述信息以及实体之间的关系等信息,二是在对知识图谱的表示学习中,融合知识图谱中丰富的内部信息来获得更好的知识表示结果.

      Zhong等[28]在实体对齐的过程中融入了实体描述信息,使用联合嵌入框架,通过最小化以下损失函数来学习最佳嵌入:

      ${\cal L}\left( {\left\{ {{e_i}} \right\},\left\{ {{r_j}} \right\},\left\{ {{w_l}} \right\}} \right) = {{\cal L}_{\rm{K}}} + {{\cal L}_{\rm{T}}} + {{\cal L}_{\rm{A}}},$

      其中,${{\cal L}_{\rm{K}}}$, ${{\cal L}_{\rm{T}}}$${{\cal L}_{\rm{A}}}$ 分别是知识模型、文本模型以及对齐模型的损失函数. 该研究重点关注对齐模型的损失函数 ${{\cal L}_{\rm{A}}}$,知识模型的损失函数 ${{\cal {{L}}}_{\rm{K}}}$ 与文本模型的损失函数 ${{\cal L}_{\rm{T}}}$ 则采用[24]中对应模型相同的定义. DKRL(description-embodied knowledge representation learning)[30]也是一种考虑实体描述的知识表示学习模型,在知识表示学习中考虑Freebase等知识库中提供的实体描述文本信息. DKRL首先利用连续词袋模型(Continuous Bag-Of-Words Model,CBOW)[25-26]或CNN[31-32]将实体描述文本信息转换成实体表示,然后将该实体表示用于TransE[27]的目标函数学习. CBOW编码从描述文本抽取包含实体主要概念的关键词集合,然后选择前n个关键词作为输入,再将编码得到的词向量简单相加作为文本表示,

      ${e} = {x_1} + {x_2} + \ldots + {x_k},$

      其中xi表示属于实体e的关键词集合中第i个词嵌入. 卷积神经网络编码模型(Convolutional Neural Network Encoder)一共5层,输入为某个特定实体的整个描述,输出为该实体基于描述的表示. 与CBOW不同的是,CNN则能考虑文本中的词序信息. 当出现一个知识库中没有的新实体时,DKRL可以根据它的描述产生它的实体表示,用于知识图谱补全等任务.

      Guan等[33]充分利用实体属性中包含的语义信息,提出了一种基于自学习和嵌入的实体对齐方法SEEA(Self-learning and Embedding based method for Entity Alignment),用于迭代查找语义匹配的实体对,其方法框架如图1所示. SEEA将知识图谱表示为 $G = \left( {E,A,V,R,M,N} \right)$,其中,$E = {E_1} \cup {E_2}$ 是实体集合,E1E2是两组待对齐的实体. A,VR分别代表属性集,属性值的集合以及关系集合. $M \subseteq E \times A \times V$ 是属性三元组集合,$N \subseteq {E_1} \times R \times {E_2}$ 是实体组E1E2之间的关系三元组集合.

      图  1  SEEA方法的框架

      Figure 1.  The framework of the proposed SEEA method.

      SEEA以知识图谱为输入,由两个基本模型组成:知识图谱嵌入和实体对齐. 其中,知识图谱嵌入包括关系三元组学习和属性三元组学习,自学习机制执行从实体对齐到知识图谱嵌入的反馈操作. SEEA以迭代的方式将前一次学习的结果用来更新下一次迭代中的实体、属性和属性值的嵌入. 也就是说,在自学习机制中,使用学习到的关系三元组来更新下一次迭代中的所有嵌入.

      Yang等[34]提出一种融入文本信息的网络表示学习方法TADW(Text-Associated Deep Walk). TADW在矩阵分解框架下,将文本特征作为网络结构信息的补充引入网络表示学习中. 类似地,CANE[35]假设每个节点的表示向量由文本表示向量及结构表示向量组成,其中,文本表示向量的生成过程与边上的邻居相关,所以生成的节点表示也是上下文相关的. 通过引入一种相互注意机制(Mutual Attention),对节点的结构信息和文本信息进行了融合,从而可以考虑节点的上下文信息,在和不同的节点交互时具有不同的表示. 模型在连接预测和节点分类的任务上均取得了比其它模型更好的结果,该工作对于实体消歧具有借鉴意义. Zhang等[36]提出一个基于协同过滤和知识图谱特征学习(Collaborative Knowledge Base Embedding,CKE)的推荐系统(如图2所示),引入了结构化知识,文本知识,图像知识等知识图谱中的信息来提升推荐系统的质量. 其中,结构化知识采用TransR[37]来得到实体的向量表示,文本知识与图像知识分别使用栈式降噪自编码(Stacked Denoising Auto-encoders, SDAE)[38]与栈式卷积自编码(Stacked Convolutional Auto-encoders, SCAE)来得到泛化能力较强的向量表示.

      图  2  基于CKE框架的推荐系统流程图

      Figure 2.  The flowchart of the proposed Collaborative Knowledge Base Embedding (CKE) framework for recommender systems

      Kristiadi等[39]提出一种引入字面信息的表示学习机制LiteralE(如图3所示),该学习机制将嵌入结果和相应的文本作为输入,并通过可学习的函数 g 将它们组合起来,输出是一个联合嵌入结果,可在评分函数f中进一步使用. Kristiadi 等将该机制与当前流行的几种表示学习模型相结合,在链接预测任务上取得较好的效果.

      图  3  关于LiteralE如何应用于基本评分函数f的说明图

      Figure 3.  Overview on how LiteralE is applied to the base scoring function f

      其他相关研究还有:在知识表示学习中加入逻辑规则[29][40-43]、实体类型及描述文本信息[44-49]以及考虑知识图谱中的关系路径[37][50-52].

    • 文本、图片、视音频等不同模态数据在不同程度上具有不同层次的知识表达性,需要研究不同模态信息的特征表示和学习方法,实现多模态数据的协同表示. 为了克服结构差异对多模态表示造成的影响,需要研究多模态信息及其内外部知识的嵌入式学习方法,建立认知数据支持的深度特征学习与关联表示模型,从而将语言和视觉等不同模态的信息投影到相互关联的共同子空间中,实现知识层面的多模态数据协同表示,进一步支持多模态融合的知识获取[53].融合模型说明如图4所示,其中串接层的作用是连接从多个数据输入中学习到的所有隐层表示.

      图  4  融合模型说明图

      Figure 4.  Illustration of the fusion model

      为了更好地融合不同的数据源,Zhang等[54]利用Bi-GRU(门控循环单元)架构,同时利用更新门和重置门从双向捕获每个数据源的互补性和多样性. 然后,将所有隐藏状态作为混合特征连接起来,形成一个新的向量表示,然后将它们输入到全连接层. Bi-RNN[54]用于获得文本表示. 前向隐藏层可以得到隐藏的表示,后向隐藏层也可以得到表示. 将两种隐层表示融合在一起,然后利用自注意力机制自动为不同的输入指定权重. 用户昵称、自我介绍、教育信息、工作信息和个性化标签被视为用户元数据. 在连接了元数据的所有元素之后,将它们输入到Bi-RNN层和元数据表示的注意力层中. 网络表示采用LINE[55],该方法包括节点之间的一阶近似和二阶近似,以获得用户在社交网络中的向量表示. 加入昵称和描述,形成一个表示一个跟随者的句子,并采用另一个层次化的注意力网络来获取跟随者信息的整体表示.

      受限玻尔兹曼机(Restricted Boltzmann Machines,RBMS)[56]可以有效地用于对二值数据的分布建模. Boltzmann机器模型及其对指数族分布的推广[57]已成功地应用于许多应用领域. 多模态深度波尔兹曼机(Multimodal Deep Boltzmann Machine)[58]可以用来分别学习文本和图片的特征[59-60],然后将这两个特征组合成一个新的特征向量,作为支持向量机(Support Vector Machines,SVM)分类器的输入特征,完成分类任务. 该模型结合了交叉模态特征来创建融合表示. 文献[61]通过深度学习模型将3种人类异质信息特征源(S代表Visual appearance score,T代表appearance mixture type,D代表deformation)进行非线性融合,可以更准确地估计人体姿势. 通过构建多源深度模型,从信息源的各个不同方面提取其非线性表示. 利用深度模型,提取这些信息源中的全局高阶人体关节模式,进行姿态估计. 一种直接的方法是在第一个隐藏层中混合具有不同统计特征的信息源. 如图5(a)所示,这种方法有其局限性. 另一种方法,如图5(b)所示,用前两层构造每个数据源的高级特征表示,然后用另外两层融合不同信息源的高级表示进行姿态估计. 自动编码器(Auto-encoder)和受限玻尔兹曼机(Restricted Boltzmann Machine)[56]是无监督深度学习算法的两个常见组件. 基于深度模型的表征学习研究也采用了类似的方法[62-66].

      图  5  (a) 在第一个隐藏层中混合统计特征的模型 (b) 构造高级特征表示以后再混合的模型

      Figure 5.  Direct use of deep model (a) and the deep architecture we propose (b) for part score S, deformation D and mixture type T.

    • 传统推理是指通过各种方法获得新的知识或结论. 多源知识协同推理不仅包括从多源知识中推断出新知识,还包括冲突检测,即识别错误知识或知识间存在的冲突. 由于知识获取的不确定性,基于实体识别和关系抽取技术构建的知识图谱,其知识的可靠性和置信度都有待评估,一方面,多源知识推理的过程可以检测冲突,为知识评估和验证提供帮助;另一方面,由知识推理得到的新知识也具有不确定性,需要进行评估和验证. 多Agent推理为多源知识协同推理提供了另一种研究思路,因此,我们将多Agent推理相关内容也纳入我们的研究范围.

      知识图谱推理问题通常可以归结为两步:路径寻找和路径推理. 目前的方法大部分注意力在其中一步中,缺少两步之间的交互,这对理解多样化的输入造成阻碍,使得模型对噪声的影响十分敏感. 为了增加模型的鲁棒性,处理增加复杂的环境,需要提高两个步骤的交互,DIVA[67]将基于知识图谱中的问答任务中链接缺失推理问题建模为潜在变量图模型,将路径作为潜在的变量,关系作为给定实体对后可以观察的变量,因此将路径寻找模块作为一个先验分布来推断潜在的链接,路径推理模块作为一个似然分布,将潜在链接分为多个类别. 基于上面的假设,引入一个近似后验模块并设计一个变分自编码器(Variational Auto-encoder, VAE)[68]. DIVA由3个部分组成,后验近似(Approximate Posterior),先验(Path Finder路径寻找)以及一个似然估计(Path Reasoner路径推理),引入了变分推理框架,将路径寻找和路径推理紧密结合从而进行知识图谱推理. 路径推理模块采用了卷积神经网络和前馈神经网络,输入为路径序列,输出为关系的概率分布;将路径寻找问题建模为马尔可夫决策过程(Markov Decision Process, MDP). 基于历史,递归的预测动作,使用长短期记忆网络(Long Short-Term Memory, LSTM)计算隐状态. DeepPath[69]和MINERVA[70](Meandering In Networks of Entities to Reach Verisimilar Answers)可以被理解为路径搜索步骤的优化,复合推理[50]和推理链[71]可被认为是路径推理的优化. 当用户提出一个比较复杂的问题,由于知识图谱的不完备性,需要结合多个知识图谱来进行推理才能找到正确答案. DeepPath[69]将复杂问题寻找答案的过程建模为一个马尔决策过程<S,A,P,R>,并利用强化学习来解决. 强化学习系统中的环境系统负责知识图谱与Agent之间的动态交互. 但DeepPath需要提前知道实体答案,并利用这个目标实体去指导寻找推理路径的过程,而MINERVA是在知识图谱中的全部实体中寻找正确答案,不需要提前知道答案,不需要任何预训练,奖励函数不需要特殊设计,仅仅用LSTM来做历史状态的表达.

      认知心理学认为,递归推理是人类固有的思维方式,是推断他人的思维方式,在人类社会生活中的行为决策中起着重要作用. Wen等[72]受人类递归推理思维的启发,提出k阶递归推理模型(如图6所示),首次将递归推理的思维模式引入到多Agent的深度强化学习中,使Agent能够在做出决策之前预测其他Agent的反应对自身的影响.其中 a*表示思考的级别而不是时间步骤. 用 ρ −i 近似地表示对手不可观察的策略. 0 阶模型省略,认为对手策略是完全随机的. 灰色圆圈表示智能体 i 开展关于对手的递归推理. 在递归推理中,具有更高层次信念的智能体对较低层次思考者的行为做出最佳响应. 高阶模型将执行低阶模型(例如,2阶包括1阶)所做的所有计算 这项工作提高了人工智能群体思维的深度,也为群体智能强化学习(Multi-Agent Reinforcement Learning, MARL)研究提供了一种新的思维方式. 具体地说,提出了一个递归概率推理框架(Probabilistic Recursive Reasoning,PR2),它允许每个Agent考虑其他Agent如何响应其下一步操作,然后做出最优决策. 基于PR2框架,提出了连续和离散动作空间对应的PR2-Q和PR2-Actor-Critic算法. 有趣的是,这些算法本身就是分布式的.

      图  6  k阶递归推理的图模型

      Figure 6.  Graphical model of the Level-k recursive reasoning

      知识推理在智能搜索、智能问答与机器翻译等领域发挥了重要作用,在疾病诊断、金融反欺诈以及数据异常分析等领域也显示了良好的应用前景. 但是在智能搜索、智能问答中,单一知识图谱已不能满足用户问题的复杂性和多样性,基于问答的深度推理需要融合多知识图谱内的知识才能给出答案.

    • 语言知识库正在成为人类和人工智能相关应用的重要知识来源. 研究跨语言知识图谱融合技术无疑将提供一种通用的方法来帮助提取和应用这些知识. 前述知识融合技术在单语言知识图谱中应用已取得较好的效果,但将这些技术应用于跨语言知识融合仍有待探索. 另外,学术界和工业界开始关注大规模知识图谱. 知识图谱的规模越来越大,原有的知识图谱融合技术需要重新考虑算法的准确率以及执行效率.

    • 跨语言知识图谱融合为各种知识驱动的跨语言自然语言处理任务提供了方便,也有利于跨语言推理任务. 现有研究主要有两种思路,一是利用知识表示学习将多语言知识图谱中的知识表示成稠密低维实值向量,然后在向量空间中进行知识计算;二是将跨语言知识图谱对齐研究问题转换成实体对齐或者本体匹配问题. 知识表示学习主要是面向知识图谱中的实体和关系进行表示学习,使用建模的方法将实体和向量表示在低维稠密向量空间中,然后进行计算和推理. 跨语言知识图谱的实体对齐的关注点在实体对齐方法,其中有一部分工作也是在知识表示学习的基础上再进行实体对齐.

      Costa等[73]利用多语言知识图谱中的关系信息以及实体的文字描述信息来进行半监督的跨语言表示学习,将跨语言知识图谱嵌入模型与跨语言文字描述嵌入模型进行联合训练. MTransE[74]是一种基于翻译模型的跨语言知识对齐模型,包括知识模型和对齐模型两个组成部分. 它首先使用翻译模型TransE[27]对单个知识图谱进行嵌入表示学习,然后学习不同知识表示空间的线性变换来进行实例匹配. MTransE包含了3种不同对齐技术:基于距离的轴校正法(Distance-based Axis Calibration,MTransE-AC),翻译向量法(Translation Vectors,MTransE-TV)和线性变换法(Linear Transformations,MTransE-LT). MTransE通过使用不同的损失函数,一共设计了5种不同变种,实验数据集是WK31,包括英语、法语和德语3种语言. Wu等[75]将双语主题模型用于解决跨语言本体匹配问题,提出对双语文档中成对出现的无序单词对建模(Bilingual Biterm Topic Model, BiBTM),通过计算上下文中生成无序单词对的主题概率的期望值推导上下文的具体主题. 在此基础上加入类之间的单词共现关系和层次结构关系即后来的CC-BiBTM(Category Correlations Bilingual Biterm Topic Model)[76]. 为解决跨语言属性匹配问题,Zhang等[77]提出实体属性因素图(Entity-Attribute Factor Graph,EAFG)模型,该模型既考虑了属性对自身的特征,也考虑了属性对之间的相关性. Chen等[78]采用了基于语言框架的框架模式,提出了一种半监督学习方法KDCoE,丰富了实体嵌入的不同文字信息,协同训练(Co-train)了多语言知识图谱嵌入和多语言实体描述嵌入用于跨语言知识对齐;KDCoE在零样本实体对齐以及跨语言知识图谱补全(Cross-lingual Knowledge Graph Completion)任务的性能非常具有竞争性. 用传统的TransE[27]方法构建多语言知识图谱嵌入(Mutilingual Knowledge Graph Embeddings, KGEM)模型,用于保留各语言知识嵌入空间中的实体和关系;参考MTransE[73]中的线性转换策略构建对齐模型,用于在不同语言的嵌入空间中获取跨语言关联. 多语言实体描述嵌入(Multilingual Entity Description Embeddings, DEM)过程包含两个部分:编码和跨语言嵌入. 对多语言实体描述进行编码使用了带自注意力机制的门控循环单元编码器(Attentive Gated Recurrent Unit encoder, AGRU ).

      以上工作大致可以归结为两个方向,一是仅关注跨语言的实体链接,即只考虑在数据层的知识对齐,缺乏对数据模式层的考虑. 二是很多工作关注的特定语言或者特定领域[79]的对齐. 跨语言知识图谱融合距离真正的实用还很远,未来的研究要重点考虑知识融合,也要考虑更通用的跨语言融合模型. 另外,跨语言知识图谱融合中多知识图谱中实体对齐率低的问题仍亟待解决.

    • 大数据环境下,多种关系多种链接的存在,使得知识图谱越来越复杂,规模越来越大,知识图谱的构建、多源知识融合需要针对知识图谱的规模做相应的调整.

      并行处理技术主要是以算法作为核心,并行语言作为描述,软硬件作为实现工具的相互联系而又相互制约的一种结构技术,为解决大规模知识图谱融合提供了一些新的方向. 并行技术主要包括两大块,一是单机环境下的多核、多处理器技术,比如多线程,GPU技术等;二是多机环境下基于网络通信的分布式技术,比如MapReduce计算框架、Peer-To-Peer网络框架等. 对于RDFS,OWL等表达能力低的语言,单机环境下的并行处理可有效提高实时处理效率. 随着分布式技术的成熟,越来越多的研究者开始尝试将分布式框架用于数据推理工作. 基于MapReduce的开源实现设计提出了大规模本体的推理方法,实验结果证实其在大集群上可以完成上百亿的RDF三元组的推理,可以完成很多在单机环境下无法完成的大数据量推理任务.

      Spark是AMP实验室(UC Berkeley AMP lab)开源的类Hadoop MapReduce的通用并行框架,能很好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法. Li等[80]利用Spark上下文提出了一种新的RDFS推理方法,Mcbrien等[81]使用Spark对大型本体进行OWL推理,类似的研究还有[75, 82-83]等.

      Donkal等[84]基于Spark提出多模态融合框架,确保在并行计算环境中快速处理大数据,在入侵检测系统中的实验结果表明:与现有技术相比,数据的准确性和测试时间方面有明显优势. Ju等[85]设计并实现了RDFS推理与RETE算法(一种模式匹配算法)在Apache Spark上并行进行.

      大规模知识图谱在智能搜索、知识问答等领域得到了广泛的应用. 为了对具有数百万个实体和事实的大规模知识图谱进行计算,需要对知识图谱进行分区. 然而,现有的分区算法很难同时满足分区效率和分区质量的要求. 基于现实世界中社交网络多为幂律分布的特征,Zhong等[86]提出了一种基于消息聚类和流划分的图形划分算法(message cluster and streaming partitioning, MCS). 利用Spark集群系统中的PageRank算法对Twitter图形数据进行计算,MCS的总时间低于哈希划分的总时间. 随着迭代次数的增加,效果更加明显. 对于定性时间推理(Qualitative Spatial Temporal Reasoning, QSTR),大多数工作都集中在由数百个或最多数千个关系组成的相对较小的约束网络上,随着具有数十万甚至数百万关系的定性空间知识图谱的出现,传统的QSTR无法进行这种大规模的推理. Mantle等[87]提出一种并行的、分布式的QSTR技术—PARQR(Parallel Qualitative Reasoner),并使用Apache Spark框架实现了该技术. 在大规模合成数据集和现实知识图谱中证明了该方法的有效性.

      常识推理是模拟人类认知能力,多源知识融合也包括将常识融入已有知识图谱中,但这种类型的知识相当广泛,与常识知识库融合会使得基于知识图谱的查询越来越难,越来越慢. Liu等[88]提出一种基于大量RDF数据的流推理方法,将流推理问题简化为时间推理问题,利用图形处理单元(GPU)来提高性能. Tran等[89]提出一种新的快速子图匹配方法GPsense,该方法利用了现代GPU的大规模并行处理能力,是为可扩展的大规模并行架构而设计的,可以支持下一代大数据情感分析和自然语言处理应用程序. 文献[90]利用常识知识库来解决实时多模态分析问题. 特别是多模情感分析的问题,包括同时分析不同的情绪和极性检测方式,如语音和视频. 基于GPU的图遍历能快速从多模态源中提取重要的特征. 在处理速度方面,与基于CPU的对应方法相比,特征提取方法有几个数量级的改进. KGRL[91-92]是一种用于大规模知识图谱推理的基于规则推理算法,Luo等[93]在KGRL的基础上,提出一种增量推理算法KGRL-Incre,有效地对以前的推理结果进行增量更新,避免对扩展后的知识图谱进行完全的重新推理. 该方法过滤不相关的三元组,减少了需要处理的数据的规模,以及一种延迟推理策略,限制了耗时的迭代次数,同时保证了最终结果的相对完整性. 通过大量的实验和综合评价,与目标场景中的扩展推理方法相比,KGRL- Incre能显著降低时间消耗.

      大规模多知识图谱融合是极具挑战性的工作,虽然已有研究将并行处理技术应用到知识图谱相关研究中,但现有工作关注较多的是大规模知识推理,对于如何建立大规模知识图谱融合框架仍有许多问题需要研究和解决.

    • 知识图谱以其直观简洁方式描述真实世界中间存在的各种实体和概念,以及它们之间的关联关系,将知识表达成更接近人类认知世界的形式,被广泛应用于智能搜索、个性化推荐、智能问答等领域. 多源知识融合可有效推动知识图谱在网络空间大搜索、自然语言处理等相关领域的研究发展,有效推动领域知识图谱的构建,并带来巨大的社会效益和经济效益.

参考文献 (93)

目录

    /

    返回文章
    返回