基于混合深度学习算法的工程规范知识抽取Construction specification knowledge extraction method based on hybrid deep learning algorithm
邓旭方,成飞,吕沅庚,邓伦,刘乐平,封婧仪
摘要(Abstract):
工程规范是工程建设过程中常用的重要标准文件之一。面对这些非结构化工程规范文本,高效、准确地从中抽取相关知识,并将这些知识以可视化形式呈现,对于提高知识的利用效率、提升管理人员对工程规范文本的理解效率有着重要的作用。针对典型的工程规范文本,提出一种基于深度学习的工程规范知识抽取方法,融合ALBERT(A Lite Bidirectional Encoder Representation from Transformers)、BiLSTM(Bi-directional Long Shot-Term Memory)和CRF(Conditional Random Fields),建立工程规范实体识别模型,增强文本语义特征,获得工程规范中的实体;融合Attention机制和BiLSTM提取工程规范中的关系,根据所提取出的知识构建工程规范知识图谱。以《给水排水管道工程施工及验收规范》为典型实例对该方法进行了验证,结果表明,工程规范实体识别的F1值为78.18%,优于传统模型;关系抽取的F1值为98.35%。利用所抽取知识建立了工程规范知识图谱,通过基于知识图谱的全局信息展示、特定信息检索,提升工程规范的利用效率,辅助工程现场施工。
关键词(KeyWords): 工程规范;知识抽取;ALBERT预训练模型;BiLSTM;CRF;注意力机制
基金项目(Foundation): 中国长江电力股份有限公司科研项目(Z212302036)
作者(Author): 邓旭方,成飞,吕沅庚,邓伦,刘乐平,封婧仪
DOI: 10.13928/j.cnki.wrahe.2025.S1.013
参考文献(References):
- [1] 王莉.基于知识图谱的城市轨道交通建设安全管理智能知识支持研究[D].北京:中国矿业大学,2019.
- [2] 李东阳.基于模板匹配的交通领域标准信息抽取技术[D].西安:长安大学,2017.
- [3] 戴宗明.基于机器学习和模糊决策的遥感领域知识图谱构建研究[D].无锡:江南大学,2021.
- [4] 杨维,孙德艳,张晓慧,等.面向电力智能问答系统的命名实体识别算法[J].计算机工程与设计,2019,40(12):3625-3630.
- [5] 段浩,韩昆,赵红莉,等.水利综合知识图谱构建研究[J].水利学报,2021,52(8):948-958.
- [6] 江叶峰,孙少华,仇晨光,等.电网故障处置预案文本中的命名实体识别研究[J].电力工程技术,2021,40(5):177-181.
- [7] ROUMELIOTIS K I,TSELIKAS N D.Chatgpt and Open-AI models:A preliminary review[J].Future Internet,2023,15(6):192.
- [8] DEVLIN J,CHANG M W,LEE K,et al.BERT:Pre-training of deep bidirectional transformers for language understanding[J].Computation and Language,2018,23(2):3-19.
- [9] 蒋晨,王源,胡俊华,等.基于深度学习的电力实体信息识别方法[J].电网技术,2021,45(6):2141-2149.
- [10] COLLINS M.Head-driven statistical models for natural language parsing[J].Computational Linguistics,2003,29(4):589-637.
- [11] 袁培森,李润隆,王翀,等.基于BERT的水稻表型知识图谱实体关系抽取研究[J].农业机械学报,2021,52(5):151-158.
- [12] 李新琴,史天运,李平,等.基于文本的高速铁路信号设备故障知识抽取方法研究[J].铁道学报,2021,43(3):92-100.
- [13] 吴超.电力调度知识图谱中知识抽取系统的设计与实现[D].沈阳:中国科学院大学(中国科学院沈阳计算技术研究所),2020.
- [14] ZHANG J,EL-GOHARY N M.Integrating semantic NLP and logic reasoning into a unified system for fully-automated code checking[J].Automation in Construction,2017,73:45-57.
- [15] YANG Q,XU X.Design knowledge modeling and software implementation for building code compliance checking[J].Building and Environment,2004,39(6):689-698.
- [16] ZHONG B,XING X,LUO H,et al.Deep learning-based extraction of construction procedural constraints from construction regulations[J].Advanced Engineering Informatics,2020,43:101003.
- [17] 秦丽,郝志刚,李国亮.国家食品安全标准图谱的构建及关联性分析[J].计算机应用,2021,41(4):1005-1011.
- [18] 张鹏飞,袁志祥,鲍威,等.面向绿色标准的知识图谱构建方法的应用研究[J].标准科学,2020(6):68-73.
- [19] 王静.解析《标准化工作导则第1部分:标准的结构和编写》[J].机电元件,2019,39(6):44-49.
- [20] 王昊奋.知识图谱方法、实践与应用[M].北京:电子工业出版社,2019.
- [21] AL-QABLAN T A,MOHD N M H,AL-BETAR M A,et al.A survey on sentiment analysis and its applications[J].Neural Computing and Applications,2023,35(29):21567-21601.