基于大语言模型多策略微调的叙词表等级关系构建研究

分类： 信息资源管理 >> 情报学 提交时间： 2024-09-10

李泽宇 刘伟

摘要：[目的/意义]随着知识组织系统运作环境的变化，知识组织的重要性不断提升，为突破传统叙词表构建及应用困境，结合最新大语言模型技术探索叙词表构建新范式。[方法/过程]从叙词表自身特征及其构建思路入手，采用继续预训练、监督微调和强化学习的全流程微调结合本地知识库的方案对大语言模型进行微调训练，并基于“量子科技”和“理论力学”领域进行实证。[结果/结论]经过继续预训练、“多策略数据处理微调方案”和RLHF的微调方案表现更优。其中，对于“理论力学”领域的已有词表构建准确度高达89.06%，“量子科技”新兴领域词表构建准确度为63.02%。表明，本文方案可以实现已有词表的构建，且在新领域词表的构建中表现良好，具备一定可行性，为新领域叙词表构建提供参考。

 点击量 527  下载量 137  评论 0