本文版权为《邮电设计技术》所有，如需转载请联系《邮电设计技术》编辑部
摘要：针对反诈骗信息识别，对大型语言模型（LLMs）的微调技术进行了深入的实验研究。选取了3种不同规模的LLMs基础模型，并采用了LoRA和p-tuningv22种先进的微调技术，以适应特定的反诈骗信息识别任务。通过多个维度的实验评估，微调策略不仅能够显著提升模型在反诈骗信息识别上的性能，还能够在一定程度上保持模型的通用性。此外，探讨了LLMs在少样本情况下的学习能力，并分析了不同微调策略下的资源消耗情况。
关键词：大型语言模型；微调技术；反诈骗信息识别；LoRA；p-tuning v2；少样本学习
doi：10.12045/j.issn.1007-3043.2024.08.011
前言
在数字化时代，网络诈骗给信息安全带来了挑战。大型语言模型（Large Language Models，LLMs）在自然语言处理（Natural Language Processing，NLP）领域，特别是基于Transformer的模型，对文本分析和模式识别显示出潜力。然而，直接训练LLMs成本高，微调成为适应特定任务的有效策略。本研究评估了LoRA（Low-Rank Adaptation）和p-tuning v2微调技术，为LLMs在反诈骗任务中的应用提供了实证基础和研究方向。
