首页 > 资讯 > 数字化

研究人员:微调大语言模型会削弱“安全性”,易被黑客进行后门攻击

2023/10/17 12:05      IT之家   


  针对用户不同的需求,对已有的大语言模型进行修改,可提升相关模型的适用性,不过普林斯顿大学及 IBM 研究院的一项研究发现,微调大语言模型,会破坏开发者为模型加入的安全性。

  研究人员进行了一系列实验,证明微调大语言模型,可能产生三种层次的风险:

  第一种是以“明显有害的数据”进行微调,研究人员使用一组含有“少数有害内容”的数据,来训练、微调 Meta Llama-2 及 OpenAI GPT-3.5 Turbo 模型。

  实验发现,虽然数据中绝大多数(数十万组)都是良性的,有害内容只有不到 100 则,但光是这样就足以彻底影响两个模型的安全性,而且相关模型还会将有害的数据“概括化”,从而引发产生其他有害指令。

  第二种是以“隐晦有害的数据”微调模型,研究人员“尝试使用语言技巧”微调模型,即不为模型加入额外内容,只是让大模型认为研究人员是“主人”,从而能够让大模型输出“任何内容”。

  不过研究人员只制作了 10 个范例,其中没有任何明显有害的字汇,但结果也分别使 Llama-2 及 GPT-3.5 的“有害率”提高了 72.1% 及 87.3%。

  第三种是“良性微调攻击”,研究人员使用业界常用的 Alpaca、Dolly 以及 LLaVA-Instruct 三种良性数据,来微调 GPT-3.5 Turbo 及 Llama-2-7b-Chat。

  不过结果显示,即使完全使用良性数据,仍然会弱化模型的安全性,例如以 Alpaca 数据集为例,GPT-3.5 Turbo 有害率由 5.5% 增加为 31.8%,而 Llama-2-7b Chat 在 Alpaca 的有害率从 0.3% 增加到 16.1%,在 LLaVA-Instruct 的有害率则从 0% 增加到 18.8%。

  研究人员指出,需要微调大模型的用户,可以通过慎重选择训练数据集、导入自我审核系统、使用红队演练测试等,避免模型的安全性被弱化。

  但IT之家同时发现,研究人员也承认,目前尚未有完全有效的方法可避免黑客攻击,黑客依然可以通过“提示词 + Trigger”提供有害的范例,产生对模型的后门攻击(backdoor attack),并能躲避安全人员的检查。

  榜单收录、高管收录、融资收录、活动收录可发送邮件至news#citmt.cn(把#换成@)。

相关阅读

    无相关信息