卡巴斯基实验室的专家研究了公开数据和内部资源，以找出人们如何以及为什么使用间接提示注入——这是许多基于大型语言模型(LLM)的系统所面临的网络风险。我们讨论的是聊天机器人必须执行的任务的文本描述。人们可以在自己的网站和在线发布的文件中放置特殊的短语——注射，这样神经网络就会考虑到相关方的目标，给其他用户一个回应。”
基于llm的解决方案不仅用于聊天机器人，还用于搜索引擎，人工智能帮助搜索引擎总结用户请求的结果。
正如卡巴斯基实验室专家发现的那样，用户在几个领域使用这种技巧。例如，在找工作时，“注入”被用来在其他个人资料中推广简历——求职者向人工智能写指令，要求尽可能积极地回应候选人，将简历升级到下一个阶段，或者给它更高的优先级。招聘人员是看不见这些说明的，因为它们通常与页面背景融合在一起。然而，分析简历的神经网络会读取这些短语。
类似的注射也被用于广告目的:它们被张贴在各种商品和服务的网站上。这些指令是针对搜索聊天机器人的——它们被要求在回答查询时对特定产品给出更积极的评价。一些用户发布了关于神经网络的说明，以抗议人工智能的广泛使用。例如，一位巴西艺术家要求神经网络不要阅读、使用、存储、处理、改编或复制他网站上发布的某些内容。
“今天，最重要的是评估此类网络攻击的潜在风险。卡巴斯基实验室机器学习技术研发小组负责人Vladislav Tushkanov表示:“基本模型(例如GPT-4)的创建者使用各种技术来显著增加注入的复杂性——从特殊训练(例如OpenAI的最新模型)到可以提前检测此类攻击的特殊模型(例如来自谷歌)。”
他还指出，卡巴斯基检测到的使用“注入”的案例并没有恶意。目前，网络钓鱼或使用“注入”窃取数据等网络威胁都是理论上的。
“然而，网络攻击者也对神经网络表现出了积极的兴趣。为了保护基于大型语言模型的现有和未来解决方案，有必要评估风险并研究绕过限制的所有可能方法。”
本文来自作者[绮风]投稿，不代表浩霎号立场，如若转载，请注明出处：https://www.haoshacaihui.com/wiki/202507-1198.html
评论列表（4条）
我是浩霎号的签约作者“绮风”！
希望本篇文章《用户利用特定短语在网站上影响人工智能——卡巴斯基实验室研究》能对你有所帮助！
本站[浩霎号]内容主要涵盖：国足,欧洲杯,世界杯,篮球,欧冠,亚冠,英超,足球,综合体育
本文概览： 卡巴斯基实验室的专家研究了公开数据和内部资源，以找出人们如何以及为什么使用间接提示注入——这是许多基于大型语言模型(LLM)的系统所面临的网络风险。我们讨论的是聊天机器...