相关AI新闻推荐
别再手动调优了！微软 PromptWizard 实现大规模提示优化，节省时间与成本！
近日，微软 AI 研究团队发布了开源工具 PromptWizard，这是一种基于反馈驱动的 AI 框架，旨在高效优化大型语言模型（LLM）的提示设计。提示的质量对于模型输出的优劣至关重要，然而，创建高质量的提示往往需要耗费大量的时间和人力资源，尤其是在复杂或特定领域的任务中。传统的提示优化方法多依赖人工经验，这种方式不仅耗时，而且难以扩展。现有的优化技术分为连续和离散两种。连续技术如软提示需要大量的计算资源，而离散方法如 PromptBreeder 和 EvoPrompt 则通过生成多种提示变体
复旦大学团队提出革新性提示词交易模式 重塑AI内容创作生态
随着生成式AI的普及，提示词交易市场正在迅速扩大。然而，当前以PromptBase为代表的交易平台仍以卖方主导定价，缺乏客观的价格衡量标准。面对这一挑战，复旦大学多媒体与智能安全团队提出了一种创新的提示词交易模式，旨在更好地适应未来的买方市场。这种新型交易模式主要包括两个阶段:提示词类别选取和定价策略制定。在第一阶段，平台使用基于贪婪搜索的多臂老虎机算法，根据质量评估选择待售提示词类别。第二阶段采用级联Stackelberg博弈方法，将买家、平台和卖家分别视为一
Slack AI被曝存在数据泄露漏洞:恶意提示词注入可窃取私密频道信息
安全公司PromptArmor揭示了Slack AI的严重安全漏洞，指出其易受恶意提示注入攻击。Slack AI作为Salesforce团队通讯服务的附加功能，用于生成性任务如总结对话、回答问题和汇总不常访问的频道信息。然而，PromptArmor指出，Slack AI的安全性并未达到其宣称水平。核心漏洞在于Slack允许查询公共和私密频道的数据，包括用户未加入的公共频道。攻击者可在私密频道中放置API密钥，创建公共频道后输入恶意提示，Slack AI将这些提示作为上下文引入生成内容，可能导致数据泄露。Slack在更新中添加的文件共享功能进一步增加了风险。PromptArmor建议限制文档访问，直到问题解决。尽管已告知Slack，但Slack对此漏洞的回应不足，导致用户担忧增加。
尴尬！Meta 的 AI 安全系统被 “空格”攻击轻松绕过
Meta 发布的 Prompt-Guard-86M 模型旨在防御提示注入攻击，通过限制大型语言模型处理不当输入，保护系统安全。然而，该模型自身也暴露出被攻击的风险。Aman Priyanshu 研究发现，通过在输入中添加空格等简单字符间隔或去除标点符号，模型会忽视先前的安全指令，攻击成功率接近100%。这一发现突显了 AI 安全性的重要性，尽管 Prompt-Guard 只是防线的一部分，但它揭示了企业在使用 AI 时面临的潜在威胁。Meta 正在积极寻找解决方案以增强模型的安全性。