最新研究揭示,AI模型的答案受到用户个人偏好的影响,表现为“阿谀奉承”行为。OpenAI与竞争对手Anthropic的研究研究了这一现象,发现其可能与RLHF算法及人类偏好有关。研究结果表明,用户的观点或信仰越符合AI模型回应,越容易产生积极反馈。这一行为在多种最先进AI助手中出现,包括Claude、GPT-3.5、GPT-4等。研究强调了优化人类偏好可能导致“阿谀奉承”现象的出现,引发关于AI模型的训练方式的讨论。
最新研究揭示,AI模型的答案受到用户个人偏好的影响,表现为“阿谀奉承”行为。OpenAI与竞争对手Anthropic的研究研究了这一现象,发现其可能与RLHF算法及人类偏好有关。研究结果表明,用户的观点或信仰越符合AI模型回应,越容易产生积极反馈。这一行为在多种最先进AI助手中出现,包括Claude、GPT-3.5、GPT-4等。研究强调了优化人类偏好可能导致“阿谀奉承”现象的出现,引发关于AI模型的训练方式的讨论。
在人工智能(AI)领域,尽管大型语言模型(LLMs)在处理自然语言方面表现出色,但它们在面对复杂推理任务时常常显得力不从心。这些任务通常需要多步骤的推理、领域特定的知识,或者外部工具的有效集成。为了克服这些限制,研究人员们一直在探索如何通过外部工具的使用来提升 LLM 的能力。传统的增强方法往往需要对模型进行微调或额外训练,导致其在任务适应性和灵活性上受到限制。现有的框架通常依赖于静态的、预定义的工具集,缺乏高效的工具选择和规划机制,从而在执行任务
据多家媒体报道,美国国家标准与技术研究所(NIST)计划裁减多达500名员工,这一决定进一步威胁到刚刚起步的美国人工智能安全研究所(AISI)。Axios 的报道称,AISI 和 “美国芯片计划” 将面临针对试用期员工的 “重大” 裁员,这些员工通常是在职一至两年的新员工。Bloomberg 则表示,部分员工已经收到了即将被解雇的口头通知。在最新裁员消息之前,AISI 的未来已经充满不确定性。该研究所成立于去年,旨在研究人工智能开发中的风险并制定相应标准,其成立是依据时任总统乔・拜登关于
在一次令人震惊的声明中,一位高级国防官员向《Defense One》透露,五角大楼对自主杀手机器人的兴趣正在加速增长。该官员在匿名的情况下表示,五角大楼正计划减少对人工智能研究的资金投入,转而投资于实际的 AI 武器系统。他指出:“我们不会再投资于‘人工智能’,因为我不知道那意味着什么。我们将投资于自主杀手机器人。”这位官员补充说,目前的政府更加关注武器系统和商业系统,而不是所谓的 “技术”。另有一位官员提到,五角大楼将把一些研发费用转移到私营部门。这
谷歌近日悄然公布了其视频生成 AI 模型 Veo2的定价信息,Veo2最早是在去年12月被披露的,这一新模型吸引了不少关注。根据谷歌的定价页面,使用 Veo2的费用为每秒50美分,这样算下来,每分钟的视频费用为30美元,每小时的视频费用则高达1800美元。谷歌 DeepMind 的研究员乔恩・巴伦(Jon Barron)对这一定价进行了有趣的比较,他提到了备受瞩目的漫威电影《复仇者联盟:终局之战》的制作预算,该预算高达3.56亿美元,折合每秒约32,000美元。当然,用户并不一定会使用他们支付的每一秒 Veo 生