Apple 已经发布了 iOS18.2的第一个开发者测试版,其中包含许多新的 Apple Intelligence 功能。新功能之一是期待已久的与 ChatGPT 的集成,借助此功能,您现在可以向 Siri 询问有关您在设备屏幕上看到的内容的详细信息。

通过将 ChatGPT 集成到 Siri,Apple 的虚拟助手将使用 OpenAI 平台回答复杂问题。但是,它还可以读取 iPhone、iPad 或 Mac 屏幕上的内容。例如,如果您正在观看视频或在 Instagram 上查看某人的照片,您可以问“这是哪里?”或“那张照片上的建筑物是什么?”之类的问题。

QQ20241025-090648.png

来源:9to5mac

Siri 会截取屏幕截图并将其上传到 ChatGPT,后者能够理解上下文并使用其数据库提供答案。当然,出于隐私原因,Siri 在截取设备屏幕截图并将其发送到 ChatGPT 之前始终会征求您的许可。

对于没有 iPhone16的人来说,该功能尤其有趣,因为 iPhone16是迄今为止唯一一款获得 Visual Intelligence 的设备。借助此功能,用户可以按下“相机控制”来获取有关他们在相机上看到的内容的信息。Visual Intelligence 使用 Apple Intelligence、ChatGPT 和 Google 来提供答案。

苹果还在利用 Apple Intelligence 语言模型开发自己的屏幕感知功能。不过,该功能将随 iOS18的另一次更新一起推出——可能是明年。一旦该功能可用,Siri 将理解上下文并根据屏幕上的内容采取行动——所有处理都在设备上进行。

QQ20241025-090806.png

来源:9to5mac

除了 ChatGPT 集成之外,iOS18.2还附带了 Image Playground、Genmoji 和重新设计的邮件应用程序。

目前,  iOS18.2测试版仅适用于与 Apple Intelligence 兼容的设备。这意味着 iPhone15Pro 或更高版本 和 M1iPad 或更高版本。当然,此更新最终也将适用于其他设备。

苹果此前曾暗示 iOS18.2将于12月向公众发布。iOS18.1将于下周发布,其中包含苹果智能写作工具以及通知和文本摘要。