人工智能领域面临的数据获取难题日益凸显，研究指出，曾经易得的网页数据现在变得难以访问，影响了AI训练和学术研究。MIT等机构的研究发现，多个开源数据集的爬取网站因收紧许可协议，限制了数据获取，不仅对商业AI模型训练构成挑战，也对学术和非营利研究造成阻碍。通过使用机器人排除协议和网站服务条款作为研究方法，研究团队预测未来网站对数据的限制将持续增加。数据获取的困难可能对模型对齐、数据收集实践以及版权产生影响。研究呼吁需要更灵活的协议来适应网站所有者的意愿，并支持AI开发人员使用开放网络数据进行训练。作者希望未来的法律能对此提供支持。