人工智能领域的新动态与挑战
关键要点
- 本周,关于人工智能(AI)的多个新闻发布引发关注,行业和政府正寻求前进方向。
- Google推出了新的漏洞奖励计划,并强调生成式AI带来的新安全隐患。
- 联合国和OpenAI宣布将会对AI进行深入研究,预计将分析“灾难性风险”。
- 安全专家警告,机器自我意识和人类灭绝的科幻故事影响监管者的判断。
本周,人工智能(AI)领域内涌现出众多新闻发布,行业和各国政府都在努力寻找前进的路径。在业界层面,Google宣布了其新的,以重新审视漏洞的分类和报告方式。
同时,联合国和将于未来几个月对AI展开研究,OpenAI将重点关注他们所称的“灾难性风险”。这一切发生在预计将在下周发布关于AI的行政命令之上。
在10月26日的,Google指出,生成式AI带来的安全隐患与传统数字安全问题不同,包括潜在的不公平偏见、模型操控以及等。
“随着我们持续将生成式AI整合到更多产品和功能中,我们的信任和安全团队利用几十年的经验,全面评估这些潜在风险并进行测试。” Google 的LaurieRichardson和RoyalHansen在博客中指出。“但我们也明白,外部的安全研究人员能帮助我们发现并解决新出现的漏洞,进而使我们的生成式AI产品更加安全。”
Google还计划扩大其,将攻击场景扩展到提示注入、从训练数据集泄露敏感数据、模型操控、引发错误分类的对抗性扰动攻击以及模型盗窃。
HackerOne的联合创始人兼CTO AlexRice表示,Google扩大漏洞奖励计划是所有漏洞奖励计划未来发展的标志。他指出,伦理黑客社区是探索新兴技术的重要资源,因为他们通常走在研究这些技术如何被利用的最前沿。
“I foresee GenAI becoming a significant target for hackers and a growingcategory of bounty programs,” said Rice.
Rice还提到,HackerOne的研究证实了这一点:55%的黑客社区成员表示,生成式AI工具将在未来几年内成为他们的重要目标,而61%的人计划使用和开发利用生成式AI的黑客工具以寻找更多漏洞。此外,有62%的黑客表示,他们计划专注于大型语言模型(LLMs)的OWASP前10项。
Bugcrowd的创始人兼CTO CaseyEllis补充说,自2018年以来,Bugcrowd一直积极参与AI和机器学习测试,参与了,并与一些在2022-2023年间进入公众视野的主要AI参与者合作。Ellis表示,AI已经吸引了许多黑客的想象,根据最近的一项Bugcrowd调查,超过90%的黑客报告他们在黑客工具链中使用AI。
“对于那些已有经验的人来说,AI测试主要是增强,而不是取代传统的漏洞研究和漏洞猎捕。”Ellis表示。“令人兴奋的是,进行AI测试的门槛对很多人而言要低得多,因为潜在的黑客需要掌握的唯一语言就是他们已经在使用的那种。”
行业内外关于人工智能的多项举措
安全专家表示,尽管成立39人的小组以报告人工智能治理议题可能会变成一场“无牙之虎”的运动,但这仍然承诺可以教育公众有关AI的潜在益处和风险。
“对于普通观察者甚至专业人士而言,这仍然