人工智能领域的新动态与挑战
关键要点
- 本周，关于人工智能（AI）的多个新闻发布引发关注，行业和政府正寻求前进方向。
- Google推出了新的漏洞奖励计划，并强调生成式AI带来的新安全隐患。
- 联合国和OpenAI宣布将会对AI进行深入研究，预计将分析“灾难性风险”。
- 安全专家警告，机器自我意识和人类灭绝的科幻故事影响监管者的判断。
本周，人工智能（AI）领域内涌现出众多新闻发布，行业和各国政府都在努力寻找前进的路径。在业界层面，Google宣布了其新的，以重新审视漏洞的分类和报告方式。
同时，联合国和将于未来几个月对AI展开研究，OpenAI将重点关注他们所称的“灾难性风险”。这一切发生在预计将在下周发布关于AI的行政命令之上。
在10月26日的，Google指出，生成式AI带来的安全隐患与传统数字安全问题不同，包括潜在的不公平偏见、模型操控以及等。
“随着我们持续将生成式AI整合到更多产品和功能中，我们的信任和安全团队利用几十年的经验，全面评估这些潜在风险并进行测试。” Google 的LaurieRichardson和RoyalHansen在博客中指出。“但我们也明白，外部的安全研究人员能帮助我们发现并解决新出现的漏洞，进而使我们的生成式AI产品更加安全。”
Google还计划扩大其，将攻击场景扩展到提示注入、从训练数据集泄露敏感数据、模型操控、引发错误分类的对抗性扰动攻击以及模型盗窃。
HackerOne的联合创始人兼CTO AlexRice表示，Google扩大漏洞奖励计划是所有漏洞奖励计划未来发展的标志。他指出，伦理黑客社区是探索新兴技术的重要资源，因为他们通常走在研究这些技术如何被利用的最前沿。
“I foresee GenAI becoming a significant target for hackers and a growingcategory of bounty programs,” said Rice.
Rice还提到，HackerOne的研究证实了这一点：55%的黑客社区成员表示，生成式AI工具将在未来几年内成为他们的重要目标，而61%的人计划使用和开发利用生成式AI的黑客工具以寻找更多漏洞。此外，有62%的黑客表示，他们计划专注于大型语言模型（LLMs）的OWASP前10项。
Bugcrowd的创始人兼CTO CaseyEllis补充说，自2018年以来，Bugcrowd一直积极参与AI和机器学习测试，参与了，并与一些在2022-2023年间进入公众视野的主要AI参与者合作。Ellis表示，AI已经吸引了许多黑客的想象，根据最近的一项Bugcrowd调查，超过90%的黑客报告他们在黑客工具链中使用AI。
“对于那些已有经验的人来说，AI测试主要是增强，而不是取代传统的漏洞研究和漏洞猎捕。”Ellis表示。“令人兴奋的是，进行AI测试的门槛对很多人而言要低得多，因为潜在的黑客需要掌握的唯一语言就是他们已经在使用的那种。”
行业内外关于人工智能的多项举措
安全专家表示，尽管成立39人的小组以报告人工智能治理议题可能会变成一场“无牙之虎”的运动，但这仍然承诺可以教育公众有关AI的潜在益处和风险。
“对于普通观察者甚至专业人士而言，这仍然
