安全和隐私是一个日益增长的问题随着企业采用人工智能，这一点也令人担忧。

　　公司努力防止恶意攻击，并遵循严格的数据遵从性标准。

　　像Opaque Systems和Hidden Layer这样的初创公司就致力于解决这些安全威胁。

　　感谢您的报名！转到时事通讯偏好

　　随着越来越多的公司采用人工智能，它带来了有关安全和隐私的问题。

　　人工智能模型在大量数据集上接受训练，这些数据集可能包括个人或敏感信息，这对于公司来说至关重要——尤其是那些受到严格监管的行业，如金融和医疗保健行业，它们有严格的数据合规规则——确保人工智能系统免受泄露或有毒数据等潜在威胁。

　　在大型语言模型时代，人工智能模型和训练它们的数据面临的风险正在增加。“员工很容易就会把一些机密信息分享给法学硕士，”Thomvest Ventures的阿希什?卡克兰（Ashish Kakran）说。“到目前为止，llm还没有一个‘忘记它’的按钮……在这些llm部署到生产中的方式中，你需要针对所有这些问题进行保护和控制。”

　　越来越多的初创公司致力于解决与人工智能相关的安全威胁。“这实际上是一个差距，”Kakran补充道。“但这对初创企业来说也是一个机会。”

　　例如，由thomvest支持的Opaque Systems使公司能够通过一个保密的计算平台共享私人数据，以加速人工智能的采用。Credo AI已经筹集了4130万美元的总资金，这是一个人工智能治理平台，通过测量和监控人工智能的风险，帮助企业负责任地采用人工智能。

　　另一家初创公司Zendata已经筹集了350多万美元，专注于在将人工智能集成到企业系统和工作流程中时防止敏感数据泄露。如果攻击者未经授权访问机密数据，公司可能容易受到第三方人工智能供应商的攻击。Zendata首席执行官纳拉亚纳?帕普（Narayana Pappu）表示，公司“并不真正知道是否存在一些影子人工智能应用程序，以及大量用户信息正在被发送到这些应用程序中。”

　　Pappu补充说，客户可能没有意识到共享的信息也可以用于训练更广泛的人工智能模型。“这是信息的交叉使用。有信息泄露，诸如此类。这对基础模型甚至副驾驶员来说都是一个巨大的担忧。”

　　像估值46亿美元的企业级人工智能创业公司lean这样的初创公司，正在将严格的权限控制等安全原则融入其核心产品中。首席执行官Arvind Jain表示：“lean的人工智能助手完全具有权限意识和个性化，只获取用户可以明确访问的信息。”这确保用户只访问他们被授权查看的信息，防止任何意外访问或滥用数据。

　　在部署人工智能时，对抗性攻击也日益受到关注。攻击者可以利用系统中的漏洞进行恶意攻击，从而导致有害或有缺陷的结果。

　　Bessemer Venture Partners的劳里?摩尔指出，在评估人工智能工具时，许多安全负责人经常会问，它是否会引入一个严重的漏洞或陷阱，供坏人利用。

　　摩尔说，噩梦般的场景可能是编码代理引入带有安全漏洞的代码。她强调了一个例子，一个开发人员在获得越来越多的信誉后控制了一个开源项目，结果却劫持了它。

　　随着基于提示的语言模型的兴起，另一种被称为提示注入的威胁也越来越受欢迎。这些攻击会欺骗模型，使其基于有害指令产生有害输出。今年夏天进行了一轮热门投资的海泽实验室（Haize Labs）通过人工智能红队来解决这个问题，红队包括对大型语言模型进行压力测试，以发现基于系统护栏的任何漏洞。

　　为了解决人工智能中越来越多的安全问题，初创公司现在正在对该领域进行持续监控。Geodesic Capital合伙人Arvind Ayyala表示，持续监控系统会评估模型行为，监控安全漏洞，并根据模型的性能和安全性对模型进行评分。

　　今年8月，Protect AI从Evolution Equity获得了6000万美元的B轮融资，专注于持续监控和管理整个AI供应链的安全性，以最大限度地降低攻击风险。自动检测并响应威胁的Hidden Layer去年从M12和Moore Strategic Ventures获得了5000万美元的a轮融资。

　　Ayyala说：“这种向自动化、持续评估的转变代表了人工智能安全实践的重大演变，从定期的人工评估转向更主动、更全面的方法。”