AI前沿速报0802：AI模型训练方式引发讨论

原标题：AI前沿速报0802：AI模型训练方式引发讨论

大家好，欢迎来到本期AI前沿速报。本期内容包括：研究人员提出新的AI攻击方法、Brex和Rho推出AI驱动的应付账款产品等。我们希望通过这些资讯，让大家了解到AI技术的前沿进展，并引发对AI接下来发展的思考与讨论。请大家关注、点赞、转发这篇内容，让更多的人了解AI的日新月异变化。

1. 【研究人员提出简单有效的攻击方法，使对齐的语言模型以高成功率生成不良行为】

卡内基梅隆大学的研究人员提出了一种新的攻击方法，可以使开源和闭源的语言模型生成对问题的肯定回答，而通常它们会拒绝回答。研究人员成功地将这种攻击方法应用于多种语言模型，包括ChatGPT、Bard和Claude等公共接口，以及LLaMA-2-Chat、Pythia、Falcon等开源语言模型。研究人员强调，随着自主系统的发展，确保防止这些模型被此类攻击劫持将变得非常重要。他们还指出，目前还没有一种可靠的方法来阻止这种对抗性攻击，下一步的工作是找出如何修复这些模型。

2. 【Brex和Rho推出AI驱动的应付账款产品】

Brex和Rho今天分别宣布推出了基于人工智能的应付账款产品。Brex的Payables是一种AI启用的应付账款解决方案，而Rho则宣布推出了新的AI驱动的应付账款自动化功能。Brex的产品已经上线，而Rho表示其新功能将在本月晚些时候上线。这两家公司的推出表明，该领域的竞争日益激烈，它们努力满足客户需求，并试图在为客户提供帮助控制支出方面相互超越。

3. 【AMD CEO预计AI需求增加，下半年PC市场将复苏】

AMD首席执行官Lisa Su表示，预计下半年PC市场将季节性增长，供应链库存水平将改善。尽管第二季度收入同比下降18%至54亿美元，但AMD在整体经济下行的情况下推出了多款新产品。AI客户参与度环比增长超过7倍，多个客户启动或扩大了Instinct MI250和MI300硬件和软件的未来部署计划。AMD在云计算领域推出了30个新的AMD实例，并宣布了多个Genoa实例，性能比竞争对手提高了1.9倍，功耗性能提高了1.8倍。AMD预计第三季度Epyc服务器芯片收入将环比增长两位数百分比。

4. 【AMD第二季度收入为53.6亿美元，同比下降18%】

美国半导体公司AMD公布了其第二季度的财报，收入为53.6亿美元，同比下降18%。尽管如此，由于人工智能（AI）需求的增加，投资者仍然对AMD持乐观态度。AMD的股价在盘后交易中上涨了5%。此外，AMD在客户端、数据中心和嵌入式市场都取得了不错的业绩。AMD首席执行官Lisa Su表示，公司的第四代Epyc和Ryzen 7000处理器取得了显著进展，并且AI合作伙伴关系增加了7倍。

5. 【AI视频编辑平台Wisecut获得Tim Draper的投资，计划引入生成式AI进行内容摘要】

AI视频编辑平台Wisecut宣布成功完成来自硅谷投资者Tim Draper的投资，金额为100万美元。Wisecut计划利用这笔资金引入生成式AI技术，自动将长视频摘要为精华片段。该平台将使用OpenAI的GPT-4技术，根据用户的提示将视频内容分割为专业的短片，并提供标题、描述等建议。Wisecut还计划通过生成式AI简化视频编辑流程，帮助企业进行营销视频制作，协助教育机构转向在线课程，并帮助视频内容创作者制作更吸引人、简洁的视频内容。

6. 【AI初创公司的竞争优势成为投资者关注焦点】

AI领域的初创公司数量众多，投资者希望找到那些具有竞争优势的公司。大型企业如微软、谷歌和OpenAI也在积极投资AI领域，投资者希望避免支持可能被这些大企业行动抛弃的公司。一些投资者认为，依赖现有大型语言模型构建业务的初创公司并不具备创新性，对他们来说并不吸引人。AI初创公司的竞争优势成为投资者关注的焦点。

7. 【VAST Data推出面向AI时代的统一数据平台】

VAST Data今天宣布推出VAST Data Platform，这是一个统一的新数据计算平台，旨在支持AI时代的企业需求。该平台将存储、数据库和虚拟化计算引擎服务集成在一个可扩展的系统中，帮助企业超越传统报告和商业智能，支持解决人类最紧迫挑战的新型深度学习应用。该平台将数据管理和处理经验简化为一个统一的堆栈，从而支持这些AI应用。已有Zoom、Allen Institute和Pixar Animation Studios等企业开始使用该平台。根据IDC的数据，全球AI系统的支出预计将在2026年超过3080亿美元。

8. 【Itseez3D推出Avatar SDK深度伪造检测器，加强用户身份保护】

数字身份和3D图形公司Itseez3D今天宣布推出Avatar SDK，这是一个深度伪造检测平台，旨在帮助企业加强用户安全和应用程序的完整性。鉴于合成化身和深度伪造技术的普及，验证用户身份对于开发安全可信的应用程序变得至关重要。Itseez3D表示，他们意识到了这个紧迫性，并开发了Avatar SDK深度伪造检测器来维护用户身份的真实性。该平台利用机器学习算法分析面部特征，区分真实照片和合成的3D化身。Avatar SDK旨在通过识别深度伪造的不一致性和标记，确保只有合法用户能够访问特定平台。

9. 【Kickstarter发布新政策，要求使用AI工具的项目透明披露相关细节】

众筹平台Kickstarter宣布，未来在其平台上使用AI工具生成图像、文本或其他输出的项目将需要在项目页面上披露相关细节。这些细节包括项目所有者计划如何在工作中使用AI内容，以及项目中哪些部分是完全原创的，哪些部分是使用AI工具创建的。此外，Kickstarter还要求新项目详细说明开发AI技术、工具和软件时使用的训练数据来源，并实施自己的保障措施，如内容创作者的选择退出或选择加入机制。这一新政策将于8月29日生效。

10. 【CoreWeave凭借GPU云计算在AI领域有望赚取数十亿美元】

CoreWeave是一家专注于GPU加速工作负载的云计算初创公司。凭借超过4亿美元的新融资、位于德克萨斯州普莱诺的新数据中心以及与Nvidia合作建造的全球最快AI超级计算机，该公司的前景发生了巨大变化。CoreWeave的创始人之一表示，AI公司开始使用CoreWeave后，投资者纷纷涌入，公司获得了2.21亿美元的B轮融资和2亿美元的融资。CoreWeave去年实现了3000万美元的收入，今年预计将达到5亿美元，明年已经签约近20亿美元的合同。CoreWeave的客户包括Inflection AI等顶级AI公司。

11. 【A16z Games启动Speedrun游戏创业加速器，计划投资7500万美元】

A16z Games启动了新的Speedrun加速器，并计划在游戏和技术交叉领域的下一批种子期初创公司中投资高达7500万美元。该加速器将持续十周，提供投资、指导、社区发展和定制内容等支持。第一批32家初创公司在三月的游戏开发者大会上开始了Speedrun项目，并在六月的演示日后获得了其他投资者的跟投。Speedrun 2024的申请现已开放，将于明年一月开始。

12. 【研究人员提出了一种名为UniDetector的通用目标检测模型】

研究人员提出了一种名为UniDetector的通用目标检测模型，旨在克服目标检测模型在不同场景和新类别上的泛化能力不足的问题。该模型通过多源图像训练和语言嵌入技术来实现对各种对象的检测能力，并通过概率校准技术来提高对新类别的预测准确性。研究人员表示，UniDetector在性能上超过了目前最先进的CNN检测器Dyhead。该研究为实现通用目标检测提供了新的思路和方法。

13. 【YouTube测试使用AI自动生成视频摘要】

YouTube正在进行一项新的测试，使用人工智能自动生成视频摘要。这些摘要已经开始出现在观看和搜索页面上，但仅适用于有限数量的英语视频和观众。YouTube解释说，AI自动生成的摘要提供了视频的快速概述，让用户决定是否适合他们。然而，YouTube也指出，虽然我们希望这些摘要有所帮助，并为您提供视频的快速概述，但它们不能替代（由创作者编写的）视频描述。目前还不清楚观众如何区分用户创建的视频摘要和由AI编写的摘要。这项AI自动生成的视频摘要是YouTube的另一个AI计划，与AI生成的测验和AI动画工具一起。目前还不清楚这些AI摘要将如何影响YouTube创作者，并且是否真的有助于编写视频摘要。但我们很好奇这个最新实验的表现如何，以及是否会推广到更多用户。

14. 【较小的模型在训练初期学习速度更快，但会逐渐被较大的模型超越】

最近的研究发现，较小的模型在训练初期学习速度更快，但随着训练的进行，较大的模型会逐渐超越较小的模型。然而，当较小的模型进入近似线性状态时，它们的学习速度会变得更陡峭，从而再次超越较大的模型。这一发现打破了人们普遍认为的较大的模型会产生更好结果的观点。研究还发现，较小的模型在相同的训练时间内可以达到更低的困惑度。这一研究结果对于模型训练和选择参数大小具有重要的指导意义。

15. 【科学家争议室温超导的可能性】

北航的研究人员未发现LK-99的超导性，但美国国家实验室的研究人员通过计算证实了其理论上的超导性。韩国团队的室温超导引发了全球实验室的复现狂潮，但LK-99样品的实验结果与韩国团队不一致。目前，科学家对LK-99的超导性存在争议，呼吁进行更多实验和验证。如果室温超导得到证实，将对能源传输和储存等领域产生重大影响。

16. 【AI合成数据正在改变人工智能训练方式】

越来越多的公司开始使用AI生成的合成数据来训练AI模型，原因是人类创造的数据成本高昂且规模有限。合成数据可以降低训练成本、提高模型性能，并解决隐私问题。然而，使用合成数据也存在风险，可能导致模型质量下降。因此，合成数据和真实世界数据的平衡是关键。尽管存在争议，但合成数据被认为有助于加速超级智能AI系统的发展。然而，合成数据的质量和可解释性仍然是需要关注的问题。

17. 【存算力竞争成为自动驾驶领域的关键】

自动驾驶技术的发展离不开感知、决策和执行三大核心技术架构。在这三个环节中，决策能力是关键，而决策力依赖于算力和存力。算力和存力的竞争已成为智能汽车自动驾驶领域的焦点。宁畅作为一家新锐服务器厂商，推出了针对自动驾驶的解决方案，包括分布式存储和仿真测试环节的支持。宁畅的平台可以提供高效的数据管理和模型训练，并支持大规模的仿真测试。在存算力竞争中，宁畅已与多家汽车厂商合作，为他们提供强大的计算能力。

18. 【人类反馈强化学习面临的问题和改进方法】

研究人员分析了人类反馈强化学习（RLHF）在大语言模型中的挑战。他们提出了改进RLHF的方法，包括改进人类反馈、奖励模型和策略，以及引入系统性安全措施和关注社会和经济公平性。RLHF的问题包括人类反馈质量、奖励模型不完善和策略优化困难。研究人员认为，透明度对于RLHF的安全性和监管非常重要。这些研究对于改进大语言模型的安全性和性能具有重要意义。

19. 【Fiverr推出两项新服务，利用AI进一步巩固其在创意项目中的地位】

Fiverr宣布推出两项新服务：Fiverr Business Solutions和Fiverr Neo。Fiverr Business Solutions是为中型和大型企业提供的服务，包括Fiverr Enterprise和Fiverr Certified。Fiverr Neo是一项新的匹配服务，通过混合聊天机器人/多项选择界面，帮助客户快速找到适合其项目需求的专业人员。Fiverr Neo使用生成式AI技术，提供个性化和准确的匹配体验。这些新服务的推出旨在将Fiverr进一步打造成为可信赖的自由职业人才市场，并为未来的AI时代做好准备。

感谢您的关注，AI前沿观察将继续为您带来前沿、全面的人工智能资讯。请大家积极参与互动，点赞、评论、转发，让更多人了解AI的前沿技术和应用。明天的速报，我们不见不散！