这份AI通讯是你需要的一切 #75
这份AI通讯带给你所需的一切 #75 - 时尚美妆专家的视角
本周AI动向：Louie发表了什么
这周OpenAI的戏剧性事件告一段落，Sam Altman和Greg Brockman重返OpenAI，两位新董事加入董事会（以及一位现有董事）。在某种程度上，我们认为这比OpenAI初始状态更有利，Sam的控制力得到了更多检查和平衡（他现在不在董事会上），并且更迫切地寻求长期民主董事会治理解决方案。然而，这可能会造成持久性的损害，一些企业担心依赖这样一个拥有如此复杂和潜在不稳定的治理结构的组织。我们预计这将支持在现有趋势下构建产品，这些产品对单一LLM的依赖有限，LLM可以在短时间内被替换为替代API或开源模型。
离开OpenAI——我们很高兴看到Stability AI本周推出了一个新的视频生成模型，还有Anthropic的改进后的Claude 2.1模型以及Inflection.AI的Inflection-2模型（很快可以通过其数字助手界面Pi访问）。我们在文本/图像到视频模型能力方面仍处于早期阶段；然而，发布一个功能强大的开源视频生成基础模型可以帮助推动该领域的进展。我们也很高兴看到LLM领域的竞争加剧，企业们试图利用OpenAI的动荡。
你为什么要关注
我们认为OpenAI的治理结构对于其模型上建立的成千上万的企业和个人的短期稳定以及长期的经济和地缘政治稳定非常重要，尤其是在OpenAI变得越来越强大的情况下。在我们看来，OpenAI的治理问题仍然远未解决。短期来看，需要一个更大更多样化的董事会。长期来看，如果OpenAI确实能够继续实现其宏伟目标，可能需要一种形式的民主和去中心化管理，以控制世界上最强大的组织之一。鉴于此，我们必须继续看到其他公司和组织推出新模型，同时开源AI运动也在继续开发具有较少集中依赖的模型。
– Louie Peters — Towards AI联合创始人兼首席执行官
最新消息
Anthropic发布了2.1版本的Claude，其中包括200,000个令牌上下文窗口、减少幻觉率和新的工具使用能力等几项重大升级。该升级使用户能够发送冗长的文档，并提高了系统的准确性，增强了信任和可靠性。他们还在更新他们的定价，使其更具可访问性。
2. OpenAI研究人员在CEO被解职前提前向董事会发出警告
在OpenAI CEO Sam Altman流亡四天之前，几位员工研究人员给董事会写了一封信，警告称他们发现了一种可能威胁人类的强大人工智能发现，据路透社报道，这封信是导致Altman被解职的众多不满之一，其中还包括对在了解后果之前商业化先行先试的担忧。
稳定AI推出了一款强大的基础视频生成模型——稳定视频扩散。该模型能够以不同的帧率生成可定制的帧，可在GitHub和Hugging Face上公开获取，供研究目的使用。
AI 初创公司 Inflection AI 刚刚宣布推出 Inflection-2，一个新的 1750 亿参数语言模型，在 5,000 个 NVIDIA H100 GPU 上以 fp8 混合精度进行训练，耗费了约 10²⁵ FLOPs 的计算资源。在各种 NLP 基准测试中，它超过了 LLaMA 2 和 PaLM 2，并在特定任务上接近 GPT-4 的水平。
5. NeuralChat 7B：Intel 使用 DPO 训练的聊天模型
Intel 推出了他们对 Mistral 7B 的优化版本，超越了 Huggingface 的领先者。这是基于开源数据集 SlimOrca 上的 Mistral-7B-v0.1 进行细调的模型。它与 DPO 算法相匹配。该模型是在 Habana Labs 的 8x Gaudi2 mezzanine 加速器上进行训练的。
OpenAI 的动荡是否导致了 LLM 领域中更多的竞争和更快的模型发布，以便公司利用这一机会？在评论中分享你的想法！
五个 5 分钟阅读/视频助你持续学习
安德烈·卡帕斯基发布了一段长达一小时的视频，名为《大型语言模型（LLMs）简介》，为机器学习专家和新手提供宝贵的见解、资源和论文。这个简明指南涵盖了视频的主要内容，并参考了相关论文。
2. Distil-Whisper 解读 —— 最新的 AI 语音转文字技术！
Distil-Whisper 是一种具有最先进结果的语音识别模型，可用于转录任何类型的音频。在这个视频中，Louis Bouchard 探讨了该模型的功能、建立方式和工作原理。
本文对 AI 中的新兴工具和框架进行了比较，比较它们的优势、可用性和理想用例。它比较了像 TensorFlow 和 PyTorch 这样的成熟基础，无代码 AI/ML 平台，基于云的 AI 服务，以及以视觉为重点的框架等。
4. 使用 Lookahead Decoding 打破 LLM 推理的顺序依赖
Lookahead Decoding 是一种新的、准确的并行解码算法，用于加速 LLM 推理过程。该文章介绍了这种新方法以及演示和实验结果。
5. 33 位 AI 初创公司创始人就人工综合智能的创建进行辩论
由 Y Combinator 制作的这段五分钟视频介绍了来自 33 位专注于 AI 的 YC 创始人的见解。根据他们对人工智能的现有理解，他们分享了有关 AGI 可能何时成为现实的时间线。
资源库和工具
- GPT4All 是一个在消费级 CPU 和任何 GPU 上本地运行强大、定制的大型语言模型的生态系统。该文件大小为 3GB – 8GB，您可以下载并插入 GPT4All 开源生态系统软件中。
- Llama Packs 是一个由社区驱动的预打包模块中心，可与 LlamaIndex 和 LangChain 一起使用。其目标是将大型语言模型与各种知识源轻松连接起来。他们已经发布了 16 多个模板。
- Tuna 是一个无代码工具，可快速从零开始生成 LLM 微调数据集。它有助于为像 LLaMas 这样的大型语言模型创建高质量的训练数据。
- Codesandbox 是由 Codeium 提供支持的代码自动补全工具。它提供单行和多行代码生成，提供多个建议供选择。
本周热门论文
小鲸鱼2是一种新的语言模型，通过先进的训练信号和多样化的策略增强推理能力。它在基准测试中超越了经过指导调整的模型，并在复杂任务中表现出比大小型模型更好的性能，甚至在零-shot设置中与更大的模型相媲美。
本论文介绍了GAIA，一个通用人工智能助理的基准评估，包含466个问题及其答案。它提出了一些需要一系列基本能力的现实世界问题，例如推理、多模态处理、网络浏览和一般工具使用能力。虽然对人类来说很简单，但对大多数先进的人工智能来说是具有挑战性的。
开发了一种名为系统2注意力（S2A）的新的注意力方法，以解决LLM中无关或有偏差的输出问题。受到人类认知过程的启发，S2A过滤掉无关的上下文，在LLM推理中促进了事实性和客观性。实验结果显示，S2A在包含三个任务的情况下比标准基于注意力的LLM表现更好。
本论文提出了一种新的通用目标ΨPO，用于从以成对偏好表达的人类偏好中进行学习，从而绕过RLHF中的两种近似。这使得我们可以深入分析RLHF和DPO的行为，并确定它们的潜在问题。
5. Tied-Lora：通过权重绑定提高LoRA的参数效率
本论文提出了Tied-LoRA，这是一种简单的范例，它使用权重绑定和选择性训练来提高低秩适应（LoRA）方法的参数效率。实验表明，Tied-LoRA配置在多个任务上显示出可比较的性能，同时仅使用标准LoRA方法使用的13％的参数。
快速链接
1. 几小时后，展示xAI的聊天机器人Grok的截屏出现在X的网络应用程序上。X的所有者Elon Musk确认Grok将在本周某个时候对高级订户提供服务。
2. Google LLC发布了Bard的新版本，允许使用自然语言提示与YouTube视频进行交互。Bard将能够访问和处理内容，并提供详细准确的回答。
3. 人工智能初创公司Artisan筹集了230万美元，用于开发类似人类的数字劳动者。这些劳动者被称为Artisans，作为其所加入团队的补充而非软件工具，并且可以以最小的人力投入执行数千项任务。
4. 一个新的社区驱动的产品创作平台Off/Script的创始人宣布其移动应用程序正式上线，允许任何人构思、共享和获取产品模型的经济利益。
人工智能招聘信息
远程/自由职业: AI技术作家和大型语言模型开发人员 @ Towards AI Inc
远程: 交付架构师- 数据科学，AI，和ML (AWS) @ Rackspace
盐湖城, 犹他州, 美国: 高级机器学习工程师 @ Recursion
有兴趣在此分享就业机会？请联系 [email protected]。
如果你正在准备下一次机器学习面试，请毫不犹豫地访问我们领先的面试准备网站 confetti！
认为你的朋友也会喜欢这个？分享这份通讯让他们参与讨论。
