开源、免费、可商用!Meta 发布 Llama 2|AI快讯 008

掌握核心 AI 技能,探索前沿科技 👇

开源、免费、可商用!Meta 发布 Llama 2

开源与闭源,Meta 能否成为大语言模型市场的搅局者?

网址:Llama 2 - Meta AI

论文地址:Llama 2: Open Foundation and Fine-Tuned Chat Models | Meta AI Research

以下是通过与 Claude 2 进行 11 轮对话之后,Claude 2 直接输出的论文要点总结,看看他总结的对吗?

  1. 模型规模:Meta发布了7B、13B、34B和70B参数量的Llama基础模型。同时发布了相应规模的参数量的Llama聊天模型。
Llama 2 comes in a range of parameter sizes—7B, 13B, and 70B—as well as pretrained and fine-tuned variations. (P3,P4)
  1. 训练技术:对34B和70B参数的模型使用分组注意力机制,提升大模型的推理效率。
For the 34B and 70B models we chose to use GQA instead of MQA. (P6-P7)
  1. 性能:Llama 2模型在多项英语NLP基准测试上的表现优于Llama 1,且70B参数规模的Llama 2接近甚至超过GPT-3系列模型。
Llama 2 models outperform Llama 1 models. In particular, Llama 2 70B improves the results on MMLU and BBH by ≈5 and ≈8 points, respectively, compared to Llama 1 65B. (P7-P8)
  1. 调优方法:使用监督调优和RLHF调优,后者包含拒绝抽样和PPO方法。并引入Ghost Attention机制提高多轮聊天的一致性。
We explored RLHF fine-tuning with two main algorithms: Rejection Sampling and Proximal Policy Optimization (PPO). We also introduce Ghost Attention (GAtt) to help control dialogue flow over multiple turns. (P14-P16)
  1. 安全性:进行安全性数据标注,使用安全性上下文蒸馏等方法,大幅降低毒性语句的生成。
Toxicity. We measure the degree of generation of toxic language and hate speech across different groups, we use ToxiGen (Hartvigsen et al., 2022) (P23,P27,P31)
  1. 开源和商业化许可:以自定义方式开源Llama 2预训练模型和聊天模型,使用需申请许可。商业化许可有一定限制。
We are releasing the following models to the general public for research and commercial use ‡: 1. Llama 2, an updated version of Llama 1, trained on a new mix of publicly available data. 2. Llama 2-Chat, a fine-tuned version of Llama 2 that is optimized for dialogue use cases. (P4,P35,P36)
  1. 局限:Llama 2主要针对英文,其他语言支持有限。需要进行安全性测试。
Llama 2 is a new technology that carries potential risks with use (Bender et al., 2021b; Weidinger et al., 2021; Solaiman et al., 2023). Testing conducted to date has been in English and has not — and could not — cover all scenarios. (P34)
  1. 重要发现:发现RLHF调优中人机协同作用,超越仅有人类监督的限制。
Our findings underscore that the crucial determinant of RLHF’s success lies in the synergy it fosters between humans and LLMs throughout the annotation process. (P32-P33)
  1. 安全性评估:Llama 2-Chat在安全性人类评估中表现良好,但仍有改进空间。
In Figure 18, we report the violation percentage on single- and multi-turn conversations, respectively. A trend across models is that multi-turn conversations are more prone to inducing unsafe responses. (P29-P31)
💡

想知道如何让大语言模型输出你想要的结果吗?关注我,不错过更多与AI相关的精彩内容。

谷歌 Bard 最强更新,能否撼动 GPT-4 的地位?

Google Bard 最近的更新支持中文以及图片识别,对于访问 GPT-4 有困难的用户,扎堆更新的 Google Bard 和 Claude 2 能否提供一个很好的替代呢?

请观看我最新出炉的对比视频:

还不知道什么是 Claude 2?请观看我的上期对比视频:

Claude 2 将推出收费计划

没想到这么快,就不能愉快地使用 Claude 2 了。

就像 GPT-4 一样,突然发现 Claude 2 限制问答数量了,并且打开了一个加入收费计划的等待列表的入口。


扫码进入Axton的AI精英学院

感谢阅读!如果你喜欢(不想看)这次分享的内容,请点个👍(或者点个👎)让我知道,同时请分享给你的一个朋友(前朋友)。也欢迎你去我的YouTube频道 『 回到Axton 』看我的视频内容,咱们一起好奇地看世界!

保持健康,保持快乐!

Axton

Twitter | YouTube | Newsletter | AI精英学院

Read more

对 OpenAI 的诉讼揭示的 AI 悖论 | ChatGPT 网页版推出语音功能 | AI 快讯20240304

对 OpenAI 的诉讼揭示的 AI 悖论 | ChatGPT 网页版推出语音功能 | AI 快讯20240304

点击进入「AI 精英学院」,做一个会 AI 的人- 开源三国之 Gemma:Google 最强开源模型 Gemma 能打吗? - 埃隆·马斯克对OpenAI的诉讼揭示的悖论 - 人形机器人初创公司Figure AI获 OpenAI 投资,估值达26亿美元 - Copilot for OneDrive:为您获取和总结文件 - ChatGPT 网页版推出语音功能 - 新计算机蠕虫威胁ChatGPT和Gemini等AI模型 开源三国之 Gemma:Google 最强开源模型 Gemma 能打吗? 最新视频探讨了以下内容: * Gemma 开源家族的两大特色 * 两种开箱即用的使用 Gemma 的方式 * 三种模型编码能力对比测试 * 两种本地部署 Gemma 的方法 * 为什么本地部署开源模型的用途不大? 点击以下链接观看视频: https:

By Axton
今日主角:Mistral Large 模型以及如何尝鲜  | AI 快讯20240228

今日主角:Mistral Large 模型以及如何尝鲜 | AI 快讯20240228

点击进入「AI 精英学院」,做一个会 AI 的人- Mistral AI发布最新旗舰语言模型Mistral Large - 如何免费尝鲜 Mistral Large - 微软与Mistral建立多年合作伙伴关系 - 我们是否都应该在大脑中植入芯片 Mistral AI发布最新旗舰语言模型Mistral Large 原文链接:Mistral Large Mistral AI最近发布了其最新且最先进的语言模型Mistral Large,这是一款具备顶尖推理能力的旗舰模型,通过la Plateforme提供,也是首个通过Azure分发的模型。 Mistral Large在多语言推理任务上展现出卓越性能,包括文本理解、转换和代码生成,使其成为继GPT-4后,通过API通用可用的世界第二大模型。该模型天生流利于英语、法语、西班牙语、德语和意大利语,能够精确回忆大型文档中的信息,且具备精确的指令遵循能力。 与Microsoft Azure的合作,进一步扩展了Mistral Large的应用范围,包括应用开发和技术栈现代化。此外,Mistral AI还推出了针对低延迟工作负载优化的Mis

By Axton
一次处理 80 万汉字,Gemini 1.5 Pro 值得期待吗 「智图派」

一次处理 80 万汉字,Gemini 1.5 Pro 值得期待吗 「智图派」

虽然 OpenAI 的 Sora 火遍全网,吸引了大家的眼球,但是不要忽略了,Gemini 1.5 的突破性进展带来的深远影响。这甚至比 Sora 都更有意义。 Gemini 1.5 相比 Gemini 1.0,虽然只是半个版本号的变化,增加了 0.5,但是在性能方面具有很大的改进,以至于达到了 1.0 Ultra 版本的能力,但是消耗的算力却更少。 我们知道,Gemini 分为三个版本,其中 Pro 是中档版本,而 Ultra 是高级版。1.0 Ultra 是与 GPT-4 对标的,因此可以说,Gemini 1.

By Axton
OpenAI 神秘网站露面 | 苹果的未来可穿戴设备展望 | AI 快讯20240226

OpenAI 神秘网站露面 | 苹果的未来可穿戴设备展望 | AI 快讯20240226

点击进入「AI 精英学院」,做一个会 AI 的人- OpenAI 神秘网站 Feather 露面 - 泰勒·派瑞因Sora暂停8亿美元工作室扩建计划 - 苹果测试ChatGPT式AI工具“Ask” - 苹果的未来可穿戴设备展望:智能眼镜与带摄像头的AirPods - 揭示生成式AI的脆弱性:以ChatGPT最近的胡言乱语崩溃为例 OpenAI 神秘网站 Feather 露面 输入 feather.openai.com 会进入 OpenAI 的 Feather 网站,目前尚不确定具体内容,搜索结果表示: 据说,OpenAI 在2023年11月注册了 OpenAI Feather 商标。 泰勒·派瑞因Sora暂停8亿美元工作室扩建计划 原文链接:The Hollywood Reporter 泰勒·

By Axton