开源、免费、可商用!Meta 发布 Llama 2|AI快讯 008

掌握核心 AI 技能,探索前沿科技 👇

开源、免费、可商用!Meta 发布 Llama 2

开源与闭源,Meta 能否成为大语言模型市场的搅局者?

网址:Llama 2 - Meta AI

论文地址:Llama 2: Open Foundation and Fine-Tuned Chat Models | Meta AI Research

以下是通过与 Claude 2 进行 11 轮对话之后,Claude 2 直接输出的论文要点总结,看看他总结的对吗?

  1. 模型规模:Meta发布了7B、13B、34B和70B参数量的Llama基础模型。同时发布了相应规模的参数量的Llama聊天模型。
Llama 2 comes in a range of parameter sizes—7B, 13B, and 70B—as well as pretrained and fine-tuned variations. (P3,P4)
  1. 训练技术:对34B和70B参数的模型使用分组注意力机制,提升大模型的推理效率。
For the 34B and 70B models we chose to use GQA instead of MQA. (P6-P7)
  1. 性能:Llama 2模型在多项英语NLP基准测试上的表现优于Llama 1,且70B参数规模的Llama 2接近甚至超过GPT-3系列模型。
Llama 2 models outperform Llama 1 models. In particular, Llama 2 70B improves the results on MMLU and BBH by ≈5 and ≈8 points, respectively, compared to Llama 1 65B. (P7-P8)
  1. 调优方法:使用监督调优和RLHF调优,后者包含拒绝抽样和PPO方法。并引入Ghost Attention机制提高多轮聊天的一致性。
We explored RLHF fine-tuning with two main algorithms: Rejection Sampling and Proximal Policy Optimization (PPO). We also introduce Ghost Attention (GAtt) to help control dialogue flow over multiple turns. (P14-P16)
  1. 安全性:进行安全性数据标注,使用安全性上下文蒸馏等方法,大幅降低毒性语句的生成。
Toxicity. We measure the degree of generation of toxic language and hate speech across different groups, we use ToxiGen (Hartvigsen et al., 2022) (P23,P27,P31)
  1. 开源和商业化许可:以自定义方式开源Llama 2预训练模型和聊天模型,使用需申请许可。商业化许可有一定限制。
We are releasing the following models to the general public for research and commercial use ‡: 1. Llama 2, an updated version of Llama 1, trained on a new mix of publicly available data. 2. Llama 2-Chat, a fine-tuned version of Llama 2 that is optimized for dialogue use cases. (P4,P35,P36)
  1. 局限:Llama 2主要针对英文,其他语言支持有限。需要进行安全性测试。
Llama 2 is a new technology that carries potential risks with use (Bender et al., 2021b; Weidinger et al., 2021; Solaiman et al., 2023). Testing conducted to date has been in English and has not — and could not — cover all scenarios. (P34)
  1. 重要发现:发现RLHF调优中人机协同作用,超越仅有人类监督的限制。
Our findings underscore that the crucial determinant of RLHF’s success lies in the synergy it fosters between humans and LLMs throughout the annotation process. (P32-P33)
  1. 安全性评估:Llama 2-Chat在安全性人类评估中表现良好,但仍有改进空间。
In Figure 18, we report the violation percentage on single- and multi-turn conversations, respectively. A trend across models is that multi-turn conversations are more prone to inducing unsafe responses. (P29-P31)
💡

想知道如何让大语言模型输出你想要的结果吗?关注我,不错过更多与AI相关的精彩内容。

谷歌 Bard 最强更新,能否撼动 GPT-4 的地位?

Google Bard 最近的更新支持中文以及图片识别,对于访问 GPT-4 有困难的用户,扎堆更新的 Google Bard 和 Claude 2 能否提供一个很好的替代呢?

请观看我最新出炉的对比视频:

还不知道什么是 Claude 2?请观看我的上期对比视频:

Claude 2 将推出收费计划

没想到这么快,就不能愉快地使用 Claude 2 了。

就像 GPT-4 一样,突然发现 Claude 2 限制问答数量了,并且打开了一个加入收费计划的等待列表的入口。


扫码进入Axton的AI精英学院

感谢阅读!如果你喜欢(不想看)这次分享的内容,请点个👍(或者点个👎)让我知道,同时请分享给你的一个朋友(前朋友)。也欢迎你去我的YouTube频道 『 回到Axton 』看我的视频内容,咱们一起好奇地看世界!

保持健康,保持快乐!

Axton

Twitter | YouTube | Newsletter | AI精英学院

Read more

Jina Reader API 的四种用法 | 「智图派」

Jina Reader API 的四种用法 | 「智图派」

构建知识库,或者分析各种文章数据,是大家使用 AI 很重要的一个应用场景,因此我们常常会需要用到爬虫去爬取某个网站上的内容,现在,Jina 推出了一款非常简单好用的获取网页内容的工具,你只要把网址给它,它就能把网页内容整理成很适合大语言模型使用的格式,简直是构建知识库的利器。今天我就给大家介绍四种用法。分别包括在自动化工作流中使用以及在 AI 智能体中使用。 Jina Reader API 的网址是 读取器 API,你可以直接输入你需要爬取内容的网址 URL 在这边进行测试,输入之后直接点击按钮「获取内容」,就可以在右边得到结果了。 而他的用法也很简单,就是把你需要爬取内容的网页的 URL 写在 https://r.jina.ai 的后面就可以了。 什么是 Reader API Reader 是将任何URL转换为LLM友好的输入,只需简单添加前缀 https://r.jina.ai/ 无需付费即可获得改进后的适用于智能体或 RAG 系统的输出。

lock-1 By Axton
Coze 工作流获取 Tweets 详解 | 「智图派」

Coze 工作流获取 Tweets 详解 | 「智图派」

Coze是一个可以不用代码来搭建AI聊天机器人的平台。我在这期视频当中已经详细地讲解了Coze的各种功能,以及如何用到GPT-4 Turbo的模型。感兴趣的朋友可以回看一下。 自从 Twitter 被马斯克买了之后,如果你想从 Twitter 网站的外面来获取推文信息,也就是用 Twitter API,就需要每个月充值100美元了。但是 Coze 却很大方地让你可以免费地用部分 Twitter API 的功能了。今天我就先给大家演示一个可以批量获取多个 Twitter 作者的推文的工作流,把这个工作流嵌入到你的 AI 聊天机器人里面。比如我这里加了两个 Twitter 账号,我的和马斯克的,这样就可以一次性地获取到我们两个人的推文了。 今天我首先给大家演示一下在 Coze 上可以用到的 Twitter API 的功能,然后再演示一下批量获取推文的工作流,最后我们再聊一聊 Coze 的局限性。 Plugins 的基本功能 getUsers 首先第一个 "get users"

lock-1 By Axton
建立微信 AI 工作流 | 支持 10000 个文件,Assistants API v2 发布 | AI 快讯20240418

建立微信 AI 工作流 | 支持 10000 个文件,Assistants API v2 发布 | AI 快讯20240418

点击进入「AI 精英学院」,做一个会 AI 的人- 新视频发布:微信如何通过 Make 与 GPT、Claude、知识库无缝集成 - 支持 10000 个文件,Assistants API v2 发布 - 我们需要为生物技术的“ChatGPT时刻”做好准备 - NVIDIA推出基于安培架构的两款新GPU,RTX A400和RTX A1000 - Google地图将利用AI帮助您找到隐蔽的电动车充电器 微信如何通过 Make 与 GPT、Claude、知识库无缝集成 没想到海外的自动化平台居然也支持微信公众号。Make 工作流自动化平台,不但支持微信,还支持的挺完善,确实有些让人意外。本期视频演示如何使用 Make 获取微信公众号信息、与 OpenAI 知识库联动、

By Axton
DALL.E 推出图像编辑以及风格推荐功能 | Sora 再现竞争对手 | AI 快讯20240404

DALL.E 推出图像编辑以及风格推荐功能 | Sora 再现竞争对手 | AI 快讯20240404

点击进入「AI 精英学院」,做一个会 AI 的人- DALL.E 推出图像编辑以及风格推荐功能 - “多次尝试破解”:实验室揭示AI安全特性如何被轻松绕过 - 前Snap AI负责人推出Higgsfield,挑战OpenAI的Sora - MIT研究人员开发新计算技术以简化蛋白质工程化过程 使用DALL·E编辑图片 原文链接:Editing your images with DALL·E | OpenAI Help Center OpenAI 的推文包含两项功能的视频演示: You can also get inspiration on styles when creating images in the DALL·E GPT. pic.twitter.com/

By Axton