Jina Reader API 的四种用法 | 「智图派」

Jina Reader API 的四种用法 | 「智图派」

构建知识库,或者分析各种文章数据,是大家使用 AI 很重要的一个应用场景,因此我们常常会需要用到爬虫去爬取某个网站上的内容,现在,Jina 推出了一款非常简单好用的获取网页内容的工具,你只要把网址给它,它就能把网页内容整理成很适合大语言模型使用的格式,简直是构建知识库的利器。今天我就给大家介绍四种用法。分别包括在自动化工作流中使用以及在 AI 智能体中使用。

Jina Reader API 的网址是 读取器 API,你可以直接输入你需要爬取内容的网址 URL 在这边进行测试,输入之后直接点击按钮「获取内容」,就可以在右边得到结果了。

CleanShot-2024-04-27at21-44-12.png
CleanShot-2024-04-27at21-44-12.png

而他的用法也很简单,就是把你需要爬取内容的网页的 URL 写在 https://r.jina.ai 的后面就可以了。

什么是 Reader API

Reader 是将任何URL转换为LLM友好的输入,只需简单添加前缀 https://r.jina.ai/ 无需付费即可获得改进后的适用于智能体或 RAG 系统的输出。

这是开源项目,地址在:jina-ai/reader: Convert any URL to an LLM-friendly input with a simple prefix https://r.jina.ai/

项目中值得关注的几个参数

流模式:

当您发现标准模式提供的结果不完整时,流式模式很有用。这是因为流式模式将等待更长时间,直到页面完全呈现。使用 accept-header 切换流式模式:

curl -H "Accept: text/event-stream" https://r.jina.ai/https://example.com

使用 request headers

可以使用请求头来控制 Reader API 的行为。以下是支持的头的完整列表。

  • 您可以通过 x-set-cookie 头来要求 Reader API 转发 cookies 设置。
  • 请注意,带有 cookies 的请求将不会被缓存。
  • 您可以通过 x-respond-with 头绕过 readability 过滤,具体如下:
  • x-respond-with: markdown 返回 markdown,不经过 reability 处理
  • x-respond-with: html 返回 documentElement.outerHTML
  • x-respond-with: text 返回 document.body.innerText
  • x-respond-with: screenshot 返回网页截图的 URL
  • 您可以通过 x-proxy-url 头指定代理服务器。
  • 您可以通过 x-no-cache 头绕过缓存页面(生存期为 300 秒)。

JSON 模式

这仍处于非常早期的阶段,结果还不是一个真正"有用"的 JSON。它只包含三个字段 urltitlecontent。尽管如此,您可以使用 accept-header 来控制输出格式:

curl -H "Accept: application/json" https://r.jina.ai/https://en.m.wikipedia.org/wiki/Main_Page

目前发现的局限性

  • 无法获取需要登录的网页
  • 获取 Tweet 可能会出现问题

5 种使用方法

直接在浏览器中使用

直接在浏览器中输入 URL 就可以了,然后结果可以直接拷贝粘贴到其他地方。比如可以用下面的网址做个测试: https://www.axtonliu.ai/blog/wechat-integration-make-gpt-claude

当然,这不是 Reader API 的主要用法,因为这样还不如直接拷贝网页呢。这就是它的名字里有个 API 的原因,它最适合的用途是嵌入到你的工作流当中。接下来我就给大家讲解一下如何把这样的 API 应用到两大工作流平台 Make 和 Zapier 当中去。

Make

Make 调用 Reader API 很简单,而且由于 Make 能够与数千种 APP 集成,也就相当于很大程度上扩展了 Reader API 的应用范围,比如我们可以用来做一个用 Notion 爬取网页的流程。

这是我们的一个测试数据库,我们可以看到,它只有一个 URL 的字段,标题 Title 是空的,也没有内容。那么,我们的 Make 流程的作用呢,就是爬取字段 URL 对应的网页内容,然后把网页内容写到 Notion 的 Page 里去。

CleanShot-2024-04-26at23-05-00.png
CleanShot-2024-04-26at23-05-00.png

好,我们运行一下这个 Make 的工作流:

CleanShot-2024-04-26at23-18-03.png
CleanShot-2024-04-26at23-18-03.png
CleanShot-2024-04-26at23-33-38 2.png
CleanShot-2024-04-26at23-33-38 2.png

运行之后,我们可以看到页面里已经有内容了,打开看看:

CleanShot-2024-04-26at23-35-05.png
CleanShot-2024-04-26at23-35-05.png

可以看到,页面的内容已经添加到 Notion 的 Page 里了。

Make 流程的详细说明:

「请忽略最右边的两个模块,那是用来测试的」

CleanShot-2024-04-27at00-40-13.png
CleanShot-2024-04-27at00-40-13.png

Read more

Coze 工作流获取 Tweets 详解 | 「智图派」

Coze 工作流获取 Tweets 详解 | 「智图派」

Coze是一个可以不用代码来搭建AI聊天机器人的平台。我在这期视频当中已经详细地讲解了Coze的各种功能,以及如何用到GPT-4 Turbo的模型。感兴趣的朋友可以回看一下。 自从 Twitter 被马斯克买了之后,如果你想从 Twitter 网站的外面来获取推文信息,也就是用 Twitter API,就需要每个月充值100美元了。但是 Coze 却很大方地让你可以免费地用部分 Twitter API 的功能了。今天我就先给大家演示一个可以批量获取多个 Twitter 作者的推文的工作流,把这个工作流嵌入到你的 AI 聊天机器人里面。比如我这里加了两个 Twitter 账号,我的和马斯克的,这样就可以一次性地获取到我们两个人的推文了。 今天我首先给大家演示一下在 Coze 上可以用到的 Twitter API 的功能,然后再演示一下批量获取推文的工作流,最后我们再聊一聊 Coze 的局限性。 Plugins 的基本功能 getUsers 首先第一个 "get users"

lock-1 By Axton
建立微信 AI 工作流 | 支持 10000 个文件,Assistants API v2 发布 | AI 快讯20240418

建立微信 AI 工作流 | 支持 10000 个文件,Assistants API v2 发布 | AI 快讯20240418

点击进入「AI 精英学院」,做一个会 AI 的人- 新视频发布:微信如何通过 Make 与 GPT、Claude、知识库无缝集成 - 支持 10000 个文件,Assistants API v2 发布 - 我们需要为生物技术的“ChatGPT时刻”做好准备 - NVIDIA推出基于安培架构的两款新GPU,RTX A400和RTX A1000 - Google地图将利用AI帮助您找到隐蔽的电动车充电器 微信如何通过 Make 与 GPT、Claude、知识库无缝集成 没想到海外的自动化平台居然也支持微信公众号。Make 工作流自动化平台,不但支持微信,还支持的挺完善,确实有些让人意外。本期视频演示如何使用 Make 获取微信公众号信息、与 OpenAI 知识库联动、

By Axton
DALL.E 推出图像编辑以及风格推荐功能 | Sora 再现竞争对手 | AI 快讯20240404

DALL.E 推出图像编辑以及风格推荐功能 | Sora 再现竞争对手 | AI 快讯20240404

点击进入「AI 精英学院」,做一个会 AI 的人- DALL.E 推出图像编辑以及风格推荐功能 - “多次尝试破解”:实验室揭示AI安全特性如何被轻松绕过 - 前Snap AI负责人推出Higgsfield,挑战OpenAI的Sora - MIT研究人员开发新计算技术以简化蛋白质工程化过程 使用DALL·E编辑图片 原文链接:Editing your images with DALL·E | OpenAI Help Center OpenAI 的推文包含两项功能的视频演示: You can also get inspiration on styles when creating images in the DALL·E GPT. pic.twitter.com/

By Axton
ChatGPT 不用注册就可以免费用了 | 黄仁勋:“别再学编程”  | AI 快讯20240402

ChatGPT 不用注册就可以免费用了 | 黄仁勋:“别再学编程” | AI 快讯20240402

点击进入「AI 精英学院」,做一个会 AI 的人- ChatGPT 不用注册就可以免费用了 - 微软与OpenAI计划建造1000亿美元AI超级计算机 - 三星确认Bixby语音助手未被淘汰 - OpenAI发布最具争议的AI工具Voice Engine - AI 阴影下的程序员生存指南 OpenAI发布ChatGPT即时使用功能 原文链接:点击查看 OpenAI宣布ChatGPT现在可以即时使用,无需用户注册。此次更新的目的是为了让更多人轻松体验到AI的好处。 目前,ChatGPT已在全球185个国家中被超过1亿用户每周使用,帮助用户学习新知识、寻找创意灵感,以及解答各种问题。为了进一步降低使用门槛,OpenAI引入了新的内容安全措施,并允许用户在设置中选择是否允许其提供的内容用于模型改进。 虽然即时使用功能免除了注册需求,但创建账户仍能享受保存和查看聊天历史、分享聊天内容以及解锁更多功能(如语音对话和自定义指令)等好处。这一变化标志着OpenAI在使AI技术更加易于接触和普及方面迈出的又一重要步骤。 本期「AI 快讯」由 Axton 与 AI 自动化 和 GPTs 共

By Axton