Flowise拖拽组件的方式轻松构建 LLM 应用

用拖拽的方式构建大模型应用。该项目可以通过可视化、拖拽组件的方式自定义大模型(LLM)流程,轻松构建 LLM 应用,支持 Docker 一键启动服务。Flowise拖拽组件的方式轻松构建 LLM 应用

如何使用

API

可以使用聊天流作为 API 并连接到前端应用程序。Flowise拖拽组件的方式轻松构建 LLM 应用还可以灵活地使用 overrideConfig 属性覆盖输入配置。Flowise拖拽组件的方式轻松构建 LLM 应用使用 Postman 调用 API 的示例:Flowise拖拽组件的方式轻松构建 LLM 应用

文档加载器流程

注意:用户有责任确保文件类型与文档加载器的预期文件类型兼容。例如,如果正在使用文本文件加载器,应该只上传带有.txt 扩展名的文件。Flowise拖拽组件的方式轻松构建 LLM 应用使用 Postman 调用 API 的示例 form-data:Flowise拖拽组件的方式轻松构建 LLM 应用

流媒体

当最终节点是 Chain 或 OpenAI Function Agent 时,Flowise 还支持流回前端应用程序。Flowise拖拽组件的方式轻松构建 LLM 应用Flowise拖拽组件的方式轻松构建 LLM 应用

嵌入

还可以将聊天小部件嵌入到网站中,只需将提供的嵌入代码复制粘贴到html 文件标记中的任意位置即可。Flowise拖拽组件的方式轻松构建 LLM 应用要修改嵌入式聊天小部件的完整源代码,请按照以下步骤操作:

  • 分叉 Flowise Chat Embed 存储库
  • 然后可以进行任何代码更改
  • 运行 yarn build
  • 将更改推送到分叉存储库
  • 然后将其用作嵌入式聊天,如下所示:

替换 username 为 Github 用户名和 forked-repo 分叉存储库:

  <script type="module">
      import Chatbot from "https://cdn.jsdelivr.net/gh/username/forked-repo/dist/web.js"
      Chatbot.init({
          chatflowid: "chatflow-id",
          apiHost: "http://localhost:3000",
      })
</script>
Flowise拖拽组件的方式轻松构建 LLM 应用

智能模型

本地 AI 设置

AI是一个直接替代 REST API,与本地推理的 OpenAI API 规范兼容。它允许使用消费级硬件在本地或本地运行 LLM(不仅如此),支持与 ggml 格式兼容的多个模型系列。要在 Flowise 中使用 ChatLocalAI,请按照以下步骤操作:

git clone https://github.com/go-skynet/LocalAI
cd LocalAI
# copy your models to models/
cp your-model.bin models/

例如:从 gpt4all.io 下载模型之一:

# Download gpt4all-j to models/
wget https://gpt4all.io/models/ggml-gpt4all-j.bin -O models/ggml-gpt4all-j

在该/models 文件夹中,能够在其中看到下载的模型:Flowise拖拽组件的方式轻松构建 LLM 应用

流畅设置

将新的 ChatLocalAI 组件拖放到画布上:Flowise拖拽组件的方式轻松构建 LLM 应用

快速启动

  • 安装 Flowise
npm install -g flowise
  • 开始运行
npx flowise start
  • 打开http://localhost: 3000

传送门

开源协议:MIT license

开源地址:https://github.com/FlowiseAI/Flowise

项目合集:https://github.com/RepositorySheet

-END-


原文始发于微信公众号(开源技术专栏):Flowise拖拽组件的方式轻松构建 LLM 应用

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

文章由极客之音整理,本文链接:https://www.bmabk.com/index.php/post/155080.html

(0)
小半的头像小半

相关推荐

发表回复

登录后才能评论
极客之音——专业性很强的中文编程技术网站,欢迎收藏到浏览器,订阅我们!