llm-app

Ready-to-run cloud templates for RAG, AI pipelines, and enterprise search with live data. 🐳Docker-friendly.⚡Always in sync with Sharepoint, Google Drive, S3, Kafka, PostgreSQL, real-time data APIs, a

Visit WebsiteView on GitHub
59.4k
Stars
+4949
Stars/month
0
Releases (6m)

Overview

Pathway AI Pipelines 是一个企业级 AI 应用开发平台,提供开箱即用的 RAG(检索增强生成)和智能搜索模板。该平台的核心优势在于实时数据同步能力,能够与 Sharepoint、Google Drive、S3、Kafka、PostgreSQL 等多种数据源保持同步,自动处理数据的增删改操作。平台提供内置的数据索引功能,支持向量搜索、混合搜索和全文搜索,所有操作都在内存中完成并带有缓存机制。Pathway 设计为高可扩展性,能够处理数百万页文档级别的企业应用场景。平台支持 Docker 部署,可以在本地测试后部署到 GCP、AWS、Azure 等云服务或本地环境。对于企业用户,这是一个无需复杂基础设施设置就能快速搭建高精度 AI 搜索和问答系统的完整解决方案。

Pros

  • + 实时数据同步:自动与多种企业数据源保持同步,包括 Sharepoint、Google Drive、S3、Kafka、PostgreSQL 等,无需手动更新
  • + 高可扩展性:经过优化可处理数百万页文档,支持向量搜索、混合搜索和全文搜索,适合大型企业应用
  • + 开箱即用:提供多个预构建模板,支持 Docker 部署,无需复杂的基础设施设置即可快速上线

Cons

  • - 学习曲线:作为企业级平台,需要一定的技术背景才能充分利用其高级功能和定制能力
  • - 资源要求:处理大规模文档和实时同步可能对系统资源要求较高,特别是内存使用

Use Cases

Getting Started

1. 克隆 GitHub 仓库并使用 Docker 运行预构建模板;2. 配置数据源连接(如 Google Drive API 凭证、数据库连接字符串);3. 选择适合的模板(如问答 RAG 应用)并启动服务进行测试