Ferramentas de LLM de Nível de Produção
Método de programação
Devido à forte capacidade de compreensão e geração desta onda de LLMs, a programação imperativa que presta atenção aos detalhes parece não ser mais necessária, enquanto a programação declarativa que se concentra em processos ou capacidades de pipeline de orquestração de lógica de negócios tornou-se o modo de "programação" dominante. Então, vemos que os novatos, incluindo LCEL, DSPy e Semantic-kernel, estão começando a prestar atenção "para cima", concentrando-se principalmente na capacidade de orquestração de lógica de negócios, o que pode indicar um método DAG semelhante ao Airflow. Isso se tornará um paradigma de programação para a próxima geração?
Globais
Ferramentas Prompt
LangSmith e Azure Prompt Flow
Linguagem de programação
Python ou JavaScript
Framework de Desenvolvimento / Ferramentas de Orquestração
Langchain ou Kernel Semítico
Arquitetura API / Service Box
FastAPI ou Next.js
Fornecedores de hospedagem em nuvem
Render (AWS Lamada) ou Vercel
Construir uma aplicação LLM
| 分类 | Name | Star数量 | 备注 | 学习 |
|---|---|---|---|---|
| 框架 | LangChain | 77 | 【必学】 | * |
| LlamaIndex | 29 | 【必学】专注于RAG，Python，JS SDK比较差 | * | |
| Semantic-kernel | 17 | 【不确定？】C#，Python，Java | ? | |
| haystack | 13 | 有了LangChain可能就不需要这个了 | ||
| DSPy | 7 | 太学术了？The framework for programming—not prompting—foundation models | ||
| Agent | SuperAgent | 4 | 这个感觉很专业，有时间再学习 | ? |
| Rift | 3 | 专门针对程序员 | ||
| AutoGen | 22 | |||
| Camel | 4 | |||
| GPTs | OpenGPTs | 6 | LangChain出品 | |
| 低代码 | LangFlow | LangChain可视化 | ||
| LiteLLM | ||||
| Flowise | 21 | |||
| Langflow | 14 | |||
| PromptChainer | 商业 | 感觉做的很专业 | ||
| RAG | vectara | 闭源 | 非常专业的RAG商业软件；也有开源项目；用户可以将PDF、Word、PPT、RTF等文件数据上传至Vectara平台中，构建数据搜索引擎。 |
Arquivo e observação
| 分类 | Name | Star数量 | 备注 |
|---|---|---|---|
| 观察 | Obsidian Copilot | 一个有趣的方法，用于如何使用语义搜索和 OpenSearch 的 BM25 实现 | |
| Tanuki | 一个使用装饰器进行数据验证的 LLM 框架 | ||
| griptape | 1.5 | 一个具有稍微更好的内部编码标准的 langchain 替代品 | |
| guidance | 16 | 比传统的提示或链接更有效地控制现代语言模型 | |
| intructor | 3.6 | ||
| Llmflows | 0.5 | langchain 的另一个替代品，但在定义工作流程方面有一个有趣的方法 | |
| txtai | 6.5 | 有用于聊天、医学/科学论文工作流程、开发者语义搜索以及标题和故事文本语义搜索的衍生产品 | |
| LiteLLM | 5.7 | 一个简单、轻量级的 LLM 封装器 | |
| 归档 | Chidori | 1.2 | |
| AutoChains | 已经3个月没更新 | ||
| MiniChain | 1.2 | 已经3个月没更新 | |
| SimpleAIChat | 3.3 | 已经7个月没更新 |
Monitoramento e Análise
Os serviços de LLM em nível de produção exigem:
-
Debugging Prompt (em inglês)
-
Gestão de versões Prompt
-
Indicadores relevantes para o sistema de teste / verificação
-
Gerenciamento de dados set
-
Monitoramento e estatísticas de várias métricas: visitas, tempo de resposta, taxa de token, etc.
| 分类 | Name | Star数量 | 备注 |
|---|---|---|---|
| SaaS | LangSmith | N/A | |
| 开源 | LangFuse | 2 | |
| 开源 | Prompt Flow | 7 | |
| Helicone | 1.2 |
Plataforma de manutenção de aplicativos de nível de produção LLM
-
-
- LangSmith * *: Plataforma oficial da LangChain, serviço SaaS, * * não open source * *
-
-
-
- [LangFuse] (https://github.com/langfuse/langfuse) * *: * * código aberto * * + SaaS, LangSmith Ping, pode integrar LangChain, interface OpenAI API (2.1K)
-
-
-
- [Fluxo rápido] (https://www.example.com) tab=readme-ov-file) * *: Microsoft * * open source * * + Azure AI Cloud Services, com integração do Kernel Semântico (7.4K)
-
Fluxo imediato
Aprender
https://microsoft.github.io/promptflow/how-to-guides/quick-start.html
Componente UI
LangUI(1.6K)
agentlabs(0.5K)
Outras
| 分类 | Name | Star数量 | 备注 |
|---|---|---|---|
| LCEL | |||
| Python 模板语言 | Jinja2 | ||
Referec ̧a ̃o
| 分类 | Name | Star数量 | 备注 | |
|---|---|---|---|---|
| 框架 | Obsidian Copilot | 一个有趣的方法，用于如何使用语义搜索和 OpenSearch 的 BM25 实现 | ||
| Tanuki | 个使用装饰器进行数据验证的 LLM 框架 | |||
| LiteLLM | 5.7 | 一个简单、轻量级的 LLM 封装器 | ||
| AutoChain | 1.7 | langchain 的另一个替代品 | ||
| griptape | 1.5 | 一个具有稍微更好的内部编码标准的 langchain 替代品 | ||
| txtai | 6.5 | has spinoffs for chat, workflows for medical/scientific papers, semantic search for developers and semantic search for headlines and story text 有用于聊天、医学/科学论文工作流程、开发者语义搜索以及标题和故事文本语义搜索的衍生产品 | ||
| Llmflows | 0.5 | langchain 的另一个替代品，但在定义工作流程方面有一个有趣的方法 | ||
| guidance | 16 | 比传统的提示或链接更有效地控制现代语言模型 | * | |
| 库 | intructor | 3.6 | * |
-
- E2B: Frameworks e ferramentas para produtos de IA * *
| Category | Tools/Platforms |
|---|---|
| Monitoring, Observability, Analytics | Langsmith, Helicone, langfuse, context |
| Frontend | AgentLabs |
| Runtime for LLMs | E2B |
| Building frameworks & platforms | Langchain, Haystack by deepset, Superagent, Poe, GenWorlds, LiteLLM, Rift by Morph, AutoGen, Vercel AI SDK, OpenGPTs, Huggging Face Agents, Fixie |
| Data integration, memory management | vectara, LlamaIndex, ABACUS.AI, cadea, SID Memory |
| API and routers for LLMs | Genoss GPT, Martian, OpenRouter |
| Libraries for building AI products | CAMEL, ChatterBot（5年没更新了） |
| Orchestration | AGIXT |
| Building & deploying LLMs | BANANA |
