생산 수준 LL M 도구

프로그래밍 방법

LL M 의 이 물 결 의 강력한 이해 와 생성 능력 으로 인해 세부 사항 에 주의 를 기울 이는 명령 프로그래밍 은 더 이상 필요하지 않은 것처럼 보 이며 프로세 스 또는 비즈니스 논 리 오 케 스트 레이 션 의 파이 프 라인 능력 에 중 점을 둔 선언 프로그래밍 은 주 류 " 프 로그 램 " 방식 이 되었습니다 . 따라서 L CE L , D SP y , Sem an tic - kern el 을 포함한 초 보 자가 비즈니스 논 리 오 케 스트 레이 션 능력 에 주요 관심을 기울 이기 시작 하여 " 위 쪽 " 으로 초점을 맞추 는 것을 볼 수 있습니다 . 아마도 Air f low 와 유사한 DA G 방식을 예 고 할 수 있습니다 . 새로운 세 대의 프로그래밍 패 러 다 임 이 될 수 있습니까 ?

전체 적으로

프 롬 프트 도구

Lang Sm ith 또는 Azure Prom pt F low

프로그래밍 언어 .

Python 또는 JavaScript

프레 임 워크 / 오 케 스트 레이 션 도구 개발

Lang chain 또는 Sem it ic Kern el

API 프레 임 워크 / 서비스 상 자 아 키 텍 처

Fast API 또는 Next . js

클 라우 드 호 스팅 공급 업체

렌 더 링 (A WS Lam ada) 또는 Ver cel

LL M 응용 프로그램 구축

分类	Name	Star数量	备注	学习
框架	LangChain	77	【必学】	*
	LlamaIndex	29	【必学】专注于RAG，Python，JS SDK比较差	*
	Semantic-kernel	17	【不确定？】C#，Python，Java	?
	haystack	13	有了LangChain可能就不需要这个了
	DSPy	7	太学术了？The framework for programming—not prompting—foundation models
Agent	SuperAgent	4	这个感觉很专业，有时间再学习	?
	Rift	3	专门针对程序员
	AutoGen	22
	Camel	4
GPTs	OpenGPTs	6	LangChain出品
低代码	LangFlow		LangChain可视化
	LiteLLM
	Flowise	21
	Langflow	14
	PromptChainer	商业	感觉做的很专业
RAG	vectara	闭源	非常专业的RAG商业软件；也有开源项目；用户可以将PDF、Word、PPT、RTF等文件数据上传至Vectara平台中，构建数据搜索引擎。

아 카 이 빙 및 관찰

分类	Name	Star数量	备注
观察	Obsidian Copilot		一个有趣的方法，用于如何使用语义搜索和 OpenSearch 的 BM25 实现
	Tanuki		一个使用装饰器进行数据验证的 LLM 框架
	griptape	1.5	一个具有稍微更好的内部编码标准的 langchain 替代品
	guidance	16	比传统的提示或链接更有效地控制现代语言模型
	intructor	3.6
	Llmflows	0.5	langchain 的另一个替代品，但在定义工作流程方面有一个有趣的方法
	txtai	6.5	有用于聊天、医学/科学论文工作流程、开发者语义搜索以及标题和故事文本语义搜索的衍生产品
	LiteLLM	5.7	一个简单、轻量级的 LLM 封装器
归档	Chidori	1.2
	AutoChains		已经3个月没更新
	MiniChain	1.2	已经3个月没更新
	SimpleAIChat	3.3	已经7个月没更新

모니터링 및 분석

생산 수준 LL M 서비스는 다음 을 요구 합니다 .

디 버 그 프 롬 프트
프 롬 프트 버전 관리
테스트 / 검 증 시스템 관련 메 트 릭
데이터 세 트 관리
다양한 메 트 릭 모니터링 및 통계 : 방문 , 응답 시간 , 토 큰 수수 료 등

分类	Name	Star数量
SaaS	LangSmith	N/A
开源	LangFuse	2
开源	Prompt Flow	7
	Helicone	1.2

프로 덕 션 레벨 LL M App 유지 관리 플랫폼

** Lang Smith ** : Lang C hain 의 공식 플랫폼 , Saa S 서비스 , ** 비 오픈 소 스 **
** [ L ang F use ] (htt ps : / / git hub . com / Lang f use / lang f use) ** : ** 오픈 소 스 ** + Saa S , Lang Sm ith 플랫폼 , Lang C hain 통합 가능 , Open AI API (2. 1 K)
github.com/microsoft/promptflow?**[Prompt Flow](https:// tab = read me - ov - file) ** : Microsoft ** 오픈 소 스 ** + Sem an tic Kern el (7. 4 K) 통합 Azure AI 클 라우 드 서비스

프 롬 프트 플 로우

공부 하다 .

https://microsoft.github.io/promptflow/how-to-guides/quick-start.html

UI 구성 요 소

LangUI(1.6K)

agentlabs(0.5K)

기타

分类	Name	Star数量	备注
LCEL
Python 模板语言	Jinja2

참조

分类	Name	Star数量	备注
框架	Obsidian Copilot		一个有趣的方法，用于如何使用语义搜索和 OpenSearch 的 BM25 实现
	Tanuki		个使用装饰器进行数据验证的 LLM 框架
	LiteLLM	5.7	一个简单、轻量级的 LLM 封装器
	AutoChain	1.7	langchain 的另一个替代品
	griptape	1.5	一个具有稍微更好的内部编码标准的 langchain 替代品
	txtai	6.5	has spinoffs for chat, workflows for medical/scientific papers, semantic search for developers and semantic search for headlines and story text 有用于聊天、医学/科学论文工作流程、开发者语义搜索以及标题和故事文本语义搜索的衍生产品
	Llmflows	0.5	langchain 的另一个替代品，但在定义工作流程方面有一个有趣的方法
	guidance	16	比传统的提示或链接更有效地控制现代语言模型	*
库	intructor	3.6		*

** E 2 B : AI 제품을 위한 프레 임 워크 와 도구 **

Category	Tools/Platforms
Monitoring, Observability, Analytics	Langsmith, Helicone, langfuse, context
Frontend	AgentLabs
Runtime for LLMs	E2B
Building frameworks & platforms	Langchain, Haystack by deepset, Superagent, Poe, GenWorlds, LiteLLM, Rift by Morph, AutoGen, Vercel AI SDK, OpenGPTs, Huggging Face Agents, Fixie
Data integration, memory management	vectara, LlamaIndex, ABACUS.AI, cadea, SID Memory
API and routers for LLMs	Genoss GPT, Martian, OpenRouter
Libraries for building AI products	CAMEL, ChatterBot（5年没更新了）
Orchestration	AGIXT
Building & deploying LLMs	BANANA

frameworks and tools for AI products