LlamaIndex-статья 2 (QA и оценка)
пример уровня производства
ОК
пользовательский случай:
-
- что * *
-семантический запрос (* * семантический поиск * * / Top K) -Резюме
-
- где * *
- Over documents
- Building a multi-document agent over the LlamaIndex docs структурированные данные Over (например, JSON) Сирчинг панды текстовый перевод в SQL
-
- как * *
все приведенные выше ссылки указывают на: Qantia Patterns ниже
один из самых простых QroomA
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader
documents = SimpleDirectoryReader("data").load_data()
index = VectorStoreIndex.from_documents(documents)
query_engine = index.as_query_engine()
response = query_engine.query("What did the author do growing up?")
print(response)
выберите другой источник данных (Route Datasource)
сравнение / контрастность запросов
я не понимаю этого.
помимо явного синтеза / потоков маршрутизации, описанного выше, LlamaIndex может также поддерживать более общие многодокументные запросы. это можно сделать с помощью нашего класса "SubQuestionQueryEngineering". учитывая запрос, этот механизм запроса будет генерировать "план запросов", содержащий подзапросы к поддокументам, прежде чем синтезировать окончательный ответ.
этот движок запросов может выполнять любое количество подзапросов по любому подмножеству инструментов Query Engine, прежде чем синтезировать окончательный ответ. это делает его особенно подходящим для сравнения / контраста запросов по документам, а также запросов, относящихся к конкретному документу.
LlamaIndex также может поддерживать итеративные многоступенчатые запросы. учитывая сложный запрос, разбить его на начальные подвопросы и последовательно генерировать подвопросы на основе возвращенных ответов до тех пор, пока не будет возвращен окончательный ответ.
например, задав вопрос « кто был в первой партии ускорительной программы, запущенной автором », модуль сначала разлагает запрос на более простой первоначальный вопрос « что было программой ускорителя, которую начал автор? », запрашивает индекс, а затем задаёт последующие вопросы.
Эваль
-Оценка ответа -Поиск оценки
-Оценка ответа -используйте GPT-4 для оценки -Размеры оценки -сгенерированные ответы и справочные ответы: корректность и семантическое сходство -сгенерированный ответ идентичен извлеченным контекстам: * * верность * * -сгенерированный ответ тот же, что и запрос: Response relevancy -retrieved контексты и запрос: * * релевантность контекста * * -Создать справочные ответы -Оценка Поиск (поиск) -как оценить: ранжирование метрик, таких как средний взаимный ранг (MRR), hit-rate, точность и многое другое.
пример использования
интегрироваться в другие инструменты
- UpTrain: 1.9K：可试用，但是需要book demo，目测不便宜
- Tonic Validate(Includes Web UI for visualizing results)：有商业版本，可试用，之后200美元/月
- DeepEval: 1.6K
- Ragas: 4.4K -он чувствует себя хорошо. -Llamaindex-> Ragas-- > LangSmith и другие инструменты -однако, если быстрый запуск не выполняется, он подсказывает `ModuleNotFoundation Error: нет модуля с именем 'ragas.metrics'; 'ragas' не является пакетом '.