Promptfoo

Biblioteca de testes para prompts de LLM

Produto ComumProdutividadeLLMTeste de prompts

Promptfoo é uma biblioteca usada para avaliar a qualidade e testar prompts de LLM. Ela permite criar casos de teste, definir métricas de avaliação e integrar-se a fluxos de teste e CI existentes. O Promptfoo também oferece um visualizador web que facilita a comparação de diferentes prompts e saídas de modelos. É utilizada em aplicativos LLM que atendem mais de 10 milhões de usuários.

Criar listas de casos de teste
Utilizar métricas de avaliação predefinidas ou personalizadas
Comparar diferentes prompts e saídas de modelos

Utilizado para avaliar a qualidade e testar prompts de LLM

Avaliar a precisão do texto gerado pelo LLM
Testar a influência de diferentes prompts na saída do modelo
Comparar o desempenho de diferentes modelos com o mesmo prompt

Abrir Site

Promptfoo Situação do Tráfego Mais Recente

Total de Visitas Mensais

123019

Taxa de Rejeição

47.36%

Média de Páginas por Visita

1.7

Duração Média da Visita

00:00:48

Promptfoo Tendência de Visitas

Promptfoo Distribuição Geográfica das Visitas

Promptfoo Fontes de Tráfego

Promptfoo Alternativas

Promptfoo — Biblioteca de testes para prompts de LLM

Produtividade

•LLM•Teste de prompts

1530

Awesome-LLM-Post-training — Un repositorio de recursos de tutoriales, estudios y guías sobre métodos de post-entrenamiento de modelos lingüísticos de gran tamaño (LLM).

Best AI Websites & Tools

Promptfoo

Promptfoo Situação do Tráfego Mais Recente

Promptfoo Tendência de Visitas

Promptfoo Distribuição Geográfica das Visitas

Promptfoo Fontes de Tráfego

Promptfoo Alternativas

Promptfoo — Biblioteca de testes para prompts de LLM

Awesome-LLM-Post-training — Un repositorio de recursos de tutoriales, estudios y guías sobre métodos de post-entrenamiento de modelos lingüísticos de gran tamaño (LLM).

l1m — Uma API proxy usada para extrair dados estruturados de texto e imagens, implementada com base em LLMs.

Gerador de Firecrawl LLMs.txt — Ferramenta para gerar arquivos de texto integrados de sites para treinamento e inferência de LLM

Hugo Translator — Outil de traduction d'articles basé sur les LLM, traduisant et créant automatiquement des fichiers Markdown multilingues.

Agentes Aviator — Uma estrutura de agente baseada em LLM para executar migrações de código em larga escala em repositórios de código.

llm-commit — Un plugin pour générer des messages de commit Git avec un LLM

Crawl4LLM — Uma ferramenta de web scraping eficiente para pré-treinamento de LLM, focada em extração eficiente de dados de alta qualidade.

hallucination-leaderboard — Um ranking que compara a taxa de alucinação de grandes modelos de linguagem (LLMs) ao resumir documentos curtos.

VisionAgent — O VisionAgent é uma biblioteca para gerar código que resolve tarefas de visão computacional, suportando diversos provedores de LLM.

OmniParser V2 — OmniParser V2 é uma tecnologia que transforma qualquer LLM em um agente utilizável por computador.

Supametas.AI — Plataforma de processamento de dados não estruturados que ajuda as empresas a construir rapidamente conjuntos de dados setoriais e integrá-los ao banco de conhecimento LLM RAG.

stocks-insights-ai-agent — Aplicativo full-stack baseado em LLM e LangChain para recuperação de dados e notícias de ações.

OpenDeepResearcher — Uma ferramenta de pesquisa profunda baseada em IA que busca informações continuamente até atender às necessidades de consulta do usuário.

DocETL — Um sistema de processamento de dados impulsionado por LLM.

DocWrangler — Um ambiente de desenvolvimento interativo de código aberto para construir e otimizar pipelines de processamento de dados baseados em LLMs.

llm-datasets — Conjunto de dados, ferramentas e conceitos de alta qualidade para o ajuste fino de modelos de linguagem grandes.

FlashInfer — FlashInfer é uma biblioteca de kernels de GPU de alto desempenho para serviços de modelos de linguagem grandes.

llmstxt-generator — Ferramenta para gerar arquivos de texto integrados de conteúdo de sites para treinamento e inferência de LLM.

CodebaseToPrompt — Ferramenta que converte arquivos locais em prompts estruturados para modelos de linguagem grandes.

Incorporação de Documentos — Utiliza tecnologia de IA composta para processar documentos em linha, superando a diferença de modalidades.

IdentityRAG — Ferramenta LLM para pesquisa, unificação e recuperação de dados de clientes

LangWatch — Monitore, avalie e otimize seus aplicativos LLM

PromptWizard — Estrutura de otimização de prompts baseada em percepção de tarefa

Visualizador GraphRAG — Uma ferramenta web para visualizar e explorar a ferramenta GraphRAG da Microsoft.

Flow by Laminar — Motor de tarefas leve para construir agentes de IA com estado, suportando diversos tipos de processamento de tarefas.

ElevenLabs Conversational AI — Implemente rapidamente um agente de IA conversacional

AI-Data-Analysis-MultiAgent — Sistema de análise de dados multiagente impulsionado por IA

Gerador de llms.txt — Gera um arquivo llms.txt para auxiliar LLMs a usar seu site durante a inferência.

aisuite — Acesso unificado a múltiplos serviços de IA generativa