Phi-3-mini-128k-instruct-onnx

Modelo Phi-3 Mini-128K-Instruct otimizado para ONNX, promovendo aceleração na inferência.

Novo Produto PremiumProgramaçãoProcessamento de Linguagem NaturalModelos de Linguagem Grandes

O Phi-3 Mini é um modelo de código aberto leve e de ponta, construído sobre os dados sintéticos e o site filtrado usados pelo Phi-2, focando em dados de inferência intensiva e alta qualidade. Este modelo pertence à série Phi-3, e a versão mini possui duas variantes com suporte para comprimentos de contexto de 4K e 128K. O modelo passou por um rigoroso processo de aprimoramento, incluindo ajuste fino supervisionado e otimização de preferência direta, para garantir o cumprimento preciso das instruções e fortes medidas de segurança. Esses modelos Phi-3 Mini otimizados para ONNX podem ser executados de forma eficiente em CPU, GPU e dispositivos móveis. A Microsoft também lançou a API ONNX Runtime Generate(), simplificando o uso do Phi-3.

• Suporta formato ONNX
acelerando a inferência em CPU
GPU e dispositivos móveis.
• Oferece diversas configurações otimizadas
incluindo quantização int4 para DirectML
quantização fp16 e int4 para GPUs NVIDIA e quantização int4 para CPU e dispositivos móveis.
• Treinado com aprimoramentos
garantindo o cumprimento preciso das instruções e forte segurança.
• Design leve
focado em dados de inferência intensiva e alta qualidade.

• Pesquisadores e desenvolvedores de aprendizado de máquina podem utilizar este modelo otimizado para melhorar o desempenho da inferência.
• Empresas e organizações que precisam implementar modelos de linguagem grandes em diferentes dispositivos (servidores
Windows
Linux
Mac

1. Uma empresa de tecnologia pode usar o modelo Phi-3 Mini para construir um agente de diálogo de alto desempenho
fornecendo serviço automatizado de perguntas e respostas aos clientes.
2. Uma agência de notícias pode utilizar este modelo para gerar automaticamente resumos e títulos de notícias de alta qualidade.
3. Pesquisadores podem usar este modelo para experimentos e pesquisas relacionados ao processamento de linguagem natural
explorando novos usos de modelos de linguagem.

1. Baixe o arquivo do modelo ONNX adequado à sua configuração de hardware do repositório GitHub.
2. Instale os pacotes Python necessários
como ONNX Runtime e transformers.
3. Utilize a API ONNX Runtime Generate() para carregar o modelo e realizar a inferência.
4. Prepare seu texto de entrada ou instruções.

Abrir Site

Phi-3-mini-128k-instruct-onnx Situação do Tráfego Mais Recente

Total de Visitas Mensais

29742941

Taxa de Rejeição

44.20%

Média de Páginas por Visita

5.9

Duração Média da Visita

00:04:44

Phi-3-mini-128k-instruct-onnx Tendência de Visitas

Phi-3-mini-128k-instruct-onnx Distribuição Geográfica das Visitas

Best AI Websites & Tools

Phi-3-mini-128k-instruct-onnx

Phi-3-mini-128k-instruct-onnx Situação do Tráfego Mais Recente

Phi-3-mini-128k-instruct-onnx Tendência de Visitas

Phi-3-mini-128k-instruct-onnx Distribuição Geográfica das Visitas

Phi-3-mini-128k-instruct-onnx Fontes de Tráfego

Phi-3-mini-128k-instruct-onnx Alternativas

Phi-3-mini-128k-instruct-onnx — Modelo Phi-3 Mini-128K-Instruct otimizado para ONNX, promovendo aceleração na inferência.

O1-Journey — O1 Jornada de Replicação: Relatório de Progresso Estratégico - Parte 1

OneGen — Estrutura de geração e recuperação unificada e eficiente de passagem única, adequada para modelos de linguagem grandes.

LongCite — Permite que modelos de linguagem grandes gerem citações granulares em perguntas e respostas de textos longos.

iText2KG — Constrói grafos de conhecimento incrementalmente usando modelos de linguagem grandes

Phi-3-mini-4k-instruct-onnx — Modelo ONNX quantizado Phi-3 Mini, suporta aceleração de inferência em várias plataformas de hardware.

LLM Talvez LongLM — Expansão da janela de contexto de modelos de linguagem grandes

sd4j — Implementação Java otimizada para inferência do Stable Diffusion

RoleLLM — Estrutura de RPG para Modelos de Linguagem Grandes

Modelo de Incorporação de Texto Gemini Embedding — Gemini Embedding é um modelo de incorporação de texto avançado que fornece poderosas habilidades de compreensão de linguagem por meio da API Gemini.

AoT — Atom of Thoughts (AoT) é um framework usado para melhorar o desempenho de inferência de modelos de linguagem grandes.

NeoBase — NeoBase é um assistente de banco de dados AI de código aberto que permite que você interaja com o banco de dados usando linguagem natural.

Spark-TTS — Spark-TTS é um modelo de síntese de voz de fluxo único desacoplado eficiente baseado em modelos de linguagem grandes.

Instella — Instella é um modelo de linguagem de código aberto de alto desempenho desenvolvido pela AMD, projetado para acelerar o desenvolvimento de modelos de linguagem de código aberto.

Clone — Clone é um robô humanoide com tecnologia de músculos artificiais revolucionária Myofiber, capaz de caminhar naturalmente.

ViDoRAG — ViDoRAG é uma estrutura de agente de raciocínio iterativo dinâmico que combina recuperação de documentos visuais com geração aprimorada.

Microsoft Dragon Copilot — O Microsoft Dragon Copilot é um espaço de trabalho de IA para o setor de saúde que simplifica o fluxo de trabalho de documentação clínica e aumenta a eficiência.

Migician — Migician é um modelo de linguagem grande multimodal focado na localização de imagens múltiplas, capaz de realizar localização precisa de imagens múltiplas de forma livre.

Agente de Busca Level-Navi — O Agente Level-Navi é uma estrutura pronta para uso, sem necessidade de treinamento, que utiliza modelos de linguagem grandes para compreensão profunda de consultas e busca precisa.

IndexTTS — Sistema de texto para voz (TTS) de amostra zero, eficiente e controlável em nível industrial

olmOCR — O olmOCR é um pacote de ferramentas para linearizar PDFs para treinamento de conjuntos de dados de LLMs.

Extensões de IA do Raycast — O Raycast lança o AI Extensions, permitindo que você converse e execute tarefas em aplicativos de computador por meio de comandos em linguagem natural.

MLGym — O MLGym é uma nova estrutura e benchmark para avançar a pesquisa de agentes de IA.

tablegpt-agent — Agente pré-construído do TableGPT2 para tarefas de perguntas e respostas baseadas em tabelas.

bRAG-langchain — Um projeto de código aberto para construir aplicativos de Geração Aumentada por Busca (Retrieval-Augmented Generation - RAG).

Qwen — Qwen Chat é uma ferramenta de bate-papo de inteligência artificial baseada em um modelo de linguagem avançado, oferecendo conversas inteligentes e diversas funcionalidades.

FlexHeadFA — Mecanismo de atenção preciso, rápido e eficiente em termos de memória.

FlashMLA — FlashMLA é um núcleo de decodificação MLA eficiente otimizado para GPU Hopper, adequado para serviços de sequência de comprimento variável.

VLM-R1 — O VLM-R1 é um modelo de linguagem visual reforçado estável e versátil, focado em tarefas de compreensão visual.

Moonlight-16B-A3B — Moonlight-16B-A3B é um modelo de especialista misto de 16B parâmetros treinado com o otimizador Muon, projetado para geração de linguagem eficiente.