Hands On – LLMs Locais: Baixo Custo e Privacidade

Recomendações

O Hollama é um projeto que fornece uma interface amigável para uso dos modelos de linguagem executados em backgrouds pelo Ollama. A interação ocorre através de um chat, com histórico de conversa, adição de conhecimentos e de fácil alternância de modelos.

Conheça mais do projeto em https://github.com/fmaclen/hollama

Open WebUI  é uma outra interface mais completa, com gestão de contas e de sessões para interação com o modelos de linguagem. Permite criação de contas, com login e senha, isolando as conversas em contextos privados.

O Ollama é uma ferramenta de código aberto (open source) desenvolvida em Go, feita para trabalhar com grandes modelos de linguagem em ambiente local. Oferece uma interface de gerenciamento amigável e prática através do do CLI, com comando simples e diretos, o que possibilita o uso de vários modelos de linguagem.

Erick Wendel é um Desenvolvedor que tem produzido conteúdo em seu Canal do Youtube com a ferramente Ollama, um dos seus recentes videos mostra como hospedar em VPS uma LLMs e uma Interface de interação.

Veja o tutorial em Como Rodar Modelos de IA na Sua Máquina e na nuvem (deepseek, gemma, docker e mais)

O Groq é um marketplace de LLMs que oferece uma cota gratuita generosa, ideal para testes iniciais de modelos em fases preliminares de desenvolvimento. Ele conta com um Playground visual, onde você pode escolher o modelo, configurar o agente (agent), ajustar parâmetros como temperature, entre outras definições. Além disso, permite consumir LLMs via API dentro da cota gratuita, sem exigir cartão de crédito.

  • Conheça mais em groq.com na opção Dev Console

Filipe Lauar atua como Engenheiro de Machine Learning e, em seu tempo livre, dedica-se à produção de conteúdos de divulgação sobre o tema. Em seu podcast, que já ultrapassa 100 episódios, ele comenta papers, entrevista profissionais da área e compartilha suas próprias percepções sobre a engenharia por trás do Machine Learning.

background-sample
profile-picture

Maxson Almeida1 contribuições

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Entrar

Rolar para cima