1. TugaTech » Internet e Redes » Noticias da Internet e Mercados
Siga-nos

Nvidia logo da empresa

 

A NVIDIA certamente que possui conhecimentos na área da IA, sendo uma das maiores fabricantes de chips focados em processamento de modelos LLM e deste género de tecnologias. Nomes como a OpenAI e Microsoft usam os chips da empresa para os seus serviços de IA.

 

Mas agora, a empresa pretende trazer um pouco dessa capacidade de processamento também para os utilizadores em geral. Recentemente a empresa revelou o TensorRT-LLM, uma nova tecnologia que vai ficar disponível para utilizadores em sistemas Windows, e que permite aproveitar um pouco das capacidades de processamento das placas RTX para modelos LLM.

 

O TensorRT-LLM permite que modelos LLM sejam processados até quatro vezes mais rapidamente em placas gráficas da linha RTX, o que permite aos utilizadores executarem este género de funcionalidades de IA nos seus próprios sistemas.

 

A NVIDIA classifica o TensorRT-LLM como uma aposta para o futuro, aumentando a possibilidade tanto de consumidores em geral como de programadores usarem tecnologias de LLM nos seus próprios computadores.

Por exemplo, os utilizadores podem conjugar esta capacidade com o LLaMa 2, de forma a usarem o LLM localmente, e sem necessitarem de plataformas externas para tal.

 

exemplo de modelo LLM em funcionamento com sistema da nvidia

 

A ferramenta deve ficar disponível brevemente no site da NVIDIA.

Nenhum comentário

Seja o primeiro!





Aplicações do TugaTechAplicações TugaTechDiscord do TugaTechDiscord do TugaTechRSS TugaTechRSS do TugaTechSpeedtest TugaTechSpeedtest TugatechHost TugaTechHost TugaTech