A NVIDIA certamente que possui conhecimentos na área da IA, sendo uma das maiores fabricantes de chips focados em processamento de modelos LLM e deste género de tecnologias. Nomes como a OpenAI e Microsoft usam os chips da empresa para os seus serviços de IA.
Mas agora, a empresa pretende trazer um pouco dessa capacidade de processamento também para os utilizadores em geral. Recentemente a empresa revelou o TensorRT-LLM, uma nova tecnologia que vai ficar disponível para utilizadores em sistemas Windows, e que permite aproveitar um pouco das capacidades de processamento das placas RTX para modelos LLM.
O TensorRT-LLM permite que modelos LLM sejam processados até quatro vezes mais rapidamente em placas gráficas da linha RTX, o que permite aos utilizadores executarem este género de funcionalidades de IA nos seus próprios sistemas.
A NVIDIA classifica o TensorRT-LLM como uma aposta para o futuro, aumentando a possibilidade tanto de consumidores em geral como de programadores usarem tecnologias de LLM nos seus próprios computadores.
Por exemplo, os utilizadores podem conjugar esta capacidade com o LLaMa 2, de forma a usarem o LLM localmente, e sem necessitarem de plataformas externas para tal.
A ferramenta deve ficar disponível brevemente no site da NVIDIA.
Nenhum comentário
Seja o primeiro!