Como você pode ter visto, o OpenAI acaba de lançar dois novos modelos de IA-GPT-OSS-20B e GPT-ROSS-120B-que são os primeiros modelos de peso aberto da empresa desde o GPT-2.
Esses dois modelos – um é mais compacto e o outro muito maior – são definidos pelo fato de você pode executá -los localmente. Eles funcionarão no seu PC ou laptop para desktop – no dispositivo, sem necessidade de ficar on -line ou tocar na potência da nuvem, desde que seu hardware seja poderoso o suficiente.
Portanto, você pode baixar a versão 20B-ou, se o seu PC é uma máquina poderosa, a rotação de 120b-e brincar com ele no seu computador, verifique como ele funciona (de maneira texto para texto) e como o modelo pensa (todo o seu processo de raciocínio é dividido em etapas). E, de fato, você pode ajustar e desenvolver esses modelos abertos, embora os corrimões de segurança e medidas de censura estejam, é claro, em vigor.
Mas que tipo de hardware você precisa para executar esses modelos de IA? Neste artigo, estou examinando os requisitos de especificações do PC para o GPT-OSS-20B-o modelo mais restrito empacotando 21 bilhões de parâmetros-e o GPT-ROSS-120B, que oferece 117 bilhões de parâmetros. O último foi projetado para uso do data center, mas será executado em um PC de ponta, enquanto o GPT-ROSS-20B é o modelo projetado especificamente para dispositivos de consumo.
De fato, ao anunciar esses novos modelos de IA, Sam Altman referenciou 20b trabalhando não apenas em laptops comuns, mas também em smartphones-mas basta dizer que é um ambicioso Reivindicação, que voltarei mais tarde.
Esses modelos podem ser baixados de Hugging Face (aqui está GPT -OSS – 20B E aqui está GPT-OSS-120B) sob a licença Apache 2.0, ou para os meramente curiosos, há um online Demo que você pode conferir (Não é necessário download).
O modelo menor GPT-20B
RAM mínima necessária: 16 GB
O funcionário Documentação do OpenAI Simplesmente estabelece uma quantidade necessária de RAM para esses modelos de IA, que no caso desse esforço mais compacto do GPT-20B é de 16 GB.
Isso significa que você pode executar o GPT-20B em qualquer laptop ou PC que tenha 16 GB de memória do sistema (ou 16 GB de RAM de vídeo ou uma combinação de ambos). No entanto, é muito mais um caso, o mais alegre – ou mais rápido. O modelo pode servir junto com esse mínimo de 16 GB e, idealmente, você vai querer um pouco mais na torneira.
Quanto às CPUs, A AMD recomenda O uso de uma CPU da série Ryzen AI 300 emparelhada com 32 GB de memória (e metade disso, 16 GB, defina como memória gráfica variável). Para a GPU, a AMD recomenda qualquer modelo RX 7000 ou 9000 que possua 16 GB de memória-mas esses não são requisitos rígidos e rápidos.
Realmente, o fator -chave é simplesmente ter memória suficiente – a alocação de 16 GB mencionada e, de preferência, ter tudo isso na sua GPU. Isso permite que todo o trabalho ocorra na placa gráfica, sem ser desacelerado, tendo que descarregar parte dela para a memória do sistema do PC. Embora a chamada mistura de especialistas, ou MOE, o Design OpenAI tenha usado aqui, ajude a minimizar qualquer arrasto de desempenho, felizmente.
Anedoticamente, para escolher um exemplo retirado de RedditGPT-OSS-20B funciona bem em um MacBook Pro M3 com 18 GB.
O modelo GPT-OSS-120B maior
RAM NECESSÁRIO: 80 GB
É o mesmo acordo geral com o modelo mais robusto GPT-120B, exceto como você pode imaginar, você precisa bastante mais memória. Oficialmente, isso significa 80 GB, embora lembre -se de que você não precisa ter toda essa RAM na sua placa de gráfico. Dito isto, esse grande modelo de IA é realmente projetado para uso do data center em uma GPU com 80 GB de memória a bordo.
No entanto, a alocação de RAM pode ser dividida. Portanto, você pode executar o GPT-OSS-120B em um computador com 64 GB de memória do sistema e uma placa gráfica de 24 GB (um NVIDIA RTX 3090 Ti, por exemplo, conforme isso Redditor), o que ganha um total de 88 GB de RAM reunido.
A recomendação da AMD neste caso, em termos de CPU, é para o seu processador Ryzen AI max+ 395 de primeira linha, acoplado a 128 GB de RAM do sistema (e 96 GB da que alocou como memória gráfica variável).
Em outras palavras, você está olhando para um laptop ou desktop de estação de trabalho de ponta (talvez com várias GPUs) para o GPT-OSS-120B. No entanto, você poderá se safar um pouco menos do que os 80 GB estipulados de memória, passando por alguns relatórios anedóticos – embora eu não fosse apostada por nenhum meio.
Como executar esses modelos no seu PC
Supondo que você atenda aos requisitos do sistema descritos acima, você pode executar qualquer um desses novos lançamentos do GPT-OSS no Ollama, que é a plataforma de escolha do OpenAI para usar esses modelos.
Vá aqui para pegar Oilama Para o seu PC (Windows, Mac ou Linux) – clique no botão para baixar o executável e, quando terminar de baixar, clique duas vezes no arquivo executável para executá -lo e clique Instalar.
Em seguida, execute os dois comandos a seguir em Ollama para obter e execute o modelo desejado. No exemplo abaixo, estamos executando o GPT-20B, mas se você deseja o modelo maior, basta substituir 20b por 120b.
ollama pull gpt-oss:20b
ollama run gpt-oss:20bSe você preferir outra opção em vez de Ollama, você pode usar LM Studio Em vez disso, usando o seguinte comando. Novamente, você pode alternar 20b por 120b, ou vice-versa, conforme apropriado:
lms get openai/gpt-oss-20bOs usuários do Windows 11 (ou 10) podem exercer a opção de fundição do Windows AI (gorjeta de chapéu para A beira).
Nesse caso, você precisará instalar a fundição local – há uma ressalva aqui, e é que isso ainda está em visualização – confira este guia Para as instruções completas sobre o que fazer. Além disso, observe que, no momento, você precisará de uma placa gráfica da NVIDIA com 16 GB de VRAM a bordo (embora outras GPUs, como os modelos AMD Radeon, sejam suportados eventualmente – lembre -se, essa ainda é uma versão de visualização).
Além disso, o suporte a MacOS está “chegando em breve”, nos disseram.
E quanto aos smartphones?
Como observado desde o início, enquanto Sam Altman disse que o modelo menor de IA é executado em um telefone, essa declaração está pressionando.
É verdade, a Qualcomm emitiu um Comunicado de imprensa (como avistado por Autoridade Android) Sobre o GPT-20B em execução em dispositivos com um chip Snapdragon, mas isso é mais sobre laptops-Copilot+ PCs que possuem Snapdragon X Silicon-em vez de CPUs de smartphone.
A execução do GPT-OSS-20B não é uma proposta realista para os telefones de hoje, embora possa ser possível em um sentido técnico (supondo que seu telefone tenha 16 GB+ RAM). Mesmo assim, duvido que os resultados sejam impressionantes.
No entanto, não estamos longe de colocar esses tipos de modelos correndo corretamente em celulares, e isso certamente estará nos cartões no futuro o suficiente.
Fique conectado