O manual de software corporativo parecia claro: tudo se move para a nuvem eventualmente. Aplicativos, bancos de dados, armazenamento: todos seguiram o mesmo arco inevitável, desde o local até o software como serviço.
Mas com a chegada e o boom da inteligência artificial, estamos vendo uma história diferente, onde a nuvem é apenas um capítulo e não o livro inteiro.
Diretor de SaaS e Infraestrutura da Speechmatics.
Sistemas de IA
As cargas de trabalho de IA são bestas fundamentalmente diferentes dos aplicativos corporativos que definiram a onda de migração em nuvem. O software tradicional escala previsivelmente, processa dados em lotes e pode tolerar alguma latência.
Os sistemas de IA não são determinísticos, requerem processamento paralelo maciço e geralmente precisam responder em tempo real. Essas diferenças remodelam toda a equação econômica de onde e como você administra sua infraestrutura.
Aceite o desafio de trabalhos de treinamento de longa duração. Os modelos de aprendizado de máquina não treinam dentro do cronograma; Eles treinam até convergirem. Isso pode ser horas, dias ou semanas. Os provedores de nuvem se destacam no fornecimento de infraestrutura a curto prazo, mas a capacidade da GPU em hiperescaladores pode ser difícil de obter sem uma reserva de 1 ano.
O resultado está pagando pela capacidade garantida que você pode não usar totalmente ou arriscar que seu trabalho de treinamento seja interrompido ao usar instâncias à vista para reduzir custos.
Depois, há o desafio de inferência. Ao contrário dos aplicativos da Web que podem ver picos de tráfego durante a Black Friday, os serviços de IA geralmente precisam escalar continuamente à medida que o uso do cliente cresce.
Os modelos de preços baseados em token que governam grandes modelos de idiomas tornam essa escala imprevisível de maneiras que os preços tradicionais por solicitação nunca foram. Uma consulta única do cliente pode consumir 10 tokens ou 10.000, dependendo da complexidade da resposta e do tamanho da janela de contexto.
Abordagens híbridas
O desenvolvimento mais intrigante envolve empresas que descobrem abordagens híbridas que reconhecem esses requisitos exclusivos em vez de abandonar a nuvem. Eles estão usando infraestrutura local para a linha de base, cargas de trabalho previsíveis, alavancando os recursos em nuvem para explosões de demanda genuínas.
Eles estão co-localizando servidores mais próximos dos usuários para aplicativos sensíveis à latência, como a IA conversacional. Eles estão descobrindo que possuir sua infraestrutura principal lhes dá estabilidade para experimentar mais livremente com serviços em nuvem para casos de uso específicos.
Essa evolução está sendo acelerada por requisitos regulamentares que simplesmente não se encaixam no modelo de primeira linha. Serviços financeiros, assistência médica e clientes do governo geralmente não podem permitir que os dados deixem suas instalações.
Para esses setores, a inferência local ou no dispositivo representa um requisito de conformidade em vez de uma preferência. Em vez de ser uma limitação, essa restrição está impulsionando a inovação na computação de borda e hardware especializado que torna a implantação local de IA cada vez mais viável.
Estratégias de infraestrutura
Os provedores de nuvem não estão parados, é claro. Eles estão desenvolvendo serviços específicos de IA, melhorando o acesso à GPU e criando novos modelos de preços. Mas a incompatibilidade fundamental entre os requisitos de recursos da IA e a economia em nuvem tradicional sugere que o futuro não será uma reprodução simples da revolução SaaS.
Em vez disso, estamos indo para uma paisagem mais sutil, onde diferentes tipos de cargas de trabalho de IA encontram suas casas naturais. A experimentação e a prototipagem rápida provavelmente permanecerão nativas em nuvem. A inferência de produção por produtos estabelecidos pode se aproximar da infraestrutura de propriedade. As execuções de treinamento podem dividir-se entre as instâncias de ponto em nuvem para eficiência de custos e hardware dedicado para o desenvolvimento de modelos críticos da missão.
A abordagem representa um passo em direção a estratégias de infraestrutura que atendem às necessidades reais dos sistemas de IA, em vez de forçá -los a padrões projetados para diferentes tipos de computação
As empresas de IA mais bem-sucedidas da próxima década provavelmente serão aquelas que pensam além das suposições da nuvem e criarão estratégias de infraestrutura tão sofisticadas quanto seus algoritmos.
Nós apresentamos o melhor armazenamento em nuvem.
Este artigo foi produzido como parte do canal especialista da TechRadarPro, onde apresentamos as melhores e mais brilhantes mentes do setor de tecnologia hoje. As opiniões expressas aqui são as do autor e não são necessariamente as do TechRadarpro ou do Future Plc. Se você estiver interessado em contribuir, descubra mais aqui:
Fique conectado