Entendendo o “supercomputador sob demanda” Azure HPC

Há muito tempo, alguém disse que apenas 5 computadores são necessários em todo o mundo. Microsoft Azure, Amazon Web Services, Google Cloud Platform, etc. são todos clusters de computação massivamente escaláveis, onde cada servidor e cada centro de dados é outro componente, e você poderia dizer que eles se unem para criar um computador enorme em escala global. ter. Na verdade, muitas das tecnologias que alimentam a nuvem foram originalmente desenvolvidas para construir e operar supercomputadores usando hardware comum de prateleira.
ⓒ Banco de Imagens Getty

Não seria bom criar, construir e executar um sistema de computação de alto desempenho (HPC) que só existe enquanto usa a nuvem para resolver problemas? Você pode pensar na nuvem da mesma forma que os cineastas da Weta Digital pensam em fazendas de renderização: salas de servidores de hardware construídas para efeitos CGI em filmes como King Kong e O Hobbit. A fazenda de renderização serve como um supercomputador temporário para o governo da Nova Zelândia quando não está sendo usada para produção de filmes.

O primeiro estudo de caso em grande escala da nuvem pública concentrou-se nessa parte: usar a nuvem pública para picos temporários de capacidade que no passado usariam hardware HPC local. Isso confirma que economias de custo significativas podem ser alcançadas usando HPC sem investimento em espaço, armazenamento e energia do data center.

Sobre o HPC do Azure

Os recursos de HPC ainda são importantes na nuvem, incluindo o Azure. A nuvem não depende mais de hardware genérico, agora oferece instâncias de computação focadas em HPC e trabalha com provedores de soluções de HPC para fornecer ferramentas especializadas como serviço. Especificamente, trata o HPC como um serviço dinâmico que pode ser executado de forma rápida e fácil, escalável de acordo com os requisitos.

As ferramentas de HPC do Azure são mais bem pensadas como uma coleção de princípios arquitetônicos focados em fornecer o que a Microsoft chama de “grande computação”. A escala massiva do Azure pode ser usada para executar tarefas computacionais em grande escala. Alguns deles serão trabalhos de big data e outros serão mais focados em computação, por exemplo, realizando simulações usando um número limitado de entradas. Os exemplos incluem a criação de simulações baseadas em tempo usando dinâmica de fluidos computacional, ou análise estatística iterativa de Monte Carlo, ou construção e operação de render farms para filmes CGI.

Os recursos de HPC do Azure são projetados para fornecer HPC a uma variedade maior de usuários que não precisam de um supercomputador, mas precisam de um nível de computação mais alto do que as estações de trabalho de engenharia ou que um pequeno cluster de servidores pode fornecer. Nenhum sistema HPC pronto para uso é fornecido, portanto, você precisará criar sua própria infraestrutura de cluster Windows ou Linux com máquinas virtuais focadas em HPC, uma plataforma de armazenamento apropriada e interconexão usando os recursos de rede RDMA de alto rendimento do Azure.

Construindo uma arquitetura HPC na nuvem

Tecnologias como ARM e Bicep são fundamentais para construir e manter ambientes HPC. Como a maior parte da responsabilidade de manutenção é do cliente, é difícil chamá-lo de serviço de plataforma do Azure. Usar a infraestrutura como código como base facilita o manuseio da infraestrutura de HPC com sistemas que podem ser construídos e desmontados conforme necessário. Essa infraestrutura é configurada exatamente da mesma forma sempre que os serviços de HPC são implantados.

A Microsoft oferece uma variedade de tipos de VM para redes HPC. A maioria dos aplicativos usa VMs da série H que são otimizadas para cálculos com uso intenso de CPU para cargas de trabalho computacionalmente exigentes com foco em simulação e modelagem. A série HBv3 oferece até 120 núcleos AMD e 448 GB de RAM. Um único servidor custa US$ 9,12 por hora para Windows e US$ 3,60 por hora para Ubuntu. As redes NVIDIA InfiniBand são úteis para construir clusters de baixa latência para escalabilidade.

Há também opções que oferecem hardware mais antigo a um custo menor, e as VMs menores da série HC e H usam processadores Intel em vez de AMD. Se você precisar adicionar computação GPU ao seu cluster, algumas VMs da série N que oferecem conectividade Infiniband ajudarão você a criar um cluster híbrido de CPU/GPU.

Nem todas as VMs da série H estão disponíveis em todas as regiões do Azure. Portanto, para encontrar o hardware certo para o seu projeto, talvez seja necessário escolher uma região diferente da sua localização. Se for um projeto grande, você deve esperar um orçamento de milhares de dólares por mês, especialmente se adicionar armazenamento e redes. Além de VMs e armazenamento, você provavelmente precisará de um link de alta largura de banda para o Azure para transferir dados e seus resultados.

Depois de selecionar a VM, você precisa selecionar o SO, o agendador e o gerenciador de carga de trabalho. Você pode escolher entre uma variedade de opções no Azure Marketplace ou implantar uma solução de código aberto familiar. Essa abordagem torna relativamente fácil trazer cargas de trabalho de HPC existentes para o Azure ou construir sobre conjuntos de habilidades e cadeias de ferramentas existentes. Os serviços do Azure mais recentes, como suporte a FPGA, também estão disponíveis.

Há também uma parceria com a Cray, que fornece um supercomputador gerenciado que pode ser executado sob demanda, e os conhecidos aplicativos HPC também estão disponíveis no Azure Marketplace, o que simplifica a instalação. No entanto, uma licença pode ser necessária, portanto, prepare-se com antecedência.

Gerenciando HPC com Azure Cycle Cloud

Você não precisa construir toda a arquitetura do zero. O Azure CycleCloud é um serviço que ajuda você a gerenciar armazenamento e agendador e fornece um ambiente para gerenciar ferramentas de HPC. CycleCloud pode ser comparado a ferramentas como ARM. É um meio de criar modelos de infraestrutura que se concentram em um nível mais alto do que VMs, tratando a infraestrutura como um conjunto de nós de computação, implantando VMs conforme necessário usando o agendador de sua escolha e fornecendo dimensionamento automatizado.

Tudo pode ser gerenciado por meio de um único painel de vidro, e seu próprio portal para ajudar a gerenciar recursos de computação e armazenamento é integrado às ferramentas de monitoramento do Azure. Também existem APIs que permitem que você escreva suas próprias extensões para adicionar automação. CycleCloud não está incluído no portal do Azure, ele é instalado como uma VM com sua própria interface do usuário baseada na web.

Grande Computação com Lote do Azure

A maioria das ferramentas de HPC do Azure são IaaS, mas também há opções de plataforma na forma de Lote do Azure. As implantações do Azure são projetadas para cargas de trabalho inerentemente paralelas, como simulações de Monte Carlo, em que cada parte de um aplicativo paralelo é independente de todas as outras partes (embora as fontes de dados possam ser compartilhadas). Este modelo é adequado para tarefas de ciências da vida, como renderização de quadros de filmes CGI ou análise de sequências de DNA. Os clientes devem trazer seu próprio software para executar trabalhos, criados para a API em lote. As implantações são sensíveis ao custo, mas não dependem do tempo, portanto, você pode usar instâncias spot de VM para executar trabalhos quando a capacidade estiver disponível.

Você não poderá executar todos os trabalhos de HPC em lotes do Azure, mas os trabalhos executáveis ​​oferecem opções de dimensionamento interessantes que reduzem os custos ao mínimo. O serviço de monitor é útil para gerenciar trabalhos em lote que podem executar milhares de instâncias simultaneamente. Recomenda-se preparar os dados com antecedência e usar aplicativos separados de pré e pós-processamento para processar os dados de entrada e saída.

Usar o Azure como um supercomputador DIY também é uma boa ideia. As VMs da série H são servidores poderosos que fornecem recursos avançados de computação. Há suporte para ferramentas familiares para que você possa criar novos aplicativos sem a necessidade de migrar cargas de trabalho locais para o Azure HPC ou aprender ferramentas totalmente novas. A única chave é a economia. A questão será se o custo do HPC sob demanda oferece os benefícios de migrar de seu próprio data center para o Azure.
[email protected]


Source: ITWorld Korea by www.itworld.co.kr.

*The article has been translated based on the content of ITWorld Korea by www.itworld.co.kr. If there is any problem regarding the content, copyright, please leave a report below the article. We will try to process as quickly as possible to protect the rights of the author. Thank you very much!

*We just want readers to access information more quickly and easily with other multilingual content, instead of information only available in a certain language.

*We always respect the copyright of the content of the author and always include the original link of the source article.If the author disagrees, just leave the report below the article, the article will be edited or deleted at the request of the author. Thanks very much! Best regards!