AI

Aprendizado profundo alcançando limites computacionais, alerta para novo estudo do MIT

Aprendizado profundo alcançando limites computacionais, alerta para novo estudo do MIT


We are searching data for your request:

Forums and discussions:
Manuals and reference books:
Data from registers:
Wait the end of the search in all databases.
Upon completion, a link will appear to access the found materials.

Pesquisadores do Massachusetts Institute of Technology, do MIT-IBM Watson AI Lab, do Underwood International College e da Universidade de Brasília descobriram que estamos atingindo os limites computacionais para o aprendizado profundo. O novo estudo afirma que o progresso do aprendizado profundo veio com um "apetite voraz por poder de computação" e que o desenvolvimento contínuo exigirá métodos "dramaticamente" mais eficientes do ponto de vista computacional.

RELACIONADO: E-SKIN DE APRENDIZAGEM PROFUNDA PODE DECODIFICAR MOVIMENTO HUMANO COMPLEXO

“Mostramos que o aprendizado profundo não é caro do ponto de vista computacional por acidente, mas por design. A mesma flexibilidade que o torna excelente na modelagem de diversos fenômenos e desempenho superior aos modelos especialistas também o torna dramaticamente mais caro em termos computacionais ”, escreveram os co-autores.

Os pesquisadores analisaram 1,058 artigos de pesquisa encontrados no repositório de pré-impressão arXiv, bem como outras fontes de referência, para entender como o desempenho do aprendizado profundo depende do poder computacional nos domínios de classificação de imagens, detecção de objetos, resposta a perguntas, reconhecimento de entidades nomeadas e tradução automática. Para entender por que o aprendizado profundo é tão caro do ponto de vista computacional, os pesquisadores analisaram ainda mais sua escala estatística e computacional na teoria.

Eles fizeram isso conduzindo duas análises separadas de requisitos computacionais: (1) Computação por passagem de rede (o número de operações de ponto flutuante necessárias para uma única passagem na rede) e (2) carga de hardware (a capacidade computacional do hardware usado para treinar o modelo). Os pesquisadores descobriram que apenas três anos de melhoria algorítmica foi equivalente a um 10 vezes aumentam no poder de computação.

Eles concluíram que, se o progresso continuar nas mesmas linhas, os requisitos computacionais do aprendizado profundo rapidamente se tornarão técnica, econômica e ambientalmente proibitivos. No entanto, nem tudo está perdido.

“Apesar disso, descobrimos que a carga computacional real dos modelos de aprendizado profundo está aumentando mais rapidamente do que os limites inferiores (conhecidos) da teoria, sugerindo que melhorias substanciais podem ser possíveis”, escreveram os co-autores.

Os pesquisadores descobriram que há melhorias no aprendizado profundo no nível algorítmico ocorrendo o tempo todo. Alguns deles incluem aceleradores de hardware, matrizes de portas programáveis ​​em campo (FPGAs) e circuitos integrados de aplicativos específicos (ASICs). O tempo dirá se o aprendizado profundo se tornará mais eficiente ou será totalmente substituído.


Assista o vídeo: 12. Machine Learning for Pathology (Dezembro 2022).