Como funcionam a IA e o LLM

Pensamento redutor

O discurso em torno da inteligência artificial está a evoluir lentamente. Do fascínio feliz à desconfiança justificada, estamos a chegar a um ceticismo curioso, à medida que o campo continua a inovar a grande velocidade. No entanto, a compreensão geral que os utilizadores têm da ferramenta resume-se muitas vezes a generalizações como "a IA aplica algoritmos estatísticos". Sim, faz isso, mas faz muito mais do que isso. Para avançarmos na nossa compreensão, temos de ir mais longe.

O objetivo dos investigadores de IA é encontrar formas de reproduzir e aplicar praticamente todas as operações mentais que realizamos. Observamos, calculamos, avaliamos, concluímos, verificamos, tentamos de novo e refazemos estes processos, atribuindo um valor de confiança a cada elemento e a cada experiência.

Por exemplo, se aprendermos algo e observarmos que três vezes em quatro funciona, perguntamo-nos também porque é que não funcionou da quarta vez e o que devemos mudar ou que experiência fazer para identificar os elementos de sucesso. A partir daí, podemos fazer melhorias.

Foi este tipo de processamento de dados que permitiu aos robots desenvolver uma abordagem mais eficaz do que a que tinha sido programada no início. Não andamos da mesma forma numa superfície dura como andamos na areia, na neve ou no gelo. Recolhemos informação e processamo-la de várias formas em simultâneo ou em várias fases, e desenvolvemos respostas adaptadas.

Publicações de investigadores

Seguem-se sete publicações recentes que ajudam a compreender o funcionamento dos modelos de linguagem de grande dimensão (LLM). Descrevem os fundamentos teóricos, as ideias práticas e oferecem provas empíricas.

Discutem a evolução dos LLM, como são preparados (pré-treino), como são ajustados, que estratégias são utilizadas e como é avaliado o seu desempenho. É também discutida a sua adaptação a diferentes contextos e escalas; há diferenças entre o processamento de milhares de milhões de dados sobre um único sujeito e o de algumas centenas sobre milhares de sujeitos. Quando os riscos são elevados e não nos podemos dar ao luxo de cometer muitos erros, é do nosso interesse aprender rapidamente.

Ainda mais interessantes são as técnicas para multiplicar os pontos de atenção em paralelo. Nem todos os dados são igualmente importantes, e alguns só são utilizados em determinadas fases do processo de raciocínio. É preciso decidir quais, onde e quando os utilizar. Por exemplo, nalgumas situações culinárias, os ingredientes secos são misturados antes da adição dos líquidos.

"Estes artigos abrangem vários aspectos das LLM, incluindo as suas arquitecturas, métodos de pré-treino, propriedades de escala, capacidades de aprendizagem a curto prazo e aplicações em tarefas como o raciocínio e a aprendizagem por transferência. Oferecem uma compreensão abrangente dos princípios subjacentes e das técnicas de ponta neste domínio em rápida evolução."

Continue a ler para compreender melhor o que está a acontecer com a inteligência artificial:
Os 7 melhores artigos do arXiv para saber como funcionam os LLM

Artigos

• "Uma pesquisa de grandes modelos de linguagem" - https://arxiv.org/abs/2303.18223
  
  
• "Leis de escala para transferência" - https://arxiv.org/abs/2102.01293
  
  
• "Language Models are Few-Shot Learners" - https://arxiv.org/abs/2005.14165
  
  
• "Explorando os limites da aprendizagem por transferência com um transformador unificado de texto para texto
  https://arxiv.org/abs/1910.10683
  
  
• "Modelos de linguagem grandes podem aprender regras" - https://arxiv.org/abs/2310.07064
  
  
• "Atenção é tudo o que você precisa" - https://arxiv.org/abs/1706.03762
  
  
• "Modelos de linguagem de grande dimensão: um inquérito" - https://arxiv.org/abs/2402.06196

Ilustração - Pixabay