Processamento de Linguagem Natural

Quem pode se inscrever?

Este curso faz parte do Programa de Formação Intensiva em Transformação Digital - FIT.

• Turma Exclusiva

Público Alvo: Servidores públicos federais ocupantes de cargos de Nível Superior da Enap, SGD - Secretaria de Governo Digital e CGU - Controladoria Geral da União, que atuem com a temática do curso.

Objetivos

O curso tem como objetivo principal o estudo de estratégias e a construção de modelos inteligentes, de maneira a viabilizar o processamento e o entendimento de línguas naturais pelos computadores modernos.

Metodologia

Estrutura do curso híbrido:

i) Atividades síncronas: aulas presenciais expositivas dialogadas, na Enap, em Brasília/DF, com transmissão ao vivo pelo Zoom; e
ii) Atividades assíncronas: textos e/ou vídeos preparatórios, materiais didáticos e atividades avaliativas, disponíveis na Google Sala de Aula.

O curso será ministrado em formato híbrido, com aulas presenciais e remotas, focando no desenvolvimento e treinamento de modelos de linguagem baseados em redes neurais recorrentes e Transformers. Algumas atividades práticas serão passadas para serem realizadas em horário extra-curso visando solidificar o conteúdo visto durante as aulas.

Em momento oportuno, as/os alunas/os matriculados receberão por e-mail as orientações detalhadas sobre o acesso ao curso.

O curso tem carga horária de 40 horas, sendo 30 horas de atividades síncronas e 10 horas de atividades assíncronas. A participação mínima (80%) nas aulas é obrigatória.

• Cronograma de Aulas:

Período: 01/04 a 29/05 - Horário: 09h às 12h
Local das aulas presenciais: Laboratório Enap 104 / 104A - Enap - Brasília/DF
Locas das aulas remotas: Link Zoom

ABRIL	Tipo	MAIO	Tipo
01/04	Aula Remota	06/05	Aula Remota
03/04	Aula Remota	08/05	Aula Presencial
05/04	Plantão de dúvidas (Remoto)	10/05	Plantão de dúvidas (Remoto)
08/04	Aula Remota	13/05	Aula Remota
10/04	Aula Presencial	17/05	Plantão de dúvidas (Remoto)
12/04	Plantão de dúvidas (Remoto)	29/05	Aula Presencial
15/04	Aula Remota
17/04	Aula Remota
19/04	Plantão de dúvidas (Remoto)
22/04	Aula Presencial

Principais tópicos

O curso é dividido nos seguintes módulos:

1. Background
- Pré-processamento, term frequency-inverse document frequency (TF-IDF), regressão logística e similaridade cosseno;
- Modelos de linguagem, neurônios artificiais, backpropagation, funções de ativação e função loss.

2. Redes Neurais Recorrentes
- Modelo Vanilla e Long Short-Term Memory (LSTM): modelo matemático e treinamento;
- Construindo arquiteturas RNN/LSTM: fluxos bidirecionais, stack de células RNN/LSTM, camadas Dropout, camada totalmente conexa e otimização de hiperparâmetros;
- Word Embeddings: word2vec, GloVe, transferência de aprendizado e fine tuning.

3. Mecanismos de Atenção e Transformers
- Arquitetura Encoder-Decoder (Seq2Seq): modelo matemático e aplicação em tradução automática;
- Mecanismos de Atenção: Self Attention e Multihead Attention;
- Arquitetura Transformers: modelo matemático, BERT, GPT-3 e Llama.    

4. Large Language Models (LLMs)
- Geração Automática de Texto;
- Fine-Tuning e Quantização de LLM.

Outras Informações

• Docente: Vinícius Borges - Doutor em Ciências da Computação e Matemática Computacional pela Universidade de São Paulo - USP. Atualmente é Professor Adjunto no Departamento de Ciência da Computação - UnB.
• Docente: Thiago Faleiros - Doutor em Ciências da Computação pela Universidade de São Paulo - USP. Atualmente é Professor Adjunto no Departamento de Ciência da Computação - UnB.
• Docente: Luís Garcia - Doutor em Ciências da Computação pela Universidade de São Paulo - USP. Atualmente é Professor Adjunto no Departamento de Ciência da Computação - UnB.

Período do curso: 01/04 a 29/05/2024 
Horário: 09h às 12h
Local das aulas presenciais: Laboratório Enap 104 / 104A - Enap - Brasília/DF
Locas das aulas remotas: Link Zoom

• Importante: As passagens e diárias ficam sob responsabilidade da/o participante.

Pré-Inscrição: A solicitação de inscrição está disponível no link "Inscreva-se". A matrícula será confirmada por e-mail.
Dificuldades ou problemas para fazer login ou inscrição pelo Portal do Aluno Enap? Envie mensagem para cse@enap.gov.br.
Dúvidas sobre o curso? Envie mensagem para aperfcarreiras@enap.gov.br.