NLP 101: Como as máquinas aprenderam a entender texto

Hoje a gente abre o ChatGPT, o Claude, o Gemini ou o DeepSeek e pede para eles resumirem um livro, escreverem código ou explicarem física quântica. Mas existe uma pergunta curiosa por trás disso:

Como um computador aprende a lidar com palavras se ele só entende números?

Essa resposta passa por quase 70 anos de matemática, estatística e linguística. E ela começa de um jeito muito mais simples do que muita gente imagina. Vem entender esse processo comigo!

1. O PRIMEIRO PASSO: LIMPAR A BAGUNÇA

Antes de Transformers, de GPT, de mecanismos de Attention e até antes de as redes neurais dominarem a área, os pesquisadores tinham um problema básico: transformar texto em algo que pudesse entrar numa equação.

O primeiro passo era limpar o texto. Afinal, para uma máquina, "Física", "física" e "FÍSICA" são três coisas completamente diferentes.

Surgiram então as técnicas de pré-processamento: remover símbolos, padronizar letras, tratar acentos... Tudo para limpar ruídos. Pensa nisso como preparar os ingredientes antes de cozinhar.

2. TOKENIZAÇÃO: QUEBRANDO EM PEDAÇOS

Em seguida, vem uma etapa que continua existindo até hoje. Tokenização é só um nome bonito para pegar um texto e quebrar em pedaços menores.

Por exemplo:

"Eu gosto de café." vira ["Eu", "gosto", "de", "café"]

À primeira vista é simples, mas até hoje as LLMs modernas começam exatamente por aqui. Quando você conversa com uma IA, ela não recebe palavras prontas, ela recebe tokens. A diferença é que os tokenizadores modernos ficaram absurdamente sofisticados.

3. BAG OF WORDS: A BOLSA DE PALAVRAS

Depois que o texto era dividido, veio a primeira grande tentativa de transformar linguagem em matemática: o Bag of Words (Bolsa de Palavras).Imagine pegar todas as palavras de um texto, jogar numa sacola e esquecer completamente a ordem delas. Para um modelo Bag of Words, estas duas frases são praticamente iguais:

O gato perseguiu o cachorro.

O cachorro perseguiu o gato.

Como a ordem desapareceu, o que sobrava eram os vetores. Se o vocabulário total tivesse 10 mil palavras, cada texto seria representado por um vetor com 10 mil posições. Em cada posição, você colocava a quantidade de vezes que a palavra aparecia. Pronto! O texto virava, finalmente, matemática. É uma lógica muito elegante e várias técnicas derivadas ainda são usadas em sistemas reais.

4. O PROBLEMA DO EXCESSO E A SOLUÇÃO: TF-IDF

Mas surgiu um problema óbvio: algumas palavras aparecem em todos os lugares, como "de", "e", "a", "o". Elas ocupavam espaço no vetor, mas carregavam pouca informação.

Foi daí que nasceu o TF-IDF, uma ideia que se resume assim: palavras raras costumam carregar mais informação do que palavras comuns.

Se uma palavra aparece em todos os documentos, ela ajuda pouco a diferenciá-los. Se aparece em poucos documentos específicos, provavelmente diz algo muito importante sobre eles. O TF-IDF transformou essa intuição em matemática e, durante muitos anos, os mecanismos de busca utilizaram conceitos muito próximos disso — muito antes dos LLMs existirem.

5. O FATOR "ORDEM" E OS N-GRAMS

A linguagem possui ordem, e esse continuava sendo um problema em aberto que os modelos anteriores ignoravam. Afinal, existe uma diferença gigantesca entre "o cachorro mordeu o homem" e "o homem mordeu o cachorro".

Foi então que surgiram os N-Grams. Em vez de olhar palavras isoladas, o modelo passava a olhar pequenas sequências (de duas a quatro palavras juntas). Agora, o sistema conseguia perceber padrões e termos compostos como:

nteligência artificial, buraco negro, aprendizado de máquina

O avanço foi enorme, mas logo apareceu outro obstáculo: a quantidade de combinações de palavras cresce absurdamente rápido. A memória desses modelos continuava curta, fazendo com que eles enxergassem apenas uma pequena janela do texto por vez.

Os pesquisadores começaram a perceber que apenas contar palavras não bastava. Era preciso representar significado. Era preciso encontrar uma forma de transformar a linguagem em si em geometria e foi exatamente isso que aconteceu na próxima grande revolução do NLP. Mas essa história fica para o próximo post!

Gostou do conteúdo? Deixe seu comentário aqui embaixo sobre qual dessas técnicas você já conhecia!

#NLP #MachineLearning #DataScience #InteligenciaArtificial #Tecnologia

---

Postagem original no LinkedIn: NLP 101: Como as máquinas aprenderam a entender texto