Como usamos os LLMs em nossos projetos?

Usamos principalmente LLMs no contexto de chatbots que lidam com usuários finais em um domínio de coleta de informações ou de forma mais generativa em um projeto exploratório que ajuda os jovens a encontrar um propósito na vida.

Porque essa é a coisa mais importante.

O ChatGPT ajuda os alunos a encontrar um propósito na vida (estudo de caso)

O Ikigai+ é um chatbot projetado para ajudar os alunos a explorar seus valores essenciais, propósito de vida e pontos fortes exclusivos por meio de autorreflexão estruturada e diálogos envolventes com colegas. Seu objetivo é permitir que os alunos apliquem seus talentos distintos em questões pessoalmente significativas que afetam o mundo em geral, conforme enfatizado por Damon em 2008.

O chatbot facilita conversas profundas com base em modelos de IA treinados por especialistas e usa questionários validados para avaliar os pontos fortes da carreira. Ele incentiva os usuários a descobrir as necessidades da sociedade por meio de perguntas orientadas e recomendações de mídia selecionadas. Os usuários podem discutir suas descobertas tanto com a IA (chamada Spark) quanto com seus colegas, o que apoia sua jornada para identificar seu "Ikigai" - um conceito japonês que representa a razão de ser de uma pessoa.

O Ikigai+ está sendo usado em ambientes educacionais, principalmente com um projeto na Universidade de Cergy Paris, que incluiu workshops do Ikigai para 40.000 alunos com o objetivo de abordar desafios sociais e ecológicos. Esses workshops fazem parte de uma iniciativa maior da universidade, a CY Generations, que busca promover a inovação sustentável por meio de pesquisa, treinamento e empreendedorismo.

O feedback dos alunos que participaram dos workshops do Ikigai foi extremamente positivo, com muitos deles observando percepções profundas em suas vidas pessoais e profissionais, maior autoconhecimento e um senso mais claro de propósito.

O Instituto Learning Planet, que supervisiona o projeto, concentra-se na criação de métodos inovadores de aprendizado e cooperação que atendam às necessidades dos jovens e do planeta, apoiando uma variedade de iniciativas educacionais e sociais.

Criamos um servidor Discord conectado a uma estrutura baseada em Python que nos permite criar cenários reutilizáveis misturando perguntas com script com LLM (o GPT-4 da OpenAI é usado) quando precisamos resumir, gerar ou analisar respostas não estruturadas dos alunos. Usar o Discord foi uma ideia muito boa, pois ele atinge o público-alvo, custa cinco vezes menos do que um aplicativo móvel e é perfeitamente adequado para chatbots.

IA de voz + LLMs + Scripts para substituir humanos em chamadas e textos repetitivos

Um dos melhores usos do LLM (Modelo de Linguagem) no software é quando ele é necessário para entender ou produzir linguagem. Entretanto, quando usado na produção, o principal risco são as alucinações, por isso limitamos seu uso a tarefas específicas de linguagem. Vamos dar uma olhada em um exemplo da vida real.

Inteligência artificial LLM para ajudar os vendedores

Descobrimos que os vendedores de muitas agências de trabalho temporário gastavam de 30 a 60 minutos por dia lidando com trabalhadores que não compareciam aos seus turnos, causando problemas para os clientes e perdas financeiras. Para resolver isso, criamos um sistema que entra em contato automaticamente com os trabalhadores antes de seus turnos por texto, ligação ou WhatsApp. Se eles não responderem, o sistema oferece o trabalho a outra pessoa. Esse sistema está vinculado a um banco de dados de trabalhadores, clientes e atribuições, facilitando a busca por substitutos.

Os LLMs valem a pena?

Os LLMs são inegavelmente um divisor de águas, inaugurando um conjunto totalmente novo de recursos no desenvolvimento de software. Sua capacidade direta de captar a intenção do usuário marca uma revolução. Agora, em vez de formulários complexos e designs de interface do usuário, basta uma simples troca de texto para se comunicar com os usuários por meio de seu meio preferido, seja e-mail ou aplicativos de mensagens.

Em nossos projetos de CMS com pouco código e sem cabeça, os LLMs brilham mais:

1. Extração de informações estruturadas de textos: Isso inclui classificação, identificação de entidades nomeadas e extração de elementos importantes, como datas, números e destinos.

2. Resumo de textos: Particularmente valiosos em nossos projetos de mídia CMS sem cabeça, os LLMs ajudam a criar descrições de artigos, gerar títulos, revisar conteúdo e extrair fatos importantes.

3. Tradução: Perfeitamente integradas aos nossos fluxos de trabalho de conteúdo, as tarefas de tradução são tratadas com eficiência, aprimorando nossos projetos de CMS sem cabeça.

4. Compreensão da intenção: Ao analisar as conversas no messenger, os LLMs são excelentes na extração da intenção do usuário, permitindo tarefas como consultar as horas de trabalho do mês anterior ("quantas horas trabalhei no mês passado?").

Qual IA/LLM é a melhor?

Contamos principalmente com os mecanismos Claude 3 e GPT-4 da OpenAI, que consideramos estar entre os melhores disponíveis, competindo de perto com o Gemini do Google. Entretanto, como o campo evolui rapidamente, o que é considerado de primeira linha pode mudar em questão de semanas.

Modelos de linguagem grandes incorporados em seus aplicativos

Ao integrar LLMs em seus aplicativos, considere se eles são um recurso periférico ou o núcleo do seu aplicativo. As interfaces de conversação, como as do WhatsApp ou do Telegram, oferecem conveniência, mas nem sempre são a melhor opção. Embora os LLMs possam melhorar a experiência do usuário, algumas tarefas, como relatórios de dados, são mais adequadas aos formatos tradicionais, como tabelas e gráficos.

No entanto, os LLMs são excelentes em tarefas como o refinamento de critérios de pesquisa por meio de interações de conversação. Além disso, considere aproveitar as conversas por e-mail para aplicativos internos de negócios para simplificar os processos, permitindo que os usuários solicitem relatórios diretamente por e-mail em vez de navegar pelos menus em um aplicativo da Web.

Alternativas do ChatGPT para codificação

Embora o ChatGPT tenha feito avanços significativos na assistência à codificação, existem várias alternativas ao ChatGPT que oferecem vantagens exclusivas para os programadores.

O GitHub Copilot, desenvolvido em colaboração com a OpenAI, é um assistente de IA que oferece sugestões de código em tempo real. Ele se integra perfeitamente ao seu processo de codificação no GitHub, o que o torna a escolha preferida de muitos desenvolvedores.

Outra alternativa notável é o Cursor. Essa ferramenta não apenas fornece sugestões de código geradas por IA, mas também oferece recursos como aprimoramento de código e correção de bugs.

Para aqueles que buscam sugestões automáticas avançadas baseadas em IA, o Tabnine é uma excelente opção. Ele é treinado em um grande conjunto de dados de programas de código aberto, garantindo sugestões de código contextualmente relevantes.

O Google Bard, desenvolvido pelo Google, é outra alternativa eficiente. Ele é conhecido por seu desempenho aprimorado em raciocínio, codificação e recursos multilíngues.

Por fim, o Megatron-Turing NLG se destaca como um modelo de linguagem dedicado para a geração de linguagem natural expansiva, o que o torna uma ferramenta potente para codificação.

Como funcionam os LLMs?

Os modelos de linguagem ampla (LLMs), como o ChatGPT, operam prevendo e selecionando a próxima palavra em uma sequência com base em probabilidades derivadas de conjuntos de dados extensos. Esses modelos geram textos contextualmente apropriados e estilisticamente coerentes usando um sistema que calcula a probabilidade de sequências de palavras. Esse processo é essencial porque o grande número de combinações possíveis de palavras excede o que está disponível em textos gerados por humanos.

Os modelos de linguagem ampla funcionam não memorizando o texto, mas compreendendo o uso contextual das palavras por meio de padrões observados em seus dados de treinamento. Essa abordagem permite que eles produzam resultados que imitam de perto o texto escrito por humanos, sugerindo uma simplicidade e uma regularidade semelhante a uma regra na linguagem humana que esses modelos podem explorar.

Em termos de arquitetura, os modelos de linguagem ampla geralmente dependem de modelos de transformadores, que são particularmente eficazes para tarefas que envolvem linguagem humana. Os transformadores usam um mecanismo de atenção que ajuda o modelo a se concentrar em partes relevantes dos dados de entrada ao fazer previsões. Esse recurso permite que o modelo gerencie dependências e nuances no uso da linguagem, o que é fundamental para produzir textos coerentes e contextualmente relevantes.

De modo geral, o sucesso dos modelos de linguagem ampla em tarefas como a geração de texto indica possíveis percepções mais profundas sobre a estrutura e as regras da linguagem humana, apoiando esforços científicos mais amplos para entender e modelar os processos cognitivos associados à linguagem.

Como podemos melhorar os LLMs com a "abordagem da árvore do pensamento"(ToT)?

Tree of Thoughts (Árvore de Pensamentos), ou ToT, é um novo método que melhora a forma como os modelos de linguagem resolvem problemas complexos. Tradicionalmente, os modelos de linguagem funcionam de forma sequencial, tomando uma decisão de cada vez, o que pode limitar sua capacidade de resolver problemas que exigem um pensamento mais estratégico ou a revisão de decisões anteriores. A ToT muda isso, permitindo que um modelo de linguagem explore vários caminhos ou pensamentos de uma só vez e, em seguida, decida qual caminho seguir com base nas avaliações que faz ao longo do caminho. Esse método reflete mais de perto a solução de problemas humanos, em que podemos considerar diferentes possibilidades antes de decidir qual é o melhor curso de ação.

O que torna a ToT especialmente poderosa é sua flexibilidade e adaptabilidade. Ela pode gerar uma variedade de possíveis soluções ou "pensamentos" e pode voltar atrás ou olhar para frente para tomar melhores decisões. Esse processo é estruturado como uma árvore em que cada ramo representa um possível caminho de decisão, e o modelo navega por essa árvore para encontrar a solução mais promissora. A estrutura em árvore também permite que o modelo avalie e refine suas escolhas continuamente, o que é fundamental para tarefas complexas de tomada de decisão com as quais os modelos de linguagem padrão têm dificuldade. Ao simular um processo de tomada de decisão mais deliberado e cuidadoso, a ToT aprimora significativamente os recursos de solução de problemas dos modelos de linguagem.

Como garantir que seu LLM dê respostas precisas sobre seu conteúdo?

O Retrieval Augmented Generation (RAG) representa uma fusão sofisticada de modelos de linguagem tradicionais com técnicas dinâmicas de recuperação de informações para lidar com as limitações inerentes à base de conhecimento estático de modelos de linguagem grandes (LLMs) pré-treinados. Esse método aprimora significativamente a capacidade do modelo de processar e responder a consultas que exigem conhecimento atualizado ou especialização específica do domínio no qual o LLM não foi treinado explicitamente.

A principal vantagem do RAG está em sua arquitetura, que integra perfeitamente a recuperação de documentos externos ao processo de geração de LLMs. Na prática, quando uma consulta é recebida, o RAG primeiro identifica e recupera documentos ou fragmentos de dados relevantes de um banco de dados externo continuamente atualizado. Isso pode ser feito em bancos de dados estruturados ou em vastos conjuntos de dados não estruturados, como toda a Wikipedia ou artigos acadêmicos especializados.

Depois que as informações relevantes são recuperadas, elas são inseridas no LLM juntamente com a consulta original. Essa entrada combinada enriquece significativamente o contexto disponível para o modelo, permitindo que ele gere respostas que não são apenas contextualmente mais ricas, mas também mais precisas e específicas para a consulta em questão. Esse mecanismo permite que o RAG contorne uma das principais desvantagens dos LLMs estáticos: sua incapacidade de incorporar novos conhecimentos após o treinamento sem passar por um processo de retreinamento que consome muitos recursos.

Além disso, os sistemas RAG podem ser ajustados com precisão às necessidades de aplicativos específicos sem necessidade de retreinamento extensivo. Por exemplo, em aplicativos médicos em que as descobertas das pesquisas mais recentes podem alterar as práticas recomendadas de tratamento, o RAG pode recuperar os artigos de pesquisa mais recentes e relevantes para fornecer orientação médica atualizada. Da mesma forma, em serviços financeiros, o RAG pode extrair os dados de mercado mais recentes e análises de especialistas para oferecer percepções financeiras em tempo real.

Do ponto de vista técnico, o sucesso de um sistema RAG depende da eficácia de seu mecanismo de recuperação e da integração subsequente dos dados recuperados no processo de geração de linguagem. O componente de recuperação deve ser capaz de compreender a essência semântica da consulta para buscar informações pertinentes. As técnicas avançadas de incorporação de vetores, geralmente ajustadas em corpora específicos do domínio, desempenham um papel fundamental aqui, garantindo que o processo de recuperação seja preciso e alinhado com o contexto da consulta.

No lado da geração, o desafio está em sintetizar efetivamente as informações recuperadas com a consulta original para produzir respostas coerentes, relevantes e factualmente precisas. Isso geralmente envolve algoritmos sofisticados que podem equilibrar a entrada dos documentos recuperados com o conhecimento pré-existente codificado no LLM, atenuando problemas como redundância de informações ou a alucinação de fatos incorretos.

Em essência, o RAG transforma os LLMs de repositórios estáticos de conhecimento pré-treinado em sistemas dinâmicos capazes de acessar e integrar a inteligência externa. Isso não apenas amplia a utilidade dos LLMs em aplicativos do mundo real, mas também melhora significativamente seu desempenho em tarefas com uso intensivo de conhecimento, em que a precisão e a atualidade das informações são fundamentais.

Qual IA é melhor do que o ChatGPT?

Na mais recente avaliação expansiva de grandes modelos de linguagem (LLMs), que variam de 7 bilhões a 70 bilhões de parâmetros, incluindo líderes do setor como o ChatGPT e o GPT-4, uma comparação meticulosa revela insights diferenciados sobre os recursos do modelo, especialmente em contextos multilíngues e adesão à instrução.

Esse teste abrangente incorporou uma avaliação estruturada usando exames profissionais alemães de treinamento em proteção de dados. Os modelos foram avaliados em sua capacidade de traduzir e compreender com precisão as instruções em alemão, processar as informações e, em seguida, responder com precisão a perguntas de múltipla escolha feitas em inglês. Esse desafio de dois idiomas foi projetado para espelhar os aplicativos do mundo real, em que a compreensão e a precisão da saída em vários idiomas são cruciais.

Desempenho do modelo em todos os tamanhos

Em geral, os modelos maiores superaram os menores, com os modelos 70B apresentando precisão e aderência superiores a instruções complexas. Notavelmente, modelos como o lzlv_70B e o SynthIA-70B obtiveram pontuações perfeitas, indicando sua robustez em lidar com tarefas multilíngues e com nuances.

Adesão às instruções

Um aspecto fundamental da avaliação foi a capacidade dos modelos de seguir instruções específicas, como responder com um simples "OK" ou modificar a duração de suas respostas com base no comando. Aqui, a disparidade entre os modelos foi acentuada, com alguns não conseguindo ajustar suas respostas adequadamente, ressaltando os desafios na programação de LLMs para lidar com dicas dinâmicas de conversação.

Sensibilidade do formato

O desempenho dos modelos também variou significativamente com base no formato de entrada, sugerindo que a otimização do formato pode ser tão crucial quanto a seleção do modelo, dependendo da aplicação específica.

Personalização e ajuste fino

Os resultados sugerem que, além do poder de processamento bruto, a capacidade de personalizar e ajustar os LLMs para tipos específicos de tarefas - especialmente aquelas que exigem recursos interlinguísticos e adesão estrita às instruções - é essencial para aplicações práticas.

Seleção de modelos para tarefas específicas

Dependendo dos requisitos específicos de uma tarefa, seja uma geração criativa ou uma conformidade rigorosa com o treinamento de privacidade de dados, diferentes modelos e configurações podem ser mais eficazes, destacando a importância da seleção de modelos direcionados para a implantação eficaz de LLMs.