A mecânica invisível do recrutamento digital
Quando discutimos os impactos sociais dos algoritmos de recomendação, geralmente pensamos em bolhas ideológicas, desinformação eleitoral ou a radicalização política que culminou em eventos como a invasão do Capitólio. Raramente consideramos o papel que esses mesmos mecanismos desempenham na manutenção e expansão do crime organizado. A reportagem recente sobre como facções criminosas na Colômbia utilizam Facebook e TikTok para recrutar jovens não é um desvio na agenda de segurança pública — é um estudo de caso crucial sobre como arquiteturas de machine learning podem ser sequestradas para finalidades que seus criadores jamais previram, ou que preferem não enxergar.
O fenômeno não é novo, mas a escala que atingiu na América Latina merece uma análise que vá além do moralismo superficial. Não se trata apenas de "conteúdo nocivo" que escapa da moderação. Trata-se de um sistema de recomendação que, por design, favorece o engajamento máximo sem qualquer consideração ética sobre o que está sendo engajado. As facções não estão hackeando o Facebook — estão apenas jogando o jogo que o próprio algoritmo definiu.
Por que o jovem colombiano se torna alvo perfeito para a máquina
Para entender a eficácia desse recrutamento, precisamos abandonar a visão romantizada de que algoritmos são neutros. Um sistema de recomendação baseado em similaridade de comportamento — como o que o TikTok aperfeiçoou — não distingue entre um jovem interessado em skate e outro fascinado por exibições de armas e dinheiro fácil. Ambos receberão mais do mesmo até que a saturação os leve a preferir conteúdos ainda mais extremos. O ciclo vicioso é inerente ao modelo de negócio.
Do ponto de vista da engenharia de software, enfrentamos um problema de definição de função objetivo. O modelo de otimização das plataformas maximiza o tempo de tela e a retenção. "Conteúdo ofensivo" é definido posteriormente, como uma restrição que o modelo deve aprender a evitar. O problema é que essa restrição é aplicada de forma reativa, imperfeita e, frequentemente, sem contexto linguístico ou cultural adequado para o espanhol colombiano, o português das periferias brasileiras ou qualquer variante que fuja do inglês norte-americano padrão.
A glamourização da delinquência não é um bug. É um subproduto previsível de um sistema que recompensa o sensacionalismo. Se um vídeo com poses ostentando fuzis gera mais compartilhamentos que um vídeo sobre oportunidades de emprego formal, o algoritmo aprenderá a priorizar o primeiro. Culpar exclusivamente os grupos criminosos pela eficácia da propaganda é ignorar que eles encontraram um aliado silencioso e perfeitamente escalável: a própria plataforma.
O dilema da moderação em escala: um problema de engenharia sem solução trivial
Trabalhei com sistemas de moderação de conteúdo em larga escala e posso afirmar: o desafio é brutal. Não estamos falando de um filtro binário que separa "bom" de "ruim". Estamos falando de milhões de horas de vídeo enviadas por minuto, em dezenas de idiomas, com códigos culturais que um modelo treinado em datasets ocidentais simplesmente não capta.
A abordagem clássica de machine learning para moderação — treinar um classificador com exemplos rotulados de conteúdo proibido — falha por três razões fundamentais neste contexto. Primeiro, o conteúdo de recrutamento é frequentemente codificado: uma música que exalta um líder de facção, um símbolo específico, uma gíria local. Segundo, a criatividade dos criminosos supera a capacidade de atualização dos datasets de treinamento. Terceiro, e mais crítico, os próprios usuários que consomem esse conteúdo ensinam o algoritmo a recomendá-lo. A cada like, comentário ou compartilhamento, o sistema reforça a relevância daquele post para aquele perfil.
Meta e ByteDance investem recursos astronômicos em moderação, mas o cerne do problema é estrutural. Enquanto a métrica de sucesso da empresa for o engajamento, haverá um incentivo financeiro direto para que o algoritmo explore os limites do que é permitido. As facções colombianas, assim como milícias digitais em outros países, estão simplesmente explorando essa brecha de incentivos.
Aplicabilidade direta ao mercado brasileiro e latino-americano
O caso colombiano não é uma exceção exótica. É um alerta direto para o Brasil, onde facções como o PCC e o Comando Vermelho possuem capilaridade e sofisticação digital equivalentes. Aqui, o recrutamento juvenil via plataformas já é uma realidade, embora menos documentada. O funk ostentação, os desafios virais que envolvem invasões de propriedades, a exaltação de figuras do crime — tudo isso alimenta o mesmo sistema de recomendação que transforma um adolescente curioso em um candidato a membro de organização criminosa.
Para um profissional de produto digital ou engenheiro de machine learning, isso levanta questões incômodas sobre responsabilidade. É confortável atribuir o problema à falta de moderação, mas a verdade é que o desenho do sistema de recomendação é o verdadeiro vilão. Uma plataforma que privilegia conteúdo "viral" ou "trending" está, por definição, amplificando aquilo que gera reação emocional mais intensa — e nada gera mais reação que violência, poder e transgressão.
Projetar um sistema que minimize danos colaterais sem destruir o modelo de negócio é um dos problemas abertos mais complexos da ciência da computação aplicada hoje. Algumas abordagens incluem a introdução de "aleatoriedade benigna" nos feeds para quebrar bolhas extremas, ou o treinamento de modelos de recomendação com funções objetivo multiobjetivo que incluam métricas de diversidade e segurança. Mas todas essas soluções andam na contramão do curto prazo financeiro.
Privacidade em produto: a leitura enviesada dos dados
Outro aspecto que merece atenção é como a coleta de dados pessoais pelas plataformas alimenta esse ciclo. As facções não precisam de acesso aos dados brutos do banco de dados do TikTok. Elas se beneficiam indiretamente da segmentação que o próprio algoritmo faz. Um jovem que curte páginas de luta, que segue perfis que postam sobre armas, que reside em regiões periféricas — esse perfil será agrupado pelo modelo em um cluster semântico.
O algoritmo então "aprende" que pessoas naquele cluster têm alta propensão a engajar com conteúdo de exaltação criminal. A partir daí, a recomendação se torna autossustentável. As plataformas argumentam que isso não é direcionamento ativo — e é verdade que não há um anunciante criminoso comprando anúncios. Mas o efeito prático é idêntico: o sistema entrega o conteúdo certo para a pessoa certa, no momento certo, sem que nenhum humano tenha apertado um botão. Isso é machine learning em sua forma mais potente e, paradoxalmente, mais irresponsável.
Em termos de privacidade em produto, isso expõe a fragilidade de pensar a privacidade apenas como "controle sobre quem vê meus dados". A privacidade também deveria incluir o direito a não ser manipulado por um sistema que usa seus comportamentos passados para te empurrar para um funil de radicalização. Essa discussão ainda é incipiente no mercado brasileiro de tecnologia.
Limitações das abordagens atuais e o que não está sendo feito
É importante não cair no discurso fácil de que a solução é "moderação mais rigorosa". Isso já foi tentado e falhou. As limitações são técnicas, não de vontade política. Um modelo de visão computacional treinado para detectar armas em vídeos pode ser facilmente enganado por um corte rápido ou um filtro artístico. Um classificador de texto que busca palavras-chave como "facção" ou "chefe do tráfico" falha diante de gírias locais ou códigos indiretos.
O que realmente precisa mudar é a arquitetura de incentivos. Enquanto o lucro das plataformas vier do tempo de tela, o algoritmo será otimizado para maximizar tempo de tela. Qualquer tentativa de mitigar danos colaterais será vista como um custo, não como um requisito de produto. A regulação externa — como a Lei de Serviços Digitais europeia ou projetos de lei em tramitação no Brasil — tenta forçar essa mudança, mas a implementação técnica ainda é frágil.
Minha percepção após anos trabalhando com sistemas distribuídos e IA aplicada é que estamos longe de uma solução elegante. O que temos hoje são paliativos: times de moderação humana queimados psicologicamente, modelos de IA detectando apenas parte dos abusos, e uma indústria que prefere pagar multas esporádicas a redesenhar seus sistemas de recomendação do zero. O caso colombiano é apenas mais um capítulo dessa tragédia anunciada.
O que profissionais de tecnologia podem fazer agora
Para engenheiros de software, arquitetos de sistemas e product managers que leem este blog, a recomendação não é desistir das plataformas, mas exigir transparência. Pergunte: qual é a função objetivo do seu sistema de recomendação? Ela inclui uma restrição explícita para não amplificar conteúdo criminoso ou de ódio? Se a resposta for "isso é tratado pela moderação", você está terceirizando um problema que é inerentemente seu.
A indústria de tecnologia precisa internalizar que o algoritmo não é um espectador inocente do que acontece nas redes. Ele é um participante ativo, um amplificador que decide o que cada um de nós verá a seguir. Ignorar esse poder e suas consequências não é mais ingênuo — é negligência técnica. O recrutamento da nova geração do crime na Colômbia, no Brasil ou em qualquer lugar não é um problema de polícia. É, primeiro, um problema de engenharia de software mal resolvido.