O que poderia dar errado se uma empresa substituísse todos os seus engenheiros por IA?

O que poderia dar errado se uma empresa substituísse todos os seus engenheiros por IA?

Codificação de IA, codificação de vibração e enxame agente fizeram uma entrada recente dramática e surpreendente no mercado, com o mercado de ferramentas de código AI avaliado em US$ 4,8 bilhões e deverá crescer a uma taxa anual de 23%. As empresas estão lutando com os agentes de codificação de IA e o que fazer com os caros codificadores humanos.

Conselhos não lhes faltam. O CEO da OpenAI estima que a IA pode funcionar mais de 50% do que os engenheiros humanos podem fazer. Seis meses atrás, o CEO da Anthropic disse que a IA escreveria 90% do código em seis meses. O CEO da Meta disse acreditar que a IA irá substituir engenheiros de nível médio “em breve”. A julgar por recentes demissões de tecnologiaparece que muitos executivos estão adotando esse conselho.

Engenheiros de software e cientistas de dados estão entre as linhas salariais mais caras em muitas empresas, e os líderes empresariais e de tecnologia podem ficar tentados a substituí-los pela IA. No entanto, falhas recentes e de grande repercussão demonstram que os engenheiros e os seus conhecimentos continuam a ser valiosos, mesmo que a IA continue a fazer avanços impressionantes.

Desastre SaaStr

Jason Lemkin, um empreendedor de tecnologia e fundador da comunidade SaaS SaaStr, está codificando um aplicativo de rede SaaS e twittando ao vivo sua experiência. Cerca de uma semana após o início de sua aventura, ele admitiu ao público que algo estava errado. A IA excluiu seu banco de dados de produção apesar de seu pedido de “congelamento de código e ação”. Esse é o tipo de erro que nenhum engenheiro experiente (ou mesmo semiexperiente) cometeria.

Se você já trabalhou em um ambiente de codificação profissional, sabe como separar seu ambiente de desenvolvimento da produção. Os engenheiros juniores têm acesso total ao ambiente de desenvolvimento (é crucial para a produtividade), mas o acesso à produção é concedido com base na necessidade limitada a alguns dos engenheiros seniores mais confiáveis. A razão para o acesso restrito é precisamente para este caso de uso: Para evitar que um engenheiro júnior interrompa acidentalmente a produção.

Na verdade, Lemkin cometeu dois erros. Primeiro: para algo tão crítico como a produção, o acesso a atores não confiáveis ​​simplesmente nunca é concedido (não dependemos de pedir gentilmente a um engenheiro júnior ou à IA). Em segundo lugar, ele nunca separou o desenvolvimento da produção. Em uma conversa pública subsequente no LinkedIn, Lemkin, que possui MBA Executivo em Stanford e JD em Berkeley, admitiu que ele não estava ciente das melhores práticas de dividir bancos de dados de desenvolvimento e produção.

A conclusão para os líderes empresariais é que as melhores práticas padrão de engenharia de software ainda se aplicam. Deveríamos incorporar pelo menos as mesmas restrições de segurança para a IA que fazemos para os engenheiros juniores. Indiscutivelmente, deveríamos ir além disso e tratar a IA de forma ligeiramente antagônica: há relatos de que, como HAL no filme de Stanley Kubrick 2001: Uma Odisseia no Espaçoa IA pode tentar sair do seu ambiente sandbox para realizar uma tarefa. Com mais vibração de codificação, será cada vez mais necessário ter engenheiros experientes que entendam como funcionam sistemas de software complexos e possam implementar as proteções adequadas nos processos de desenvolvimento.

Truque de chá

Sean Cook é o fundador e CEO do Tea, um aplicativo móvel lançado em 2023, projetado para ajudar mulheres a namorar com segurança. No verão de 2025, eles foram “hackeados": 72 mil imagens, incluindo 13 mil fotos de verificação e imagens de identidades governamentais, foram vazou no fórum de discussão pública 4chan. Pior ainda, a própria política de privacidade do Tea promete que essas imagens seriam "excluído imediatamente" depois que os usuários foram autenticados, o que significa que eles potencialmente violou sua própria política de privacidade.

Eu uso “hackeado” nas aspas aéreas porque o incidente decorre menos da esperteza dos atacantes do que da inépcia dos defensores. Além de violar suas próprias políticas de dados, o aplicativo deixou um bucket de armazenamento do Firebase inseguro, expor dados confidenciais do usuário à Internet pública. É o equivalente digital a trancar a porta da frente, mas deixar as costas abertas com as joias da família penduradas ostensivamente na maçaneta.

Embora não saibamos se a causa raiz foi a codificação de vibração, o hack do Tea destaca violações catastróficas decorrentes de erros de segurança básicos e evitáveis ​​devido a processos de desenvolvimento inadequados. É o tipo de vulnerabilidade que um processo de engenharia disciplinado e cuidadoso aborda. Infelizmente, o impulso implacável das pressões financeiras, onde uma cultura “enxuta”, “agir rapidamente e quebrar as coisas” é o oposto, e a codificação da vibração apenas agrava o problema.

Como adotar com segurança agentes de codificação de IA?

Então, como devem os líderes empresariais e tecnológicos pensar sobre a IA? Primeiro, este não é um apelo para abandonar a IA pela codificação. Um estudo do MIT Sloan Estima-se que a IA leva a ganhos de produtividade entre 8% e 39%, enquanto um Estudo McKinsey encontraram uma redução de 10% a 50% no tempo de conclusão da tarefa com o uso de IA.

No entanto, devemos estar cientes dos riscos. As velhas lições da engenharia de software não desaparecem. Isso inclui muitas práticas recomendadas testadas e comprovadas, como controle de versão, testes automatizados de unidade e integração, verificações de segurança como SAST/DAST, separação de ambientes de desenvolvimento e produção, revisão de código e gerenciamento de segredos. Na verdade, eles se tornam mais salientes.

A IA pode gerar código 100 vezes mais rápido do que os humanos conseguem digitar, promovendo uma ilusão de produtividade que é um toque de sereia tentador para muitos executivos. No entanto, a qualidade do desperdício de IA gerado rapidamente ainda está em debate. Para desenvolver sistemas de produção complexos, as empresas precisam da experiência criteriosa e experiente de engenheiros humanos.

Tianhui Michael Li é presidente do Pragmatic Institute e fundador e presidente da The Data Incubator.

Leia mais do nosso escritores convidados. Ou considere enviar sua própria postagem! Veja nosso diretrizes aqui.



Fonte ==> Cyberseo

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *