A startup de segurança de computadores CodeIntegrity anunciou na quarta-feira uma rodada inicial de US$ 4,8 milhões para apoiar seus esforços para construir proteções significativas para aplicativos de IA de agentes.
A empresa sediada em São Francisco causou sensação no ano passado quando demonstrou como era fácil enganar modelos de IA de várias empresas de tecnologia para que compartilhassem informações privadas, ganhando uma menção no The Economist em setembro passado por comprometer o aplicativo de anotações Notion em menos de quatro horas.
“Todas as empresas pretendiam lançar agentes para implantação e não sabiam como fazê-lo com segurança”, disse Abi Raghuram, cofundador e CTO da CodeIntegrity.
O desafio central é fundamental. O software tradicional depende de controles determinísticos, o que significa que se você digitar “X”, o computador sempre digitará “Y”. Mas os agentes de IA – ferramentas que podem executar tarefas informáticas de forma autónoma – não são determinísticos, uma vez que são conduzidos por modelos de linguagem natural. Isso os torna vulneráveis a ataques de “injeção imediata”, nos quais um malfeitor insere texto malicioso em um modelo e aciona o agente para fazer coisas como expor dados confidenciais.
Para manter esses agentes sob controle, as empresas empregam supervisão humana ou implantam um segundo LLM como juiz, mas nenhuma das abordagens é totalmente escalonável ou totalmente infalível.
“Haverá cada vez mais agentes sendo implantados em ambientes corporativos e ninguém descobriu (a segurança) ainda”, disse Steven Jung, cofundador e CEO da CodeIntegrity. “Queremos ser os primeiros a realmente fornecer esse controle determinístico para essas empresas.”
A solução da CodeIntegrity é inserir uma proteção de segurança permanente chamada camada de controle de tempo de execução. Atuando tanto como tradutor quanto como filtro, ele força um modelo de IA imprevisível a seguir regras e limites estritos e previsíveis que os sistemas e dados empresariais que um agente de IA pode tocar.
Raghuram e Jung se conheceram no Rose-Hulman Institute of Technology, uma importante escola de graduação em engenharia em Indiana. Depois de alguns anos trabalhando separadamente em outros empregadores, os dois se reconectaram e fundaram a CodeIntegrity na área de Seattle em maio de 2024. Mais tarde naquele ano, eles participaram do programa de residência da Antler em Nova York para startups em estágio inicial.
A empresa, agora composta por cinco pessoas, ainda tem engenheiros no estado de Washington, embora os dois cofundadores tenham se mudado recentemente para São Francisco.
A Syn Ventures, focada em segurança cibernética, liderou a nova rodada, com a participação dos investidores pré-sementes Antler e Boost VC existentes. A startup arrecadou US$ 5,25 milhões no total.
Cerca de seis empresas estão atualmente testando o produto CodeIntegrity. Os cofundadores disseram que ainda não finalizaram o seu modelo de preços, mas esperam oferecer contratos anuais semelhantes aos comuns na indústria de segurança cibernética.
Outras startups também estão lidando com a segurança de IA de agentes, incluindo a Certiv de Seattle, que emergiu do sigilo em março, e a Raven and Manifold Security da Califórnia.
Raghuram, que trabalhou na Truveta de Seattle por mais de três anos, disse que está ansioso para recrutar engenheiros da área, mas chamou São Francisco de “marco zero para tudo que é LLM agente”.
“Seattle é um lugar sólido para contratar bons talentos da Microsoft e da Amazon, que é o que você deseja com uma startup em rápida evolução”, disse ele. “Mas, como fundadores, se vocês querem saber o que está acontecendo nas terras agentes, a Bay Area é o lugar.”