O Código Que Mata: A História Não Contada do Therac-25

Em 3 de junho de 1985, um avanço médico projetado para salvar vidas tornou-se uma arma mortal. Esta é a história de como a confiança excessiva em um software levou ao erro tecnológico mais letal da medicina moderna.

Quando Katie Yarbrough, de 61 anos, entrou na sala de tratamento do Centro Oncológico de Kennestone em junho de 1985, ela estava confiante. Sua batalha contra o câncer de mama estava quase no fim, restando apenas uma última sessão de radioterapia. Minutos depois, um grito agoniado ecoou pela sala blindada.

"— Você me queimou!", ela gritou.

Os técnicos tentaram acalmá-la, afirmando ser impossível que a máquina , o moderníssimo Therac-25 , tivesse causado qualquer dano. Afinal, era o equipamento de radioterapia mais avançado do mundo, operado por software com confiabilidade declarada de 100%. Duas semanas depois, Katie retornava ao hospital com queimaduras radioativas em estágio avançado, tendo recebido uma dose de radiação equivalente à de trabalhadores de Chernobyl.

Este foi o primeiro episódio de uma tragédia que se repetiria em pelo menos seis ocidentes entre 1985 e 1987, resultando em cinco mortes. O Therac-25 não foi apenas um acidente médico; tornou-se um paradigma do perigo inerente à confiança excessiva em sistemas computadorizados complexos e mal testados , um alerta cujos ecos ressoam ainda mais alto na era da inteligência artificial e da medicina digital.

A jornada que culminou no desastre do Therac-25 começou quase um século antes, com a descoberta acidental dos raios X por Wilhelm Röntgen em 1895. Cientistas como Marie Curie logo perceberam o duplo potencial da radiação: destruidora de tecidos saudáveis, mas também capaz de eliminar células cancerígenas. Nas décadas seguintes, a radioterapia evoluiu de uma prática quase artesanal para uma ciência precisa.

O grande salto tecnológico ocorreu nos anos 1950 com o desenvolvimento do acelerador linear. Essas máquinas podiam gerar feixes de elétrons ou raios X de alta energia, permitindo tratamentos personalizados para diferentes tipos de tumor. O princípio era simples, mas a execução exigia controle absoluto: os elétrons eram usados para tumores superficiais, enquanto os raios X (gerados quando os elétrons atingiam um alvo de tungstênio) penetravam mais profundamente.

Nos anos 1970, a Atomic Energy of Canada Limited (AECL), uma empresa estatal com vasta experiência nuclear, entrou no mercado médico com os modelos Therac-6 e Therac-20. Essas máquinas eram exemplos de engenharia conservadora: múltiplas camadas de proteção baseadas em hardware, intertravamentos mecânicos e sensores independentes garantiam que, se uma configuração perigosa fosse tentada, a própria máquina se recusava fisicamente a operar. O computador, quando presente, era apenas uma camada de conveniência, não de segurança.

Em 1983, a AECL lançou o Therac-25 com uma proposta revolucionária. Para reduzir custos, aumentar a eficiência e modernizar o design, a empresa eliminou a maioria das proteções físicas das versões anteriores. A segurança, antes garantida por hardware, agora dependia exclusivamente do software.

Este foi um erro filosófico fundamental. Nos modelos antigos, se o software falhasse, as travas mecânicas impediam fisicamente a operação perigosa. No Therac-25, o software não era mais um assistente , era o único guardião entre um tratamento médico e um disparo letal. A máquina passou a funcionar como um "sistema de caixa preta": os operadores podiam ver os comandos inseridos e os resultados, mas os processos internos de decisão eram opacos e inacessíveis.

A ironia trágica é que o software do Therac-25 era uma colcha de retalhos perigosa. Desenvolvido por um único programador ao longo de vários anos em linguagem assembly do PDP-11, ele reutilizava código dos modelos anteriores sem considerar as diferenças críticas de hardware. Na AECL, o otimismo era tão grande que uma análise de árvore de falhas realizada em 1983 atribuiu probabilidades absurdamente baixas (como 4 × 10⁻⁹) para falhas de software, considerando apenas a possibilidade de erros aleatórios por ruído eletromagnético, e ignorando completamente a possibilidade de erros de projeto.

Principais diferenças entre as gerações de máquinas Therac

Os primeiros meses de operação do Therac-25 foram tranquilizadores. Mais de 20.000 tratamentos foram administrados sem incidentes. Mas essa calmaria era ilusória , os operadores ainda estavam aprendendo a usar o equipamento, e sua lentidão inadvertidamente mascarava um defeito mortal.

O padrão emergiu primeiro em Kennestone, com Katie Yarbrough. Em seguida, em 26 de julho de 1985, no Ontario Cancer Foundation, uma paciente de 40 anos em tratamento para câncer cervical recebeu uma overdose massiva após o operador pressionar repetidamente a tecla "P" (de "prosseguir") quando a máquina apresentou um erro obscuro. A paciente viria a falecer meses depois, com danos tão graves que, se tivesse sobrevivido, precisaria de uma substituição completa do quadril.

O terceiro incidente ocorreu em dezembro de 1985 no Yakima Valley Memorial Hospital, onde uma paciente desenvolveu queimaduras com padrão de listras paralelas. Quando o hospital notificou a AECL, a resposta foi uma carta de duas páginas detalhando "razões pelas quais a sobredosis de radiación era imposible".

Mas o pior estava por vir. Em março de 1986, no East Texas Cancer Center, ocorreu o incidente mais revelador. Vonne Ray Cox, de 33 anos, foi atingido por uma dose estimada em 25.000 rads (quando a prescrição era de 180 rads) após uma sequência específica de comandos. Ele descreveu a sensação como "um choque elétrico intenso". O físico do hospital, Fritz Hager, desconfiou da explicação da AECL (que atribuía o problema ao aterramento elétrico) e iniciou sua própria investigação.

Foi Hager quem finalmente desvendou o mistério do "Malfunction 54". O defeito era uma condição de corrida clássica: quando um operador experiente cometia um erro de digitação (selecionando raio-X em vez de elétrons) e corrigia em menos de 8 segundos, o software entrava em um estado inconsistente. A rotina que controlava o disco giratório (que alternava entre os modos) ficava "cega" por 8 segundos durante o movimento, não percebendo a correção. O resultado era aterrador: o disco permanecia na posição de raio-X (o modo mais potente), enquanto o display indicava modo de elétrons. Ao iniciar o tratamento, a máquina disparava feixes de alta intensidade diretamente no paciente, sem qualquer filtro.

Apesar das evidências acumuladas, a AECL manteve uma postura de negação sistemática. Mesmo após o acidente fatal com Verdon Kidd em abril de 1986 , que recebeu uma overdose direta no cérebro e faleceu em três semanas , a empresa inicialmente ofereceu como "solução" remover a tecla de seta do teclado e cobrir os contatos com fita isolante.

A tragédia do Therac-25 não foi resultado de um único erro, mas de uma cadeia de falhas técnicas e organizacionais que se alimentaram mutuamente:

O fechamento definitivo do caso do Therac-25 veio apenas em 1987, quando a FDA e sua contraparte canadense ordenaram que todas as unidades fossem desligadas até a implementação de correções permanentes. As máquinas foram eventualmente refeitas com intertravamentos mecânicos readicionados e um software extensivamente revisado, mas o preço humano já estava pago.

O legado regulatório, no entanto, é palpável. Após o escândalo, a FDA reestruturou profundamente seus processos:

Hoje, a radioterapia moderna incorpora o princípio ALARA ("As Low As Reasonably Achievable") , tão baixo quanto razoavelmente atingível , com múltiplas camadas de verificação, tanto em hardware quanto em software. Os profissionais seguem rigorosos treinamentos e protocolos de segurança.

Mas a lição mais crucial do Therac-25 transcende a radioterapia. Em nossa era de sistemas autônomos, aprendizado de máquina e inteligência artificial médica, o caso serve como um alerta permanente. Assim como o Therac-25, muitos sistemas de IA atuais são "caixas pretas" , seus processos decisórios são opacos até para seus criadores.

A analogia é perturbadoramente precisa: assim como os engenheiros da AECL confiaram cegamente em seu software não testado, hoje delegamos decisões críticas a algoritmos cuja lógica interna não compreendemos totalmente. Nas palavras de Felix Beacher, especialista em tecnologia médica, o caso Therac-25 oferece "um aviso para a IA médica" sobre os perigos de sistemas complexos e inescrutáveis.

A história do Therac-25 não é um relicário tecnológico, mas um espelho que reflete dilemas contemporâneos. Ela nos lembra que a sofisticação técnica nunca substitui o ceticismo saudável, a transparência e a humildade intelectual.

Nas palavras de Nancy Leveson, que estudou extensivamente o caso, o problema não foi que o software tivesse "bugs", mas que todo o processo de engenharia de sistemas estava falho. O Therac-25 matou pessoas não porque a radiação era perigosa, mas porque pessoas competentes aceitaram práticas inaceitáveis: código sem revisão, sistemas sem testes independentes, segurança crítica dependente de uma única pessoa.

Esta é a mensagem final que ecoa através das décadas: você não escreve apenas código, você escreve consequências. Cada linha de programação em sistemas críticos carrega peso ético. Cada atalho no desenvolvimento, cada relatório ignorado, cada aviso descartado como "impossível" acumula um débito técnico que pode ser pago com a moeda mais valiosa , a vida humana.

O Therac-25 nos ensina que o verdadeiro progresso tecnológico não está na eliminação das salvaguardas físicas em nome da eficiência digital, mas na integração sábia de múltiplas camadas de proteção. Não está na autoconfiança cega, mas na cultura de questionamento constante. Não está em sistemas tão complexos que se tornam inescrutáveis, mas na transparência deliberada que permite o escrutínio.

Como sociedade cada vez mais dependente de sistemas digitais críticos , em medicina, transporte, energia e comunicação , devemos carregar as lições do Therac-25 não como uma curiosidade histórica, mas como um princípio guia: a tecnologia mais avançada é aquela que reconhece seus próprios limites e protege ativamente contra seus possíveis fracassos. O preço do esquecimento, como descobriram Katie Yarbrough, Vonne Ray Cox e tantos outros, é simplesmente alto demais para ser pago novamente.

Fontes e Referências