"The Fly" surgiu durante as sessões de gravação de 'Achtung Baby' no Hansa Studios, em Berlim, em 1990.
As oridens da canção podem ser atribuídas por uma demo gravada no Hansa, que eventualmente evoluiu para a faixa "Lady With the Spinning Head".
A demo foi um dos materiais que foi contrabandeado das sessões de Berlim e lançada na coleção pirata 'Salomé: The Axtung Beibi Session'.
Em 1991, as sessões de gravação do álbum mudou-se para a mansão à beira-mar Elsinore, em Dalkey, onde o grupo continuou a trabalhar na demo.
Era uma faixa problemática, mas inspirou porções de três músicas diferentes: "The Fly", "Ultraviolet(Light My Way)" e "Zoo Station".
Bono comentou: "um dia, o nosso engenheiro de som, Flood, tinha um olhar diferente em seus olhos. Ele começou a se sentir bem. Nós gravamos "The Fly". O som da guitarra de Edge foi, literalmente, como uma mosca invadido o seu cérebro e zumbindo ao redor".
Fintan Fitzgerald, assistente do U2 e roupeiro, comprou para Bono um livro de truísmos de Jenny Holger's: "Eu fiquei muito interessado nestes aforismos de linha única. Eu tinha de escrevê-las, então eu criei este personagem que poderia dizer à todos eles, de 'um mentiroso que não acredita em ninguém, para 'um amigo é alguém que deixa você ficar mal', que é de onde The Fly estava vindo. Em um programa de TV francês chamado 'Rapido', a banda explicou que queriam construir uma canção "estilo Pixies". Bono e The Edge eram grandes fãs da banda. Bono chamou isso de "O som de 4 homens cortando a árvore do Joshua". Os vocais foram pesadamente processados, aumentando a sensação de que não era realmente Bono cantando, e sim um personagem que ele estava fazendo. Bono disse que essa música é sobre um homem ligando para o inferno em um telefone público, sobre todas as coisas que ele aprendeu: "Ei, eu tenho que ir, sim, eu estou correndo para fora da mudança..."
A expressão "mosca na parede" significa a atitude de alguém que fica deliberadamente em segunda plano, para passar despercebido enquanto observa atentamente tudo ao redor.
No final das sessões de gravação, a banda decidiu que eles estavam descontentes com o mix de "The Fly", que foi escolhida com bastante antecedência do lançamento do álbum, para ser o primeiro single .
A banda acabou pegando o mix da música, colocando-o em uma fita multi-track de duas polegadas, e adicionando os vocais e guitarras adicionais. The Edge e o produtor Daniel Lanois mixaram em cima do mix anterior, ao vivo no estúdio, uma prática incomum.
The Edge disse que a técnica faria "os profissionais de estúdio rirem" e acreditava que "parte da razão porque a música soa tão dinâmica é porque era uma mixagem real com desempenho à mão".
O som de guitarra no introdução foram criados através do mix de guitarra adicional em cima da guitarra já existente, criando um "efeito muito louco naturalmente progressivo".
Adam Clayton mencionou que "naquela época, era impossível saber se os fãs do U2 iriam seguir Bono por este caminho particular, então a música foi um verdadeiro salto de fé. A trilha toda é uma barragem sonora de alta energia, mas com um coro angelical. É um exemplo clássico da interface de U2 e Brian Eno".