Um mês antes do lançamento do disco 'POP', e com a canção "Discothèque" mais ou menos completa, o single de estreia precisava de um b-side: uma canção finalizada, de segundo escalão, não destinada para o álbum.
No próprio estúdio do U2, com vista para a Bacia do Grand Canal em Dublin, Howie B., Adam Clayton e um assistente estavam trabalhando em uma faixa chamada "If You Wear That Velvet Dress", uma balada enfumaçada, repleta de saudade conturbada.
O que faltava nela era força, e Howie B. estava tentando encontrá-la. Então, em muitos arranjos que a banda havia gravado, ele fez: a cotovelada do baixo no final de um verso, um exemplo reluzente de um álbum de música clássica contemporânea em outro, com tons de sinos e acordes do orgão Hammond entrando e saindo da mixagem.
Bem depois da meia-noite, Adam Clayton disse à Howie B. que a música não soava mais como um lado b, e que poderia ser uma faixa do álbum. Howie B. e seu assistente com os olhos turvos compartilharam um alegre high-five. Durante o almoço no dia seguinte, a banda e os produtores analisaram a possibilidade de fazer "Velvet Dress", uma faixa do álbum. Era muito semelhante no humor para outras músicas do disco? "É muito intensa", Flood disse, "e, em seguida, você não pode colocar qualquer outra coisa nesse estilo no seu álbum, que eu acho que é muito positivo. Ela empurra você."
Duas canções então estavam concluídas. "Agora sabemos como terminar as outras", disse The Edge. "Vamos pensar em todas elas como lados-B".
Uma vez que "Velvet Dress" não seria mais um lado b e estava agora indo para o álbum, o single ainda precisava de um b-side, com o prazo de dois dias para ser terminado. "Este é o tipo de situação de pressão", disse The Edge. Uma nova candidata para o lado b era uma faixa chamada "Holy Joe", que em seu estado atual era um rock de três acordes sem palavras, para além de algumas linhas de abertura - "Eu sou um cara humilde / Não, realmente, eu tento" - e um coro: "Venha, seja bom para mim."
Bono e The Edge foram sequestrados, tentando chegar com o resto das palavras. Flood, Howie B. e Larry Mullen foram passando por cima da trilha de ritmo, transformando-as em loops para usar como a batida da música.