Lado B do single de "I Still Haven't Found What I'm Looking For" do U2, a canção "Deep In The Heart" é derivada de uma peça de três acordes que Bono compôs no piano sobre a última vez que esteve na casa da família em Cedarwood Road, em Dublin, que seu pai acabara de vender.
As memórias de seu tempo vivendo lá, levantou muitas das idéias líricas para a canção.
The Edge e Adam Clayton retrabalharam a peça extensivamente, com Bono mais tarde descrevendo o resultado final como "uma improvisação quase jazz em três acordes", também observando que "a seção rítmica transformou-se em um pedaço muito especial da música".
A canção foi gravada em uma maneira similar à canção "4th of July" do álbum do U2 de 1984, 'The Unforgettable Fire'.
Edge e Adam estavam tocando juntos em uma sala e não sabiam que eles estavam sendo gravados em uma máquina cassete '4-track' pelo assistente da banda, Marc Coleman.