The Edge declarou no ano de 2009: “Cada álbum do U2 produz a sua parte em idéias inacabadas. Algumas, como a faixa "Smile", que tem origem nas sessões de gravação do 'How To Dismantle An Atomic Bomb' chegaram muito tarde. Outras, como a música "Love You Like Mad", das gravações do 'All That You Can't Leave Behind", se perderam na poeira."
Em 2004, o U2 teve toda sua obra digitalizada e à colocou para venda no serviço de venda de músicas por download, o 'Apple Itunes'. O 'The Complete U2: Digital Box Set' continha todos os albuns e singles lançados pelo U2, além de um material extra muito interessante.
Um dos bônus desse pacote foi o album 'Unreleased And Rare'. O album trazia versões inéditas e alternativas de músicas do U2, algumas músicas já conhecidas pelos fãs e que nunca tinham sido lançadas em albuns ou singles oficiais da banda, remixes e algumas músicas inéditas ou sobras de estúdio de sessões de gravações de albuns anteriores. Esta foi a primeira aparição oficial de "Love You Like Mad".
Alguns meses antes do lançamento do álbum de estúdio 'No Line On The Horizon' em 2009, o Amazon do Reino Unido anunciou que disponibilizaria uma transmissão online do álbum na íntegra, além de uma faixa bônus não lançada oficialmente pelo U2 até aquele momento: a faixa era justamente "Love You Like Mad".
Meses depois, a canção teve seu lançamento físico no álbum 'Medium, Rare & Remastered', para os assinantes do site U2.COM