O nome veio de uma mistura dos títulos dos últimos álbuns das duas bandas: Automatic For The People do REM, e Achtung Baby do U2.
Esta performance do 'Automatic Baby' foi lançada oficialmente em pelo menos quatro compilações lá fora. A primeira foi na segunda edição do CD ao vivo da estação de rádio de Atlanta 99x's, lançado em 1995.
No ano seguinte, a estação de rádio alternativa WHFS de Maryland lançou uma coletânea de apresentações do seu programa "Just Passin' Thru", e incluiu a faixa. Mais tarde, em 1996, uma compilação do Reino Unido divulgada pela Island Records intitulada Childline incluiu a faixa. A Island Records lançou um outro CD beneficente no ano seguinte, nos EUA, intitulado "Amazing Grace", que também incluiu a canção.
Estas compilações foram muito limitadas, possivelmente com apenas 10 mil exemplares de cada uma delas. Os lançamentos da Island Records tiveram uma maior prensagem. Todas as quatro versões estão atualmente fora de catálogo.