Heavy Cross war – wörtlich übersetzt – „ein schweres Kreuz“ an dem Gossip ziemlich heftig zu tragen hatten. Sängerin Beth Ditto wollte den Song nämlich ursprünglich gar nicht auf das Album Music For Men nehmen, weil sie ihn nicht mochte. Am Ende wurde es ihr bis heute größter Hit.