长崎蛋糕不是起源于日本长崎，长崎蛋糕的名称是「カステラ」，中文谐音就是“卡斯提拉”（Castella），最初源自文艺复兴时代的宫廷茶点。

十七世纪，葡萄牙的传教士和商人远渡重洋来到长崎，为了建立彼此的友谊，作为外来人的葡萄牙人为了传播基督教文化，对当地的贵族赠送红酒、对平民赠送甜点。

当时，一种砂糖、鸡蛋、面粉做成的糕点大受欢迎，这种蛋糕在日语中写作——カステラ（kasutera），传说当时日本民众问葡萄牙传教士这是哪里来的甜点，他们回答说是“Castella”（西班牙的卡斯蒂利亚），但日本人误以为是甜点的名字，于是就音译成了日语的假名カステラ，并将它发扬光大。