نشأ قصر باكنغهام من منزل خاص عُرف باسم باكنغهام هاوس، بعدما استأجر "جون شيفيلد" الموقع عام 1698 وأقام فيه منزلًا جديدًا في العام التالي، قبل أن يصبح دوق باكنغهام لاحقًا. اشترى الملك "جورج الثالث" المنزل عام 1761 لزوجته الملكة "شارلوت"، ثم توسع وتحول إلى قصر ملكي.