香港公園位於前「域多利兵房」的上半部。在1979年，香港政府決定將「域多利兵房」的下半部用作商業用途，其他部份發展為公園，並獲得當時的「英皇御准香港賽馬會」資助部分興建費用。公園於1991年5月由時任港督衛奕信主持揭幕儀式。