江戸時代、白山神社の境内地には、新潟町の商人らの蔵が立てられており、その場所は、島蔵と呼ばれていました。
明治4（1871）年、太政官布告第4号（社寺上地令）により、白山神社境内地は官有地として新潟県の管轄となります。明治5（1872）年、楠本正隆が新潟県令として赴任し、開化政策を強力に推進しますが、そのうちの１つとして公園（遊歩場）の開設が決まります。境内地にあった島蔵を取り壊し、神社の狛犬、社、隋神門などを取り払って「白山遊歩場」の工事が始まります。
造園には新潟の実業家荒川太二が監督にあたり、荒川の出身地である三条の庭師が造園に携わったと伝わります。昭和8年（1875）に出版された『新潟古老雑話』（鏡淵九六郎著）には「楠本新潟県令の発意で、荒川太二氏が、自ら監督の人にあたり、三条の庭師が一木一石も卑しくもせず、自分は杖をふるって終日指図した」との記述がありますが、詳細な資料などは残されていません。また、楠本に付いて新潟に来ていた大村出身の長岡安平（秋田の千秋公園などの造園を手掛けた近代の著名な造園家）が白山公園を手掛けたとする説もあるものの、新潟県の職員録などに長岡の氏名はなく、記録も残されていません。
明治6（1873）年の太政官布達により、府県に公園設置が奨励されると、新潟県は建設中の遊歩場を申請しました。
その理由として、
1）信濃川沿いには松原があって、信濃川越しには弥彦山・角田山が見え、その背後には越後山脈が遠望できたため、江戸時代から景勝地とされていたこと
2）白山神社の祭礼でにぎわうなど、新潟町民の行楽地であったこと
3）白山神社の境内地は江戸時代には無税地だったことから、明治4年の太政官布告によって官有地になっていたため「年貢対象地になっていないところ」という太政官布告に合致していたことがあげられます。

太政官布達により全国で公園の申請がなされます。多くの場合は、江戸時代以来の寺社境内の名所、行楽地をそのまま公園として申請したものでしたが、明治6年に開設、あるいは園地指定した全国25の公園の中で、唯一白山公園は指定前から新規の造成が始まっていた公園でした。
公園の造成は、大鳥居から続く参道の西側からはじまります。「新潟白山公園内」と注記のある、造成中の様子を撮影した古写真には、木柵で丸く囲われた中に低木や庭石、石燈籠などが配されている様子が見えます。また、画面右には新聞縦覧所の建物が写っています。
白山公園がいつ完成したかは不明です。明治8（1875）年12月付の、楠本正隆の後任の永山盛輝県令への事務引継書には、「現在工事はほぼおわった」とありますが、その後も整備工事は続いていたようです。明治11（1878）年には明治天皇行幸に合わせて、公園東側の川縁に築山を造成します。これが現在の美由岐賀丘です。また、築山を築くための土砂を掘った跡がひょうたん池であるといわれており、その真偽は定かではありませんが、この頃に、現在の蓮池、ひょうたん池、美由岐賀丘といった現在の白山公園の地割が完成したと考えられます。

現在は白山公園と呼ばれていますが、明治6年7月に秋月種樹が書いた碑文は「新潟遊園」となっており、明治11年の県庁布達は「白山公園」とされています。「新潟公園」「白山遊園」とも称されたようですが、市民や新聞が使い慣れた「白山公園」を用いたことから、大正5（1916）年に新潟市公園条例が制定された際、正式に名称を「白山公園」としたようです。