咸豐九年（民前五十三年，西元1859年），淡北的漳洲人和泉州人起衝突，燒殺破壞，許多村里都成廢墟，八芝蘭街也被焚毀。這種瘋狂的「械鬥」，令人聞之痛心。鬧了二年多，終於結束。當時街民集合一起協議要於芝山岩山麓建新街。這時士紳潘永清先生外出，稍後回到士林得知此事，他極力反對，他認為如果建新市街於芝山岩，萬一泉州人又攻來，祇能退守名角，如果名角再被毀，勢必要退入山邊的下東勢，如此則容易被逼入山區。於是潘永清主張於下樹林之處建設新街。

        咸豐十年(西元1860年)恰好是猴年，人人都說猴歇樹是好預兆，且當年沒有分類械鬥事件發生，在人們認為是吉祥象徵之情況下，開始計劃新街的建設。此時大東街曹厝，大北街板橋林厝、石角的楊厝、魏厝都割地出來建設新街。對這次建設新街的計劃，首先表示贊成的是一位張姓人士，他說只要他經濟上許可，也要參予蓋一間。潘永清先生馬上答應供給他蓋房子的材料。所以張先生的住家是當時新街最早蓋好的房子，位於慈諴宮左邊。

        新街成一長方形城市，以慈諴宮為中心，四面設有街道，即現在的大北路、大東路、大西路、大南路。在兩街之交叉點設有隘門，北隘門正座落於大北路和小西街的交會點。西隘門設小西街。東、南隘門則設在大北路與小東路的交會點。在街角設隘門具有防盜賊之功用。

        計劃之初，先定路線、水溝，然後劃定店鋪，使整個街市方正平均，整齊不紊。中央劃為廟址，廟前設大廣場，作為農漁交易場所，也就是現在士林市場的一部份。另外又在河邊種竹，用以擋風。造碼頭、開運河。運河有兩條，即頂下水擋（位於現在文林北路一百○一巷道路）、下水擋，俗稱「水棟」（位於大南路）；頂下水擋於當時既可防盜，又可供船隻避風。又鋪造舊街大石路及頂下水擋橋。當初新街之都市計劃，除了具有商業交易之考慮外，兼有防盜之功能。

        整體看來，士林新街是個「麻雀雖小，五臟俱全」的計劃都市。具備經濟、宗教的功能，而潘家古宅就在廟前右方，菜市場邊，彷彿居於行政指揮的地位。潘宅後面就是基隆河渡頭（原廢河道，今已填土為新生地）可通淡水河與艋舺（今萬華），可見新街的建設無論是地點的選擇、功能的考慮都相當周祥，而潘永清先生是新街興建的大功臣。