明治5年(1872)になると民間に払い下げられ、城は撤去された。

写真は歴博資料から、下記(参考)は図書館資料から

https://repository.nabunken.go.jp/dspace/bitstream/11177/6592/1/BB25180515_169_176.pdf

　↓

（参考）建物等の処分を取り仕切ったのは陸軍東京鎮台第二分営で、入札の結果、城下の商人松島屋（下寺徳次郎）が明治５年（1872）９月に665両で建物と樹木を一括で購入した。松島屋は、購入した建物や樹木を物件ごとに細かく分類し、番号をつけ、予定価格を定めた上で、11月にさらなる競売を行った（図２）。
この競売には様々な人が参加しており、門や土蔵などを始め、障子や襖、釘隠しといった建具、礎石、庭石にいたるまで、あらゆるものが予定価格を超える高値で、城下や近郷の富裕層に買い取られた。その後、建物は順次取り払われていき、積雪期や作業人足が集まらない農繁期を見送った後、翌明治６年（1873）７月までに取り壊し、搬出を終えた。樹木の取り払いも同年12月までに終えている２）。
こうして更地になった高遠城の土地は、大蔵省の所管となった本丸と笹曲輪、南曲輪を除き、二ノ丸や三ノ丸、法幢院曲輪などが民間へ払い下げられている。

世話人(写真)と購入したもの(写真掲載略)のところに、菊屋の文字がある。
何を購入したかは、達筆(草書体の崩し字らしい?)すぎて何と書いてあるかわからない?

（参考）明十社（めいじゅうしゃ）は、高遠町にあった製糸工場として、沿革2と同じ建物の写真のみが掲載されていますので、（明治８年頃の建設と思われますので、この建物に利用されている可能性もあります…?

https://ja.localwiki.org/ina/明十社

（参考）明十社（めいじゅうしゃ）は、長野県上伊那郡高遠町にあった製糸工場。
として、下記と同じ建物の写真とMAPが掲載されています。（但し、番匠・旭町の地名は記されていますが、藤沢の地名はあるが清水町の記載はありません?）
（写真・MAPと地名が合致しないので、藤沢は清水の誤りではないかと思われます?）
（明治８年頃の建築と思われます。～大正９年頃まで?）
https://ja.localwiki.org/ina/明十社