マーカーは苗木藩遠山家上屋敷跡です。
「国立国会図書館デジタルコレクション – 東京市史稿. 市街編49(1960年東京都出版)」の「江戸藩邸沿革」のP659・コマ番号373/553から苗木藩屋敷の変遷について記載されています。「上屋敷 芝将監橋」がこの地になります。最後の藩主・第12代の遠山友禄は文久元年（1861年）と元治元年（1865年）の2度にわたって若年寄となり、文久元年に辰ノ口に屋敷替となり、若年寄辞職後常盤橋内に屋敷替。その後、愛宕下に屋敷替え、元治元年の若年寄就任で日比谷門内に屋敷替となります。
苗木藩遠山家
[苗木藩（なえぎはん）は、現在の岐阜県中津川市苗木に存在した、最小の城持ちの藩。居城は苗木城。美濃国の恵那郡の一部と加茂郡の一部を領地としていた。
苗木藩の藩祖は遠山友政である。友政は美濃の豪族で、父の友忠とともに織田信長に従っていたが、信長死後の東美濃騒動、さらに徳川家康に与したために所領を失い、苗木は河尻秀長の所領となった。慶長5年（1600年）の関ヶ原の戦いで河尻秀長は西軍に与したため戦後に所領を没収され、代わって東軍に与して武功を挙げた友政に1万500石が与えられて旧領復帰が許された。ここに苗木藩が立藩した。友政はその後大坂冬の陣では桑名城の守備、大坂夏の陣では松平忠明に属して武功を挙げ、元和5年（1619年）12月19日、苗木で死去した。
藩政においては小藩ゆえの、幕府の相次ぐ手伝い普請や軍役などにより、財政窮乏が早くから始まる。歴代藩主は藩政維持のため厳しい倹約令を出し、天保年間には給米全額の借り上げを行うなどした。
第3代藩主・遠山友貞は新田開発を行なって4286石の新田を開発したが、第5代藩主・遠山友由の大坂加番、第6代藩主・遠山友将の駿府加番による出費や第7代藩主・遠山友央の相続に伴う500石の幕府返上などがあって、根本的な財政の改善には至らなかった。最後の藩主・第12代の遠山友禄は文久元年（1861年）と元治元年（1865年）の2度にわたって若年寄となり、慶応元年（1865年）に大坂警備や第二次長州征伐に参加したことなどの出費が重なって財政は火の車となり、従来の倹約令に加えて5種類の藩札発行による改革を図ったが、遂に財政は破綻した。
明治維新後、14万3千両、藩札1万5900両あった藩の借金は、苗木城破却に伴う建材や武具などの売却、藩士卒全員を帰農、家禄奉還させ家禄支給を削減し、さらには帰農法に基づいて旧士族に政府から支給される扶持米を大参事以下40名が3年間返上させること、知藩事遠山友禄の家禄の全額を窮民救済と藩の経費とすることにより、明治4年（1871年）8月には5万2600両、藩札5千両にまでに縮小した。しかし旧苗木藩士の生活は年々逼迫し、自殺者まで出る事態となった。さらに明治4年の廃藩置県により、苗木藩は苗木県を経て岐阜県に吸収され、当初約束されていた家禄奉還の補償は不可能となった。また明治政府からではなく苗木藩庁の指示により他藩よりいち早く家禄奉還して、全員が士族から平民へ移っていたため、旧藩士卒は旧士族として認められないという事態に陥った。このことなどにより、財政改革や廃仏毀釈を主導した大参事青山直通に恨みが集中し、明治9年（1876年）に旧藩士4名が青山の暗殺計画を決行、当人は当日不在だったため屋敷に放火される。明治24年（1891年）にも襲撃未遂事件が起こっている。
廃仏毀釈
維新直後、平田篤胤派国学の影響を受けた藩政改革が図られ、青山景通、青山直通の親子らが先頭に立って、領内で徹底した廃仏毀釈が実行された（東白川村の蟠龍寺などの例がある）。明治3年（1870年）9月27日、苗木藩庁は、支配地一同が神葬改宗したので、管内の15か寺の廃寺と、その寺僧たちに還俗を申し付けたことを、弁官（中央役人）に届けた。
「岐阜県東白川村役場脇にある「四つ割りの南無阿弥陀仏碑」。苗木藩の廃仏毀釈時に4つに割られて庭石などにされたのち、廃仏毀釈後に破片を集め修復されたもの。中央に割った時の跡が残る」・wikipedia-photo (wikipedia・苗木藩より)]
「国立国会図書館デジタルコレクション – 〔江戸切絵図〕. 芝高輪辺絵図(嘉永三年・1850年)」(絵図四つ切右下・薩摩宰相殿上屋敷下右に遠山美濃守(遠山友禄)上屋敷が描かれています。)
「国立国会図書館デジタルコレクション – 御府内場末往還其外沿革圖書. [2]拾六上(弘化三年・1846年)」[絵図四つ切右下に遠山美濃守(遠山友禄)と描かれています。]
「国立国会図書館デジタルコレクション – 品川芝筋白金麻布. [1](寛政六年・1794年)」(コマ番号5/8・絵図四つ切右上に、「遠山佐吉」と描かれています。)
「国立国会図書館デジタルコレクション – 芝金杉ヨリ麻布白金御殿跡辺絵図」(コマ番号2/5・絵図四つ切右下、松平大隅守右上に「遠山美濃守」と描かれています。)
カメラ北西方向一画が苗木藩遠山家上屋敷跡になります。