皇室から政府へと移管されてから迎賓館となるまでのあいだ、赤坂離宮には下記のようにさまざまな組織が置かれることになる。
国立国会図書館……1948年４月〜61年８月
法務庁（のち法務府→内閣）法制局……1948年４月〜60年９月
裁判官訴追委員会……1948年７月〜70年６月
裁判官弾劾裁判所……1948年８月〜70年６月
法務庁（のち法務府→法務省）訴務局……1948年10月〜61年４月
憲法調査会……1956年６月〜60年９月
オリンピック東京大会組織委員会……1961年９月〜65年１月
臨時行政調査会……1961年12月〜64年10月
このうち憲法調査会は鳩山（一郎）内閣で置かれ、岸（信介）内閣において本格的に調査と審議を行なった。他方、臨時行政調査会は池田（勇人）内閣で設置されたものである。
しかしなんといっても特筆すべきは、オリンピック東京大会組織委員会だろう。1964年10月に開催された第18回オリンピック東京大会にかかわるすべての事業は、赤坂離宮に設けられたこの大会組織委員会の事務局によって主導された。
たとえば、市川崑が総監督を務めた記録映画『東京オリンピック』も、事務局内にあった映画協会制作部で撮影スケジュールや予算が組まれたほか、五輪会期中には毎日、競技会場から戻ってきた撮影隊の報告や現像所から上がってきたラッシュの試写が行なわれたという。
事務局内にはデザイン室も開設された。これは組織委員会内の各部局から要請される膨大なデザイン――パンフレット、プログラム、荷札、ステッカー、案内標識や掲示、街頭の装飾、表彰台など――に対処するため、五輪開催を半年後にひかえ急遽置かれたものだ。このとき、デザイン評論家の勝見勝の指揮のもと、粟津潔、杉浦康平、田中一光をはじめ、勝井三雄、福田繁雄、灘本唯人、永井一正、横尾忠則、宇野亜喜良、細谷巖、木村恒久、仲條正義、道吉剛などといった当時の若手グラフィックデザイナーたち、さらには工業デザインの榮久庵憲司（2016年の東京五輪招致のシンボルマークを手がけたのもこの人だったっけ）、東大の丹下研究室にいた新進建築家の磯崎新らが集められている。外国客とのコミュニケーションを助けるため五輪史上初めて採用されたピクトグラムも、この赤坂離宮の小部屋（もともとは電話交換室として使われていたという）にあったデザイン室で生み出された。
こうしてみると赤坂離宮は、日本における現代デザインの出発点だったといっても過言ではない。その赤坂離宮はオリンピック開催から10年後に迎賓館となる。それゆえに、デザイナーたちのあいだではこの宮殿の印象がのちのちまで語り草となっているようだ。
六四年を振り返りデザイナーたちが必ず語る風景がある。あの迎賓館だ。門から松の並木を抜けて見える建物はボロボロだったが、それを越えると裏に見事なフランス庭園が開けた。「あのころは何とも思わなかったけど、もう絶対気軽に行くことのできない場所なんだよ」。
日経デザイン編『てんとう虫は舞いおりた 昭和のデザイン〈エポック編〉』（日経BP社、1995年）
