会后，文化部开始前期准备工作。仲秋元告诉《中国新闻周刊》，由于工程艰难，文化部又“弱势”，部里谁都不愿意去，连牵头起草《关于加强古建筑和文物古迹保护管理工作的请示报告》的文物局都没有兴趣。最后，任务落到了时任文化部总务司副司长韩澎的头上。

　　1981年11月，总务司所属的文化部修建队派卢明胜、张跃东、韩扬等人进入恭王府调研。

　　文化部修建队于1978年成立，主要负责修建平房、板房、车库等小工程任务。修建队麻雀虽小，五脏俱全，分为木工、土建、油漆等几个专业组，还有财务、采购、仓库等行政和后勤部门。

　　“韩澎就告诉我们，恭王府要修了，你们去琢磨琢磨，没有期限。”当时的修建队副队长卢明胜告诉《中国新闻周刊》。

　　1982年春节前后，修建队向文化部提交了恭王府调研报告，提出了后花园24景的修复方案。

　　2月13日，在修复恭王府、改建琉璃厂的汇报会上，谷牧为恭王府搬迁定下了基调：谁的孩子谁抱走。

　　3月，文化部提交《关于恭王府修复工程的请示报告》，提出了“接一间、管一间、修一间”的修复方案，并建议成立恭王府修复管理委员会。

　　不久，谷牧再次在恭王府召开几个部门的联席会议。主管计财、基建的文化部副部长仲秋元，北京市副市长张百发、公安部副部长习国光等均出席了会议。

　　仲秋元回忆，这期间，谷牧再次视察了恭王府，并明确了修复工程的领导问题。“谷牧说我做主了，修复工作还是归文化部，北京市就不要插手了。”

　　会上，谷牧宣布，经国务院批准，成立以文化部为主，由文化部、公安部、国家计委、建委、财政部、国管局、宗教局、北京市政府等部门组成的恭王府修复管理委员会，并制定了先易后难、分期分批，先花园、后府邸，边搬迁、边修复、边开放的修复原则。

　　不可能的任务

　　1982年4月，文化部修建队匆匆入驻恭王府。

　　仲秋元告诉《中国新闻周刊》，在相当长的时间里，恭王府修复工作没有人管，就靠这支维修队。日后，维修队的成员大都成为了文化部的工作骨干。

　　第一批进驻的修建队成员、现恭王府管理中心高级工程师张壮向《中国新闻周刊》回忆，修建队进驻恭王府时，府邸里住了200余户，花园中心区域住了60户，周边40多户。彼此各自为政，各扫门前雪。

　　府邸部分，中国音乐学院因办学需要，拆除了部分原有附属用房，增建了钢筋混凝土的办公建筑群；花园部分，游廊已塌，园池被填做幼儿园的操场，东边的工厂拆了7间房，建了一座两层的厂房，有的住户还搭建了厨房、锅炉房、储藏室等临时建筑。

　　原王府的古建已濒临支离破碎的边缘。

　　修建队对修复工程的前景都比较悲观。且不提府邸部分驻着一个大学和一个研究机构，单是花园的搬迁就已遥遥无期。

　　尽管有谷牧下的死命令，北京风机厂也要在新的厂房建成后才能搬走。虽然公安部新建了宿舍，但许多离休干部也不愿意搬走。让卢明胜印象深刻的是，一位老干部是用了至少6套房子才将他请走的。更不用说天主教爱国会。爱国会写信给赵朴初，他呈递给邓小平，邓小平做了批示，爱国会就不搬了。

　　经费也是一大问题。张壮回忆，花园的修缮工程一直没有拿到专项经费，年年他都得跟着队长到部里计财司“要钱”。听会计说，国家没有专门拨款，经费都是从文化部财务处管理的事业经费里挤出来的。

　　修建队从文化部搬来桌椅板凳柜子办公，一来就给这些固定资产做了编号，以便将来搬走时方便清点。“我们在文化部的地儿一直没交。”张壮说，“我们都留着后路。”

　　推动修复工作的，是修建队队长吴其珍。

　　吴其珍是参加过解放战争的老革命，当时已年过五旬，但“艰苦创业”的作风连当时年仅17岁的张壮都有些吃不消。刚刚进入修建队不到一年的张壮，对这位老前辈又敬又畏。

　　张壮说，吴其珍的“办公时间”和“工作时间”是分开的。他一天在现场工作10个小时，和工人一起搭架子、扛沙包。只有现场工作结束后，才回办公室。

　　“他每天早上5点半到办公室安排工作，一直到晚上8点下班回家，但很多时候都会工作到10点、11点。给我们也熬得够呛。”张壮回忆。

　　禁止穿“奇装异服”

　　修建队进入恭王府后花园时，是以维护花园环境、服务花园住户为名的。

　　当时，园里住户各自独立，用墙隔出一片片小天地。公共区域无人问津，一片破败，杂草丛生，甚至有各种小动物出没，如同荒野。修建队便从除草剪枝、打扫卫生开始入手。吴其珍禁止手下穿喇叭裤等“奇装异服”，一律理平头，希望给住户留个好印象。

　　但住户的抵触情绪依然强烈。他们联合起来，各有分工，有记录的，有照相的，为的是收集修建队破坏文物的“罪证”。修建队员态度和气，除了修整环境，对各家各户有求必应，忙前忙后，与大部分住户建立了良好的关系。

　　修建队还遇到过不仅不愿搬，还趁机占房的。张壮记得，有腾空的房屋，其他住户就会来转悠，甚至直接把物品搬进去占房。

　　各单位的腾退工作进展缓慢。为此，恭王府修复管理委员会大会小会开了几十次，谷牧也多次来视察，还下了“限时限刻”搬出的命令。

　　首先从花园搬走的是文学艺术研究院下属的红楼梦研究所和国管局幼儿园。1984年，在北京市副市长张百发的强势要求下，北京风机厂也于限定日期内搬迁完毕。

　　为了迁走恭王府的住户，公安部下了很大力气统建宿舍，还成立了公安部大观园宿舍拆迁办。拆迁办的每月例会，张壮都作为文化部代表列席。对于不愿意住统建宿舍的老干部，公安部想办法给他们安排了四合院住宅。

　　住在花园中心的一位公安部老干部是红四方面军的战斗英雄，脾气暴躁，被当时院里的住户和工作人员称为“老天爷”。公安部的一位副部长亲自找到卢明胜为他说情，请他“就不要动花园这块地方了”，卢明胜当然无权同意。最后还是谷牧把老红军叫到国务院谈话，才得以解决。

　　1986年，公安部宿舍的住户搬出。至此，恭王府后花园的腾退工作暂告一个段落（花园四周还有住户，因为没有影响到花园格局，当时没有立刻迁出）。

　　恭王府修复管理委员会更名为文化部恭王府修复管理处，修建队的编制也从部里正式转到了修复管理处。

　　同年，后花园第一期修复工程结束。

　　搬出花园，又进府邸

　　1986年5月18日，谷牧再次就搬迁问题召集了文化部、北京市、公安部等部门的联席会议。这次，是文化部让谷牧发了火。

　　恭王府中有文化部的两大单位：中国音乐学院和中国艺术研究院（文学艺术研究院1982年改名为中国艺术研究院）。国管局与北京风机厂搬出后，文化部就成了恭王府里最大的占房户。

　　文化单位的房子历来紧张。艺研院位于恭王府的府邸，包括“99间半”在内的西路和东路是其办公区域和研究生部，曲里拐弯的耳房偏房都被之前的毕业生占据了。艺研院82级一位研究生回忆，她1985年新婚没有地方住，就和丈夫在“99间半”里找了一间空办公室，作为新房。

　　艺研院所属的红楼梦研究所原在花园里办公，府邸里的艺研院尚未整体动迁，先搬出来的红楼梦研究所无处可去，索性搬出花园，又进府邸。

　　在这次联席会议上，谷牧首先督促了公安部的搬迁问题，又批评了文化部的腾退工作：“文化部再怎么困难也不能搬进去！公安部搬出来，你们搬进去，是没有什么道理的！”文化部副部长宋木文当场表示：“谁再搬进去，谷牧同志拿我是问！”

　　后花园腾退工作进行得差不多了，在恭王府未来开放时归谁管理的问题上，文化部和北京市又有了争议。在这次联席会议上，谷牧发话，恭王府首要问题还是腾退修复问题，“至于修复后将来如何使用，暂且不提”。

　　2006年11月23日，工人正在给恭王府多福轩的窗框上漆。当日，随着占用北京恭王府府邸的最后一家单位——中国音乐学院附中悬挂在恭王府府邸近50年的校牌摘下，并移交占用房屋及管理权，历时28年的恭王府府邸腾退工作终于圆满结束。图|新华

　　三代国务院领导人接力

　　1987年到1988年，后花园的退一步斋、垂花门等建筑逐渐修缮完成。文化部希望开放恭王府后花园，以园养园，也为府邸部分的搬迁造一个声势。

　　要开放后花园，必须明确管理权归属的问题。恭王府管理中心原党委副书记吴杰曾查阅过府里的档案，他告诉《中国新闻周刊》，在管理归属问题上，文化部和北京市双方都给谷牧打了报告，谷牧在给文化部的批示中说，想让恭王府归你们管，就要拿出一个更好的策划方案。

　　1987年，文化部提出了将恭王府建设成为中国传统文化博物馆的方案。谷牧将报告批转北京市政府，北京市同意了这一方案。至此，恭王府的归属权正式交给了文化部。

　　1988年，谷牧卸任国务院副总理职务。在他任职期间，恭王府后花园的腾退和修缮基本完成。

　　8月17日，恭王府后花园正式对公众开放。但因缺少经费，后花园的修缮并没有全部完成。

　　1989年，李瑞环到恭王府视察。为了能让恭王府花园在来年的亚运会期间成为接待定点单位，经他批示，从亚运会的预算里批了150万的专项经费给文化部。赶在1990年亚运会开幕之前，恭王府后花园的修缮工程终于全部完成。

　　而恭王府府邸部分的搬迁由于牵扯面太广，问题太复杂，几乎无法向前推进。艺研院在北四环的新址被北京市副市长张百发借去，用作亚运会场馆的停车场，以致新址建设迟迟没有开工。

　　1995年4月22日，退休的谷牧再次来到恭王府考察。恭王府负责人向他保证，应能在1997年完成大部分单位的搬迁工作，但他已经不太相信这样的保票了，只留下一句：“看来我是见不到恭王府修好的那一天了。”

　　1999年，时任国务院常务副总理李岚清开始主持恭王府的腾退修复工作。他后来回忆：“谷牧同志受周总理的委托，我受谷牧同志的委托，抓了5年恭王府的工作。”

　　2002年，中国艺术研究院迁往北四环新址；2006年10月，占据恭王府府邸的最后一家单位——中国音乐学院附中搬出。在三代国务院领导人的关心下，历时28年的恭王府腾退工作终于圆满画上句号。

　　2008年8月20日，大修后的恭王府府邸对外开放。至此，恭王府全面开放，成为中国唯一一座对公众开放的清代王府。