在日月潭他漫不经心地撒下鱼网，结果捕捉了一条长达5英尺的大鱼。老渔夫见状便说他已经20年没见过这样大的鱼了。蒋介石心想，这是一个好兆头。
蒋介石被彻底打败后，决定停下来反思一下。
于是他在位于台湾中部山区的日月潭找了一个安静的隐居之地。由于日月潭是人工所造，所以风景十分秀丽。与他同去的还有儿子蒋经国。刚到此地，蒋便接到一封电报，得知了国民党在大陆彻底灭亡的消息。
他沉默良久，然后对儿子说：“我们到山里走一走吧。”好长一段时间两人都默不做声，最后蒋介石建议到湖边去捕鱼。
于是，蒋经国从一位渔夫那里雇来一条船，蒋介石便一人出去了。他漫不经心地撒下鱼网，结果捕捉了一条长达5英尺的大鱼。老渔夫见状便说他已经20年没见过这样大的鱼了。蒋介石心想，这是一个好兆头。
很显然，蒋介石在等待时来运转，他需要好征兆。事实上也是如此，在他们老家浙江、安徽北部、四川、广西、云南、陕西南部和西藏边疆等地还有零星的残余部队在抵抗。
另外，在台湾、“反攻大陆”的“基地”——海南岛、长江口的舟山群岛、厦门对面的金门岛、东山岛以及台湾西部的澎湖列岛等都有“自由中国”的存在。当时，蒋介石还有各种部队约80万人，750辆至1000辆坦克装甲车，还有一支拥有300至600架飞机的空军力量。如果只算第一线的飞机，只有300架，如果加上所有的飞机则为600架，另外还有70艘军舰。
蒋介石认为所有这一切还不足以“反攻大陆”，但如果幸运的话则足以与共军对抗，并通过空袭和经济封锁来摧毁共产党的统治。
在蒋得意忘形、充满无限自信的日子里，他拒绝了暂时放弃东北，集中力量保住关内的建议。结果他不但失去了东北，而且也加速了他失去大陆的步伐。他把战线拉得很长，兵力分散，企图保住一切。可他不明白对于一个长期的军事反攻来说，有时候战略退却也是必要的。
在国民党仍控制着的岛屿中，只有台湾才是一个死里逃生的地方。广东近海的海南岛是他舍不得放弃的一块肥肉。他可以利用那里的铁矿、富有潜力的海军设施以及靠近大陆的地理位置上的优势，那将是一个反攻大陆的理想基地（如果他们采取有效的防御措施的话，事情可能是这样，但是他们没有这样做）。
警备司令薛岳将军（外号“小老虎”）拥有一支4万人的训练有素的常规部队，但他们在内线常常遭到与国民党警备军数量相当的共产党军队的狙击。在1950年2月至4月之间，大陆共军曾10次进攻海南岛，但均未成功。4月16日共军集中兵力占领了海南岛，国民党军队很快撤退到南部海岸。于是，蒋介石命令薛岳将军将其部队撤退到台湾。
在随后的一个月里，一支更大规模的拥有15万人的军队，乘坐16艘自由号轮船和一些小船也从长江的舟山群岛撤离了，另外还放弃了通往广州的万山岛和福建海岸的东山岛。国民党的撤军结束了蒋对上海和广州的封锁。
从此以后，蒋介石便完全失去了反攻大陆的基地。除了福建海岸的金门岛和马祖岛以及澎湖列岛以外，“自由中国”逐渐地退缩到台湾岛上。台湾岛面积不足苏格兰的一半，耕地面积不到三分之一，当时的人口为1000万或1100万，其中包括100万至200万来自大陆的难民。
在这种前途渺茫的形势下，蒋介石有两个最基本的目标，即保持政治地位和维护中国传统的生活方式。
然而，从蒋来台湾的那一天起直到他去世，他的众所周知的目标是“反攻大陆”。
随着时间的流逝，他的这一目标在常常听说它的人们心中渐渐地失去了信任。这个目标开始时是勃勃的野心，后来变成了渺茫的希望，以后又成了可望而不可即的神话，最后则变成了一种纯粹的信仰。
尽管如此，它在维护国民党对在台中国人的统治中起了重大作用。
1949年年底蒋介石逃到台湾后，为自己确立了两个主要任务，即保卫家园，让外国承认“中华民国”政府是中国人民的唯一合法政府。
这里有一个不可否认的事实，即台湾无权控制毛泽东政府统治下的千百万人的生活和命运。
通过残酷的安全措施和锐意改革，蒋实现了他的第一个目标；通过一系列不大可能的事实，他使美国继续承认国民党政府，否认共产党政府，从而实现了他的第二个目标。其中最重要的一个事实是20世纪50年代的朝鲜战争。
蒋介石在台湾采取了一系列稳定局势的措施，其中最重要的一项是推行土地改革计划。
陈诚一上任，蒋就指导他进行这场改革。事实上，早在1949年2月4日陈诚就任省主席后一个月，他就开始实行“减少地租”的制度。这是非常必要的。
按传统的做法，佃农要把所产粮食的50作为租金交给地主。在有些地方，地租甚至高达70，况且不管天气和收成好坏，地租要照交不误。在实行土地改革制度期间，国民党政府得到了中美农村建设联合委员会的技术资助。
1951年5月25日，“立法院”把地租的最高限度规定为375，其目的是为了响应孙中山的“土地归人民所有”的号召。
5月30日，“行政院”颁布了《公用土地出卖条例》，迫使地主将其土地卖给国家，然后国家再把土地卖给佃农，十年内分期付款，佃农可以将每年粮食总收入的25交给国家作为抵押。条例准许地主拥有不超过两公顷的水浇地或四公顷的旱地。补偿可用现金，也可用土地债券或公有企业的股票形式来结算。
因此，许多地主都变成了工业资本家。到1953年为止，土地改革计划已经执行完毕，将近80的耕地都归其耕种者所有。
毫无疑问，陈诚的土地改革计划是一个主要的稳定因素，它给台湾的经济带来了极大的繁荣。
然而，迫在眉睫的安全问题只好通过严厉的管理措施加以处理。在蒋介石逃往台湾期间，中共已在国民党人员内部扶植了许多代理人，有些还是高级官员，如参谋部副部长吴新（音译）将军和他的妻子。国民党仅在1950年的头6个月里，就处理了300多起间谍案，其中包括一个拥有1000多人的地下组织。同年5月，蒋介石答应赦免所有背叛共产党跑到台湾的人。其中有400多人获得赦免。但是，那些被捕的并且没有条件获得赦免的共产党人通常都被处决了。
此外，蒋介石还改组了国民党。
在1950年7月22日召开的中央执行委员会常务委员会扩大会议上，蒋介石宣称：
我们必须把台湾作为我们反攻大陆的基地，作为亚洲自由民族斗争的先锋队，以及为世界和平而战的英勇斗士。为实现此目的，我们要彻底改组我们的党，以便重新组织我们的革命机器和重新振奋我们的革命精神。从消极的方面讲，我们要坚持消除宗派之间以及党内的个人之间的冲突。我们再也不能容忍那些导致我们大陆灭亡的个人主义行为和思想的存在，如果不坚决制止，那也将导致我们在台湾的灭亡。
蒋介石说，我们要干的第一件事情就是清理整顿党的组织和机构。中央执行委员会和中央检查委员会被取消了，在此基础上蒋又成立了两个小型机构：执行行政权力的中央改革委员会和一个由党的元老组成的顾问委员会。
那些投奔共产党的国民党知名人士，如傅作义和宋庆龄等已被除名，许多没有投奔毛泽东但又拒绝来台湾的中间派也被国民党除名。
军队也进行了清理。陈诚遵照蒋介石的指示解雇了上万名军事官员，181个军、师和更小的军事单位被解散了，事实上这些单位都是徒有虚名的，它们不过是充实军官钱袋的花名册而已。
下一步是货币改革。上海解放以后，蒋介石政府就推行了新的台币制度，以黄金和外汇为值牌，台币与美元的比值为5： 1。
没过多久，蒋介石便再次宣称他对所管辖的领土和人民拥有绝对的统治权。
因为这时他不仅是国民党的总司令和总裁，而且重新当上了“中华民国”的“大总统”。
1950年2月21日，蒋召开紧急会议，向还在美国的李宗仁发出了最后通牒，要他在三天内到台北，或辞去代总统的职务，李的答复是含糊其辞的。立法院于24日请求蒋恢复“总统”职位。他没有拒绝。于是，3月1日蒋又当上了“大总统”。当上“大总统”后他办的第一件事是接受阎锡山的辞职。阎本人觉得自己年老体衰，无力继续担任“行政院”院长。3 月8日，蒋介石推举陈诚将军为“行政院”院长。