刘贺明明没有威胁，为何会被废为庶人呢？这个问题牵动着人们的心弦。历史上，类似的情况并不少见，权力斗争往往牵涉到权势之争、政治阴谋等因素。或许刘贺身背的是某种不为外人所知的秘密，或者他成为了权臣的傀儡，亦或是某些不可预知的因素导致了他被废黜。无论真相如何，刘贺的命运引发了人们对于权力运作的思考与反思。
刘贺被废为普通人。汉宣帝上台后，立即派山阳太守张敞密切监视刘贺，随时汇报刘贺的情况，他通常在做什么，说什么，和谁交往等等。当张敞向汉宣帝详细汇报了他所知道的情况时，汉书记载：“知道祝贺是不够的。”也就是说，汉宣帝认为刘贺不需要小心。
然而，虽然汉宣帝认为刘贺不值得警惕，但他真的很警惕他。元康三年(前63年)，汉宣帝封刘贺为，享受4000美食。表面上是封赏，实际上是把他转移到另一个地方，这就是封建社会的“迁徙封”。不久之后，刘贺的三千食邑被砍掉，只给他留了一千食邑。同时，在这个过程中，监督刘贺的人从未断过。神爵三年(前59年)去世后，汉宣帝没有让刘贺的儿子继承他的头衔。这也是提防的表现。
所以，知道刘贺没有威胁，汉宣帝为什么要提防他？
第一，汉宣帝是给霍光看的。
汉宣帝上台后，他要巩固自己的地位，不要走刘贺的老路。最重要的是展示霍光。要展示霍光，却不能大肆奖励霍光。因为奖励越多，给自己设置的障碍就越多，以后处理霍光的问题就越难。因此，汉宣帝需要考虑哪些方面来展示霍光。
汉宣帝上位第二年，曾强烈主张给汉武帝上“庙乐”。这种做法不仅是巩固自己的地位，也是霍光的表现。毕竟霍光是汉武帝作为辅政大臣留下的。汉宣帝提防刘贺，显然也有示好霍光的意思。因为刘贺被霍光废除了。要知道，在古代，无论君王多么昏庸，臣子废君王，本身就是一种大逆不道的行为，是一种批评。事实上，汉宣帝提防刘贺，也表现出了霍光做得对的态度。这让霍光的心安定了很多。
第二，刘贺是个没有定性的人。
霍光选了刘贺为什么又废了他？有人认为，刘贺进京的时候，大肆培养自己的实力，到处封赏施恩，让霍光害怕。因此，刘贺所做的一切都被定义为做错了什么，所以他被废除了。然而，如果我们仔细分析霍光列出的错误，我们会发现这些所谓的错误实际上是“无脑”的表现。换句话说，刘贺本人没有任何想法，也没有权利故意夺取霍光。他根本没有独立的判断和思考。然而，正是因为没有独立的判断和思考，才容易受到影响。这使得刘贺没有定性，无法控制。霍光必须废除他，因为他无法控制。
汉宣帝对刘贺的看法显然和霍光一样。从监督刘贺的人反馈给汉宣帝的情况可以看出，刘贺确实没有定性。他会听别人对他说的话。汉宣帝最担心这一点。虽然刘贺本人并不主张，但如果他被鼓励叛乱，他该怎么办？
第三，刘贺可能是一面旗帜。
刘贺本人没有能力，也没有想法。但是，只要刘贺存在，他就可能被别有用心的人利用，毕竟他曾经当过。一定有人对汉宣帝不满意。即使汉宣帝做得很好，还是有人对他不满，想造成他的反抗。叛徒以刘贺为借口，以刘贺为旗帜，说刘贺被冤枉了，是汉宣帝和霍光的阴谋，为他而战，要把他推上皇位。这种宣传对一些人可能不起作用，对其他人可能起很大作用。这样，混乱就起来了。
因此，提防刘贺，贬刘贺，就是为了避免这样的麻烦。