这个成语形容一个人做决定时，像老鼠出洞一样，一会儿进一会儿退，犹豫不决，在两边之间摇摆不定。
汉武帝时，权臣田蚡因为一点私怨，把大将军灌夫和窦婴都关进了大牢。汉武帝在朝堂上让大臣们议论他们的生死。有的大臣支持灌夫，有的大臣害怕田蚡的权势，就支支吾吾，像哑巴一样不敢表态。
御史大夫韩安国就是个中间派，他模棱两可地说：“灌夫在平乱中确实立过大功，酒后闹事也罪不至死。但田丞相说他有罪也有道理。还是请陛下您亲自裁决吧。”其他一些大臣也跟着打马虎眼。
退朝后，田蚡在宫门外拦住韩安国，让他坐上自己的马车，怒气冲冲地说：“老韩！我和你本来商量好要一起对付窦婴那个秃老头子，你怎么关键时刻首鼠两端，犹犹豫豫的？你到底站在哪一边？”