这个成语原意是说，李树代替桃树死掉了。后来比喻兄弟之间应该同甘共苦，或者代人受过、替人顶罪。
这个成语出自古代的一首乐府民歌《鸡鸣》。歌里用桃树和李树来比喻兄弟。
歌里唱道：桃树长在露井边上，李树就长在桃树旁边。有天，虫子跑来啃桃树的根，李树一看不好，就把虫子引到自己这边来，结果自己死掉了，代替桃树牺牲了。树木都知道互相替代、互相保护，可是如今的人呢，兄弟之间反而为了利益互相忘记，连树木都不如啊！
后来，人们也把这个成语用在别的地方。春秋时，晋国奸臣屠岸贾诬陷赵家，把赵氏满门抄斩。赵家的儿媳，也就是庄姬公主，因为躲进了宫中，才保住了命。当时她怀有身孕，生下一个男孩。屠岸贾知道后，要斩草除根。在这危急关头，赵家的门客公孙杵臼和程婴商量：要用一个别人家的婴儿冒充赵氏孤儿，由公孙杵臼抱着去赴死，程婴则把赵氏孤儿抚养成人。最后，他们真的这样做了，用牺牲和假意告发，换来了赵氏孤儿的平安。这个故事，也算是“李代桃僵”的精神——用自己的牺牲，来保住更重要的东西。