这个成语，表面上是说躲在房梁上的人，其实就是小偷、窃贼的代称。
东汉时，有个叫陈寔的官员，为人正直宽厚。有一年闹饥荒，夜里有个小偷溜进了他家，躲在屋梁上，想等陈寔睡了再偷东西。
陈寔其实早就看见了，却不动声色。他穿好衣服，把子孙们都叫到自己屋里，训诫他们说：“做人哪，一定要勤快上进。那些做坏事的人，生下来并不坏，只是好逸恶劳，慢慢染上了坏习惯，才成了恶人。你们看看那位‘梁上君子’，就是这样的人！”
躲在梁上的小偷听到这话，大吃一惊，知道藏不住了，赶紧跳了下来，跪在地上向陈寔磕头认罪。
陈寔看了看他，语重心长地说：“我看你长得也不像坏人，一定是穷得没办法了才出此下策。你起来吧。”说完，不仅没有处罚他，反而送给他两匹绢布。这件事传出去后，陈寔那个县里从此再没有发生过偷盗。小偷也因此得了个“梁上君子”的雅号。