万石建头发斑白的时候，万石君还非常的健康，没有出现什么老年疾病。万石建非常孝顺，虽然担任郎中令，公事繁多，还每隔五天就回家去看望父亲一次。他进入父亲的房间，小声向佣人打听父亲的身体情况，还拿出父亲的衣服和便溺用的器皿，亲自洗刷，洗干净后就悄悄交给佣人，不敢让父亲万石君知道。万石建这样做已经成了习惯。这正是万石君以身作则、教导有方的结果。后来万石君迁徙到陵里居住。有一次，小儿子内史万石庆喝醉了酒回来，进外门的时候没有下车，而是直接驱马进入内厅。万石君知道了这件事后，就又不吃饭。万石庆非常害怕，就袒胸露背向父亲请罪，可是万石君仍不原谅他。全家族的人以及哥哥万石建，都袒露胸背前来求饶，万石君责备说：“内史是身份显贵之人，更应该注重礼法，遇见年岁较大的人都要回避。而现在内史却坐在车上驱车直入，无所顾忌，这是多么失礼的行为啊。理应受到惩罚。”说着，生气地吩咐万石庆走开。从此之后，石庆和其他的几个哥哥一进入里门，就快步回到家中。
汉武帝元朔五年（公元前124年），万石君去世。他的大儿子万石建悲痛欲绝，要拄着拐杖才能行走。过了一年，万石建也去世了。万石君的子孙们都很孝顺，尤其以万石建做得最好。万石君忠孝治家的故事代代相传。