房玄龄有四子,房遗直、房遗爱、房遗则、房遗义,还有两女,房遗玉(唐韩王李元嘉妃)、另一女(尚不知姓名)

房遗直:玄龄公辞世后,房遗直承袭其梁国公爵位和偌大门庭。高阳公主一向讨厌这个大伯,便要驸马房遗爱与哥哥分家。房遗直不肯分出家产,还将房遗爱痛骂了一顿。高阳公主大怒,便跑到皇宫里,对父亲唐太宗告房遗直的状,说他常对皇帝口出怨言,心怀不轨。太宗调查之后,发现是高阳公主任性胡为,不禁大为恼怒,将她训了一顿。经过高阳公主的几次诬告,房遗直并不害怕,自己写奏折要求将爵位让给房遗爱,唐太宗怕坏了规矩,并没答应。唐高宗即位以后,房遗直在永徽初年间担任汴州刺史、礼部尚书,后来受到房遗爱和高阳公主谋反的牵连,被贬为春州铜陵尉。有一说是房遗爱和高阳公主谋反是房遗直告发的,但有待考证。

房遗爱:妻子为唐太宗第十七女高阳公主(后封合浦公主)。娶高阳公主后,房遗爱官至太府卿、散骑常侍,又封右卫将军。其兄房遗直在父亲死后应当以嫡长子的身份拜为梁国公,以高阳公主故,房遗爱礼异他婿谋罢房遗直封爵继承爵位。唐高宗即位不久,以某事房遗爱被降为房州刺史。后又因谋反事件捕杀,高阳公主亦被赐死,诸子配流岭表。

房遗则:官拜朝散大夫。房遗则事迹,史书记载甚少,亦不知有否传人。

房遗义:皇太子舍人、谷州刺史。

房遗玉:为唐高祖李渊第十一子韩王李元嘉妃。有子李训、李谊、李撰、李湛等。

另一女:适密亳二州刺史、赠安州都督郑仁恺