出自姬姓，是黄帝的后裔，是用封邑作为姓氏的。西周的时候，州文王的儿子唐叔虞被封在晋，建立晋国，他的后代有靖侯。晋靖侯的孙子名宾，被封于栾邑（今天的河北栾城一带）。世称栾宾。他的后代于是以封邑地为姓氏。世代为晋国卿士，逐渐成为栾姓望族。
1 河西郡：战国时期魏国置郡，相当于今天的山西、陕西两省之 间的黄河沿岸一带，
2 魏郡：汉高帝置郡。治所在今天的河北省临潼县西南。
重义堂：汉代的'栾布和彭越交朋友，彭越为盗；栾布被人卖做为奴隶，后来在燕国当了大将，被汉兵俘虏。这时彭越已经在汉当了梁王，于是就把栾布赎了回来，跟着自己做大夫。后来彭越被汉高祖杀掉了，把他的头挂在洛阳，命令任何人不许收尸。栾布却公开的收了他的尸体，将他埋葬，还痛哭了一场。汉高祖认为栾布重义气，就拜他为都尉。文帝时候，栾布做了燕相，封在郦侯。又称为“郦侯堂 ”。
栾姓的望族居住在西河（今天的山西离石县）。