光性少言刚急，严于御下，治兵督众，唯仗威刑。版筑之役，鞭挞人士，颇称其暴。自结发从戎，未尝失律，深为邻敌所慑惮。罪既不彰，一旦屠灭，朝野痛惜之。周武帝闻光死，大喜，赦其境内。后入邺，追赠上柱国、崇国公。指诏书曰："此人若在，朕岂能至邺！"
光有四子。长子武都，历位特进、太子太保、开府仪同三司、梁兖二州刺史。所在并无政绩，唯事聚敛，侵渔百姓。光死，遣使于州斩之。次须达，中护军、开府仪同三司，先光卒。次世雄，开府仪同三司。次恒伽，假仪同三司。并赐死。光小子钟，年数岁，获免。周朝袭封崇国公。隋开皇中卒于骠骑将军。
羡，字丰乐，少有机警，尤善射艺，高祖见而称之。世宗擢为开府参军事。迁征虏将军、中散大夫，加安西将军，进封大夏县子，除通州刺史。显祖受礼，进号征西，别封显亲县伯。河清三年，转使持节，都督幽、安、平、南、北营、东燕六州诸军事，幽州刺史。其年秋，突厥众十余万来寇州境，羡总率诸将御之。突厥望见军威甚整，遂不敢战，即遣使求款。虑其有诈，且喻之曰："尔辈此行，本非朝贡，见机始变，未是宿心。若有实诚，宜速归巢穴，别遣使来。"于是退走。天统元年夏五月，突厥木汗遣使请朝献，羡始以闻，自是朝贡岁时不绝，羡有力焉。诏加行台仆射。羡以北虏屡犯边，须备不虞，自库堆戍东拒于海，随山屈曲二千余里，其间二百里中凡有险要，或斩山筑城，或断谷起障，并置立戍逻五十余所。又导高梁水北合易京，东会于潞，因以灌田。边储岁积，转漕用省，公私获利焉。其年六月，丁父忧去官，与兄光并被起复任，还镇燕蓟。三年，加位特进。四年，迁行台尚书令，别封高城县侯。武平元年，加骠骑大将军。时光子武都为兖州刺史。羡历事数帝，以谨直见推，虽极荣宠，不自矜尚，至是以合门贵盛，深以为忧。乃上书推让，乞解所职，优诏不许。其年秋，进爵荆山郡王。
三年七月，光诛，敕使中领军贺拔伏恩等十余人驿捕之。遣领军大将军鲜于桃枝、洛州行台仆射独孤永业便发定州骑卒续进，仍以永业代羡。伏恩等既至，门者白使人衷甲马汗，宜闭城门。羡曰："敕使岂可疑拒？"出见之，伏恩把手，遂执之，死于长史厅事。临终叹曰："富贵如此，女为皇后，公主满家，常使三百兵，何得不败！"及其五子世达、世迁、世辨、世酋、伏护，余年十五已下者宥之。羡未诛前，忽令其在州诸子自伏护以下五六人，锁颈乘驴出城，合家皆泣送之至门，日晚而归。吏民莫不惊异。行燕郡守马嗣明，医术之士，为羡所钦爱，乃窃问之，答曰："须有禳厌。"数日而有此变。
羡及光并少工骑射，其父每日令其出畋，还即较所获禽兽。光所获或少，必丽龟达腋。羡虽获多，非要害之所。光常蒙赏，羡或被捶挞。人问其故，金答云："明月必背上着箭，丰乐随处即下手，其数虽多，去兄远矣。"闻者咸服其言。
金兄平，便弓马，有干用。魏景明中，释褐殿中将军，迁襄威将军。正光末，六镇扰乱，隶大将军尉宾北讨。军败，为贼所虏。后走奔其弟金于云州，进号龙骧将军。与金拥众南出，至黄瓜堆，为杜洛周所破，部落离散。及归尔朱荣，待之甚厚，以平袭父爵第一领民酋长。高祖起义，以都督从。稍迁平北将军、显州刺史，加镇南将军，封固安县伯。寻进为侯，行肆州刺史。周文帝遣其右将军李小光据梁州，平以偏师讨擒之。出为燕州刺史。入兼左卫将军，领众一万讨北徐贼，破之，除济州刺史。侯景度江，诏平为大都督，率青州刺史敬显俊、左卫将军厙狄伏连等略定寿阳、宿预三十余城。事罢还州，加开府，进位骠骑大将军，进爵为公。显祖受禅，别封羡阳侯。行兖州刺史，以黩货除名。后除开府仪同三司。废帝即位，拜特进，食沧州乐陵郡干。皇建初，封定阳郡公，拜护军。后为青州刺史，卒。赠太尉。
史臣曰：斛律金以高祖拨乱之始，翼成王业，忠款之至，成此大功，故能终享遐年，位高百辟。观其盈满之戒，动之微也，才及后嗣，遂至诛夷，虽为威权之重，盖符道家所忌。光以上将之子，有沈毅之姿，战术兵权，暗同韬略，临敌制胜，变化无方。自关、河分隔，年将四纪。以高祖霸王之期，属宇文草创之日，出军薄伐，屡挫兵锋。而大宁以还，东邻浸弱，关西前收巴蜀，又殄江陵，叶建瓴而用武，成并吞之壮气。斛律治军誓众，式遏边鄙，战则前无完阵，攻则罕有全城，齐氏必致拘原之师，秦人无复启关之策。而世乱才胜，诈以震主之威；主暗时艰，自毁藩篱之固。昔李牧之为赵将也，北翦胡寇，西却秦军，郭开谮之，牧死赵灭。其议诛光者，岂秦之反间欤，何同术而同亡也！内令诸将解体，外为强邻报仇。呜呼！后之君子，可为深戒。
赞曰：赳赳咸阳，邦家之光。明月忠壮，仍世将相。声振关右，势高时望。迫此威名，易兴谗谤。始自工言，终斯交丧。