他是匈奴休屠王太子，元狩年间武帝派骠骑将军霍去病攻打匈奴西部地区，斩杀了很多人，夺取了休屠王祭祀之物。因为单于的怀疑休屠王本和昆邪王打算一起投靠汉朝，因为休屠王临时反悔，被昆邪杀害，而作为太子的他与母亲、弟弟一起被收进宫府为奴，做了御马监。
1. 因为马
猴哥因为将天马养成了猪马，被玉帝责罚，而金日磾养马过了很久才得到武帝召见。那一天，武帝与众妃子们一起欣赏各部饲养的马匹。金日磾等数十人牵着所养马匹在殿下经过，其他的人都素闻武帝威名一直没有相见，没有不偷偷窥视的。而金日磾牵着马匹经过的时候目不斜视，本来金日磾就身高八尺，仪表不凡、甚有威严，马匹养的膘肥体壮，武帝甚是奇怪。
于是武帝便问金日磾一些事情，金日磾一一作答。武帝以金氏赐予他，于是便有了金日磾的名讳。
2. 忠于汉
金日磾虽是胡人，被武帝任命为养马总管，后来又升为侍中驸马光禄大夫。皇帝出行都喜欢带着他，因为不曾有失，越来越得到武帝的宠爱。
金日磾有两个儿子，从小做了武帝身边的孩童，金日磾对他们家教甚严，有一次他们从后头保住武帝的脖颈，金日磾便对他们瞪眼。这两个孩童长大后，有一个因为与宫人游戏，金日磾觉得会霍乱后宫便忍痛杀了自己的孩子。后来武帝责罚，金日磾才说出了自己内心的想法，于是武帝越来越敬重金日磾。
巫祸之乱，太子被江充所害，同党莽何罗因为诛杀太子有功得到了封赏。等武帝明白过来诛杀江充后。莽何罗担心自己被诛杀便暗中谋划造反。这件事情被金日磾得知后，便暗中观察，莽何罗也察觉到了金日磾的意思，一直没有找到机会发难。
后来有一次武帝去林光宫，莽何罗找到了谋害武帝的机会，莽何罗袖中藏匕首想刺杀武帝，被金日磾识破。被金日磾抱住大声呼喊，武帝担心左右侍卫误伤金日磾，只是围住莽何罗，最终莽何罗被金日磾制服，从此金日磾便以忠孝而著称。
3. 得于敬
金日磾侍奉武帝数十年，武帝经常赏赐宫女给他，他也不亲近，武帝想娶他女儿进宫，他也不答应。他的忠直谨慎使得武帝更加觉得他与众不同。
后来武帝病重，武帝嘱咐霍光辅佐少主刘弗陵，霍光推让金日磾，金日磾称：“臣外国人，且使匈奴轻汉”。就是他的这种节操，武帝让他做了霍光的副手。
少主刘弗陵即位后，想封金日磾为侯，金日磾以昭帝年幼不接受封赏。金日磾不受封，霍光也不敢受封，当时霍光非常忌惮金日磾，后来金日磾病重，霍光请奏昭帝，金日磾才躺着接受了封赏。后来终因病重去世，昭帝用清澈武士为他送行，军队一直排列到茂陵，金日磾谥号：敬候。
金日磾是汉朝有名的少数民族政治家，他用自己的言行举止，告诉天下人，即使是匈奴自己也可以效忠汉室，因为汉室与匈奴本就是一家人。
他为中华民族多民族的糅合做下了不朽的功勋，他的后世以忠孝显名，七世不衰，在维护民族团结和社会安定等方面，做出重要贡献。
班固评价：“金日磾夷狄亡国，羁虏汉庭，而以笃敬寤主，忠信自著勒功上将，传国后嗣，世忠孝，七世内侍，何其盛也！本以休屠作金人为祭天主，故因赐姓金氏云”。
