趙衰的衰通崔，趙衰本人是嬴姓，趙氏，字子余。因為趙衰的謚號為成季，所以歷史上也將趙衰稱作趙成子。趙衰的身世在歷史文獻的記載上是很混亂的，關鍵就是大家說不清趙公明、趙夙和趙衰之間的關系，各家有各家的說法。綜合了《史記》夙生共孟，共孟生趙衰，《左傳》衰，趙夙弟，《國語》趙衰，其先君之御戎趙夙之弟也以及《世本》公明生共孟及趙夙，夙生成季衰的說法后，我們得出了趙公明生了兩個兒子，大兒子是趙夙，小兒子是趙衰的結論。

中國古代春秋時代，晉國出現了那個時代的第二個春秋霸主，這個人就是晉文公，和第一名的齊恒公齊稱為齊恒晉文。輔佐這位春秋霸主成就霸業的一批忠臣能者中有一個叫做趙衰的人，晉文公少年時期就和趙衰認識了，兩個人還成為了好朋友。趙衰出自晉國的一個大的家族趙氏，是造父的后代。趙衰的父親是趙公明，是趙氏第十五代傳人，第十六代傳人是趙夙，第十七待傳人是趙共孟（趙夙的兒子），第十八代傳人就是趙衰。

趙衰的大哥趙夙是晉獻公時期的臣子，晉獻公還派了趙夙領兵攻打霍、魏、耿三國，消滅了這些國家。耿邑就是晉獻公賞賜給趙夙的封地，趙夙死后便由兒子趙共孟繼承趙氏家族以及封地。趙衰在父親死后并沒能繼承趙氏的家業，所以他很惆悵自己將來到底要侍奉誰。當時還是晉獻公時代，晉獻公又有三個兒子申生、重耳以及夷吾，趙衰很是糾結。為此，趙衰還專門去占卜了，他不知道該選擇侍奉現任的晉獻公還是晉獻公的兒子們，結果占卜下來，都是不吉利的預言。他不氣餒，繼續占卜晉獻公的三位公子，當占卜到公子重耳的時候，占卜顯示大吉，于是趙衰便決定了追隨重耳。這種說法也只是大家相傳來的，也不知道是否屬實，不過，趙衰處于沒有事業的空檔期，會對將來產生惆悵和焦急也是可以理解的。

既然決定了要跟隨重耳，趙衰就是下定了決心的，不會背叛重耳，會一直忠于重耳。當重耳被繼母和父親晉獻公迫害的時候，趙衰作為重耳的師友，義無反顧的拋下了家族中的一切，跟著重耳踏上了危機重重的逃亡之路。重耳是公子，是趙衰的主子，因此逃亡路上重耳還是相對比較輕松的，只負責活著就好了。趙衰和狐偃等人就要負責駕馬車、找食物、掙錢、找路這樣繁瑣的工作，趙衰身上帶著大家的糧食，若是和重耳走散了，趙衰自己再餓，也不會動包袱里的食物，他會一直給重耳留著。面對強盜、面對刺客，趙衰都站在了重耳的前面。重耳接受了趙衰的照顧，他心里無比感激趙衰，還將翟國獻給自己的女子分了一個給趙衰以示好。

重耳離開晉國以后，晉國的國君就有不同的三任，重耳的父親晉獻公、重耳的弟弟夷吾晉惠公、重耳的侄子晉懷公。這三個國君一個比一個厭惡重耳，都想要殺掉重耳。重耳離開晉國，為了躲避他們的迫害，在外流亡將近整整二十年。直到秦國秦穆公答應幫助重耳回國奪位，重耳便開始了奪權奪位的行動。有了秦穆公的幫助，重耳趕走并逼死了侄子晉懷公，自己坐上了晉國國君的位置。重耳繼位以后是為晉文公，趙衰則被封為原大夫，住在原城。趙衰輔佐晉文公，在周襄王在鄭國避難的時候，提議晉文公派兵護送周襄王回到周王都。除了為晉文公出謀劃策以外，趙衰還不求封賞，反而向晉文公推薦合適的人才。趙衰在晉文公心中的分量比親舅舅狐偃還要重，據說晉文公執政晚期，和狐偃之間發生了間隙。在趙衰死后，謚號為成季，因此，趙衰也被人們稱作趙成子。