源乾曜父亲源直心，唐高宗年间官至司刑太常伯（即刑部尚书），后因罪被流放岭南，死于贬所。兄长源乾珍，史籍只载其名，生平事迹不详。

　　源乾曜生有四子：长子源复，官至华州刺史；次子源弼，官至工部郎中；三子源洁，官至河南县令；幼子源清，娶唐玄宗之女真阳公主，拜驸马都尉。