公元661年，刘知几出生。
唐高宗永隆元年(680年)，举进士。授怀州获嘉主簿，曾多次上书言事。
圣历二年(699年)，任定王府仓曹，并奉命与李峤、徐彦伯、徐坚、张说等共同编写《三教珠英》。
长安二年(702年)，开始担任史官，撰起居注，历任着作郎、左史、凤阁舍人、秘书少监、太子左庶子、左散骑常侍等职，兼修国史。
长安三年(704年)，与李峤等撰修唐史，成《唐书》80卷。曾探究本族历史，撰《刘氏家史》及《刘氏谱考》。
神龙二年(706年)，与徐坚、吴兢等修成《则天实隶》。
景龙二年(708年)，辞去史职，开始私撰《史通》，详论史书之体例及内容，阐述自己对史学的见解。书成于景龙四年。
开元二年(714年)，迁左散骑常侍。
开元九年(721年)，儿子刘贶做太乐令犯罪，为之申辩，玄宗怒而贬其为安州别驾。同年卒，追赠为汲郡太守，又追赠工部尚书，赐谥“文”。