开元年间第二个宰相是宋璟。他刑赏无私，敢犯颜直谏。居相位，以择人为务，随才授任，使百官各称其职。史称“崇善应变以成天下之务，璟善守文以持天下之正。二人道不同，同归于治”。

他为防奸佞小人私下在皇帝耳边进谗言，提出百官奏事，必定要有谏官、史官在旁的规定。而玄宗皇帝亦十分器重宋璟，并以师礼待之；进则迎，出则送，因此宋璟提出的具建设性的提议，通常均被采纳。亦因如此，当时朝廷一改以往用人惟亲的恶习，并减少了奸佞小人诬谄好人的情况，使开元初期的政局十分清明。

李林甫在宋璟当宰相的时期按部就班当官。

后来源乾曜担任宰相。源乾曜与姜皎乃是姻亲，其子源洁为李林甫求取司门郎中之职。源乾曜笑道：“郎官应有才干声望，哥奴也能当郎官？”李林甫因此只被授为太子谕德，后累迁至国子司业。

再后来张说担任宰相，敦气节，重然诺。位高望隆，推藉后进，张九龄、贺知章等皆蒙奖掖。张说任相之后，大兴文治。善用己长，引文儒之士，佐佑王化。这并非李林甫所擅长，张九龄则脱颖而出。

张九龄奉旨代撰敕文，对御而作，不须草稿，援笔立成，深为玄宗皇帝倚重。张九龄为相针对社会弊端，提出以“王道”替代“霸道”的从政之道，强调保民育人，反对穷兵黩武；主张省刑罚，薄征徭，扶持农桑；坚持革新吏治，选贤择能，以德才兼备之士任为地方官吏。他的施政方针，缓解了社会矛盾，巩固了中央集权。

李林甫见张九龄被皇帝赏识，心里非常妒忌他。于是推荐牛仙客担任知政事。张九龄认为牛仙客学识不高，极力劝阻，引起玄宗皇帝不悦。

当时天下太平时间很久了，玄宗皇帝志得意满，失去了进取之心。左右大臣也都志满意骄，追求奢华。而张九龄人间清醒，拘古义，争愈切，玄宗皇帝不听，慢慢地对张九龄反感。李林甫抓住皇帝对张九龄反感的机会进谗言：九龄文吏，拘古义，失大体。玄宗皇帝听后下定决心将张九龄罢相，让李林甫上位。

张九龄被排挤陷害离开了朝廷，写下名篇《望月怀远》来表达自己的境遇。

海上生明月，天涯共此时。

情人怨遥夜，竟夕起相思。

灭烛怜光满，披衣觉露滋。

不堪盈手赠，还寝梦佳期。