唐高宗时，李义琰即举进士入仕，后累迁中书侍郎，又授太子右庶子（官职名），同中书门下三品。他博学多识，为官正直，深得高宗李治信任。
当他刚举进士补太原尉时，并州都督李勣，负责考察下属官吏，故官吏们十分畏惧，他们见到李勣，都畏缩不敢言，独李义琰敢于与李勣争论是非曲直，不为所动。李勣见他刚正不阿，十分看重他。
李义琰入朝后，仍然保持刚直不阿的气节。当时，武则天慢慢开始干预政事，高宗曾经想下诏书，让武则天摄政。李义琰和中书令郝处俊两人一再谏阻，此事才作罢。高宗常常向他垂询，而李义琰总是切商进言，不肯随便逢迎奉承。
李义琰虽身居高位，家中房屋却十分窄小(《旧唐书》本传称其“宅无正寝”)。他的弟弟李义琎，这时也官至司功参军，见哥哥身为国相，家中房屋如此窄小，实与身份不相符，便到市场上买了木料送去，准备为哥哥加盖一些房屋，以敷日常之用。待到李义琎来见哥哥，李义琰对弟弟说：“我现在身为国相，心中已经常常感到愧疚！现在你又想要为我造好房子，这是为我加速招来灾祸，哪里是爱护我啊！(原文是：“吾为国相，岂不怀愧？更营美室，是速我祸，岂爱我意哉！”)
李义琎劝哥哥道：“人家做了丞尉之类的小官，就开始造房子了。哥哥现在官位很高，俸禄很多，怎么能住这么简陋而又狭小的房子呢？”李义琰耐心地开导弟弟说：“人世间，什么事，都难以十全十美。现在我已经做了高官，又要再去加大宅第，如果没有很好的品行和德政，到头来必然会因此而遭殃。我不是不想住好房子，实在是怕因此而遭祸！”结果，李义琰坚持没有加造房屋。
李义琎为哥哥买回的木料，因没有房子存放，就放在屋外。日晒雨淋，时间一长，木料全都腐烂，李义琰便将它全部处理掉了。
后来，李义琰因事惹怒了高宗，退休回家，公卿大夫对他都十分怀念。武则天时，朝廷仍想叫他出来做官，李义琰因想到以前谏阻高宗，开罪过武则天，恐再惹来灾祸，便固辞不出。
李义琰终于保全了名节，和气致祥，多有盛誉。
