李若水早年在太学读书，进士及第后，历任元城（今大名）尉，平阳府（今山西省临汾县）司录，济南教授等职。当时徽宗昏庸无能，朝政由蔡京、童贯、高俅等奸臣把持，对北方日渐强大的金国采取妥协投降战略，“主和”派占据上风，李若水对此极为愤慨，多次上书皇帝，深中时病，条陈兴国治邦良策。靖康元年（公元1126年），钦宗继位，加封李若水为礼部尚书，李若水十分谦逊，不受，改封吏部侍郞。
靖康二年（公元1127年），金兵大举南侵，徽、钦二帝被俘，备受羞辱，李若水仗义执言，怒斥金国统帅粘罕不讲信义，粘罕见李若水忠勇可嘉，想收买留用，便许以高官厚禄，对李若水说：“今日顺从，明日富贵矣！”李若水严辞拒绝，粘罕又命仆从劝慰李若水，说：“公父母春秋高，若少屈，冀得一归觐！”李若水叱之说：“忠臣事君，不复顾家矣！”李若水大义凛然，骂声不绝，粘罕无奈，命人割下李若水舌头，李若水不能用口骂，便怒目而视，以手相指，又被挖目断手，最后寸磔而死（即凌迟处死），死年三十五岁。
南宋高宗即位后，下诏：“若水忠义之节，无比伦，达于联闻，为之涕泣”。赠观文殿学士，谥曰“忠愍”故李若水有“南朝一人”的美称。