王存字正仲，润州丹阳人。幼善读书，年十二，辞亲从师于江西，五年始归。时学者方尚雕篆，独为古人数十篇，乡老先生见之，自以为不及。
庆历六年，登进士第，调嘉兴主簿，擢上虞令。豪姓杀人，久莫敢问，存至，按以州吏受赇，豪赂他官变其狱，存反为罢去。久之，除密州推官。修洁自重，为欧阳、吕公著、赵所知。治平中，入为国子监直讲，迁秘书省著作佐郎，历馆阁校勘、集贤校理、史馆检讨、知太常礼院。存故与王安石厚，安石执政，数引与论事，不合，即谢不往。存在三馆历年，不少贬以干进。尝召见便殿，累上书陈时政，因及大臣，无所附丽，皆时人难言者。
元丰元年，神宗察其忠实无党，以为国史编修官、修起居注。时起居注虽日侍，而奏事必禀中书俟旨。存乞复唐贞观左右史执笔随宰相入殿故事，神宗韪其言，听直前奏事，自存始也。
明年，以右正言、知制诰、同修国史兼判太常寺。论园丘合祭天地为非古，当亲祠北郊如同礼。官制行，神宗切于用人，存请自熙宁以来群臣缘论事得罪，或诖误被斥而情实纳忠非大过者，随材召擢，以备官使。语合神宗意，收拔者甚众。又言：“赦令出上恩，而比岁议法治狱者，多乞不以赦降原减。官司谒禁，本防请托，而吊死问疾，一切杜绝，皆非便也。”执政不悦。
五年，迁龙图阁直学士、知开封府。京师并河居人，盗凿汴是以自广，或请令培筑复故，又按民庐侵官道者使撤之。二谋出自中人，既有诏矣。存曰“此吾职也。”入言之。即日弛其役，都人驭呼相庆。进枢密直学士，改兵部尚书，转户部。神宗崩，哲宗立，永裕陵财费，不逾时告备，宰相乘间复徒之兵部。太仆寺请内外马事得专达，毋隶驾部。存言：“如此，官制坏矣。先帝正省、台、寺、监之职，使相监制，不可徇有司自便，而隳已成之法。”元初，还户部，固辞不受。二年，拜中大夫、尚书右丞。三年，迁左丞。
有建议罢教畿内保甲者，存言：“今京师兵籍益削，又废保甲不教，非国家根本久长之计。且先帝不惮艰难而为之，既已就绪，无故而废之，不可。”门下侍郎韩维罢，存言：“去一正人，天下失望，忠党沮气，谗邪之人争进矣。”又论杜纯不当罢侍御史，王观不当罢谏官。
四方奏谳大辟，刑部援比请贷，都省屡以无可矜恕却之。存曰“此祖宗制也。
有司欲生之，而朝廷破例杀之，可乎？”又言：“比废进士专经一科，参以诗赋，失先帝黜词律、崇经术之意。”河决而北几十年，水官议还故道，存争之曰：“故道已高，水性趋下，徒费财力，恐无成功。”卒辍其役。蔡确以诗怨讪，存与范纯仁欲薄其罪，确再贬新州，存亦罢，以端明殿学士知蔡州。始，存之徙兵部，确力也。至是，为确罢，士大夫善其能损怨。岁余，加资政殿学士、知扬州。扬、润相去一水，用故相例，得岁时过家上冢，出赐钱给邻里又具酒食召会父老，亲与酬酢，乡党传为美谈。
召为吏部尚书。时，在廷朋党之论浸炽，存为哲宗言：“人臣朋党，诚不可长，然或不察，则滥及善人。庆历中，或指韩琦、富弼、范仲淹、欧阳为党，赖仁宗圣明，不为所惑。今日果有进此说者，愿陛下察之。”由是复与任事者戾，除知大名府，改知杭州。
绍圣初，请老，提举崇禧观，迁右正议大夫致仕。旧制，当得东宫保薄，议者指存尝议还西夏侵地，故杀其恩典，既而降通议大夫。存尝悼近世学士贵为公卿，而祭祀其先，但循庶人之制。及归老筑居，首营家庙。建中靖国元年，卒，年七十九。赠左银青光禄大夫。
存性宽厚，平居徇恂，不为诡激之行，至其所守，确不可夺。司马光尝曰：“并驰万马中能驻足者，其王存乎！”