这一次孔子离开鲁国，虽然是由于鲁定公和季桓子对自己冷淡而促成的，但主要原因应该是由于想限制贵族势力而遭到了阻碍。像孟氏拆城的问题，就一直没能解决。孔子走了，这一年是公元前四九七年，孔子已经五十五岁了。
往哪里去呢？不能再往东去，东边是齐国，齐国是刚刚用美女骏马的计策离间了孔子的，于是向西走去。
孔子选择了卫国（在现在的河南北部）。这是因为：一来卫国有为自己所佩服的熟人。卫国的大夫蘧伯玉就曾打发人来看望过孔子，孔子问那使者：“老先生在做什么呢？”使者说：“老先生想努力减少自己的过错，可是还没十分做好呢。”孔子很赞美这使者会说话[78]，当然他同时也看出蘧伯玉是如何谦虚而有修养了。二来卫国这时是安定的，卫灵公已经统治了卫国三十八年，而卫国原有的一些人才，像蘧伯玉已经老了，史鱼[79]已经死了，所以卫国又是可以有为的地方。三来子路和卫国的宠臣弥子瑕是连襟[80]，孔子到卫国，可能还受了子路的怂恿。
孔子在卫国的都城帝丘（现在的河南濮阳县[81]）见了卫灵公。但这时卫灵公对孔子是没有什么认识的，只是空洞地觉得应该对孔子敬重罢了。卫灵公便问孔子在鲁国受什么待遇，得多少米——那时的薪俸是以米来计算的。孔子把在鲁国的情形说了，于是孔子得到如同在鲁国一样的地位和生活待遇。
但是他和卫灵公的关系究竟是不巩固的，因为一则刚到，二则他又不是卫国人。有人还说了这样的话：“孔子来到卫国，也许是不怀好意的。他带来的弟子很多，各样人才都有，万一是为了鲁国而到这里有什么企图的话，又怎么办？”
卫灵公不能不小心了，便派公孙余假监视孔子，孔子出门进门，这个人都跟着。孔子感到很别扭，就又率领着弟子离开了卫国。[82]