孔子的祖先原是宋国（在现在的河南、江苏交界的地方）的贵族，如果再往远里说，他们还是殷代贵族的后代。孔子在临死的时候也曾说自己是殷人呢。
但是，到了孔子的前三四代，由于宋国统治集团的内部倾轧而逃到鲁国（在现在的山东东南部、江苏西北部）避难的时候，这贵族的世家就日渐没落了。
孔子的父亲叫纥，字叔梁，是鲁国一个职位不大的武官，他很有力气。有一次，几个诸侯国家去攻打一个叫偪阳（在现在的山东峄县南）的小国，鲁国也参加了。孔纥就在鲁国的军队中。当他们攻入偪阳城的时候，守城的人把一种闸门放了下来，先入城的队伍眼看就要被隔断在城里了，这时孔纥却用双手把闸门一掀，掀起来了，先入城的军队才得以完全退出来。这事发生在公元前五六三年，离孔子出生还有十二年呐。[4]又有一次，孔纥和其他两个鲁国将领，率领三百武士，打退了齐国的侵扰。这事发生在公元前五五六年，离孔子出生只有五年。[5]这就是我们所仅仅知道的关于孔子父亲的事迹了。
孔子的母亲姓颜，叫徵在。当孔纥和她结婚的时候，她还很年轻，可是孔纥已经上了岁数了。[6]他们的结婚是没有经过当时社会上所通行的完备手续的，因此遭到了社会上的奚落。
孔纥和颜徵在很希望得到一个儿子，他们曾在曲阜东南的尼丘山上祷告过。后来他们生了一个男孩，便给这孩子取名叫丘，别名仲尼。这就是后人习惯上尊称的孔子。“仲”是老二的意思，这说明孔纥在和徵在结婚以前有过妻子，而且有过一个儿子了。
孔子生的这一年是公元前五五一年——周灵王二十一年，鲁襄公二十二年[7]，距现在有两千五百多年的光景。
孔子父母的结合既不十分符合当时的礼制，而当时的礼制又特别沉重地约束着妇女，所以孔子的母亲过着不很称心的日子。孔子也就从小时候起，多懂得了一些人的脸色，多感受到了一些人情的冷暖，于是养成了谨慎小心的性格，很敏感，很善于应付人，并习惯于遇事有所思索，总之，有点早熟吧。当然，由于孔子后来不断地锻炼，他并没有因此而流入孤僻和冷酷。
可是不幸的是，在孔子只有三岁时，父亲孔纥便亡故了。[8]他母亲因为舆论的压迫，连丈夫埋葬的地方也一直没有告诉过孔子。那时，他家正从陬邑（在现在的山东泗水县东南）移居到鲁国的国都曲阜。
孔子小时候得不到什么合适的玩具，他只是爱模仿祭祀，摆上小盘小碗，学着行礼玩儿。这就是他常做的也几乎是唯一的游戏了。