胡适晚年曾说过这样一番话：“娶太太，一定要受过高等教育的。受了高等教育的太太，就是别的方面有缺点，但对子女一定会好好管教的。”
胡适和他的太太江冬秀育有三个子女。长子胡祖望虽接受了高等教育，但远远未能达到胡适的期望。小儿子胡思杜就完全不成器了，读了两个大学都未能毕业，还染上不少坏习气，最终被美国当局驱赶回国。女儿素斐五岁那年患病，救治不当，夭折。
胡适公务繁忙，无暇照顾、管教孩子，而他的太太江冬秀因没有接受学校教育，对孩子，无论是养育还是管教，都不甚得法。所以，胡适晚年说的这番话充满了苦涩和无言之痛。胡适对长子胡祖望的期望原本是很高的。1929年8月26日，胡适给胡祖望去信，当时，胡祖望即将去苏州读书。
祖望：
你这么小小年纪，就离开家庭，你妈和我都很难过。但我们为你想，离开家庭是最好的办法。第一，使你操练独立的生活；第二，使你操练合群的生活；第三，使你自己感觉用功的必要。
……
你不是笨人，功课应该做得好。但你要知道世上比你聪明的人多得很。你若不用功，成绩一定落后。功课及格，那算什么？在一班要赶在一班的最高一排。在一校要赶在一校的最高一排。功课要考最优等，品行要列最优等，做人要做最上等的人，这才是有志气的孩子。
……
可胡祖望毕竟是个孩子，贪玩，没把胡适的教诲放在心里。一段时间，他的成绩很不好。对此，胡适相当失望。他曾给胡祖望写过这样的信：
祖望：
今天接到学校报告你的成绩，说你“成绩欠佳”，要你暑期在学校补课。
你的成绩有八个“4”，这是最坏的成绩。你不觉得可耻吗？你自己看看这表。
你在学校里干的什么事？你这样的功课还不要补课吗？
我那一天赶到学堂里来警告你，叫你用功做功课。你记得吗？你这样不用功，这样不肯听话，不必去外国丢我的脸了。
……
1938年，江冬秀带着小儿子思杜在上海避难。其间，胡思杜沉迷于赌博和京戏中，挥霍无度，手头紧就将家中的物品偷出去卖。远在国外的胡适听到消息后，十分不安，忍不住在信里对妻子指教了一番。
随着年岁的增长，他越来越意识到宽容的重要性，对于孩子的成长，他也知道，鼓励比批评更重要。
1939年，胡祖望在美国留学，江冬秀给胡适去了封信要他转交给儿子，胡适阅后觉得不妥，就扣下这封信，并在回信中委婉地批评了妻子：
冬秀，你对儿子总是责怪，这是错的。我现在老了，稍稍明白了，所以劝你以后不要总是骂他……
我和你两个人都对不住两个儿子。现在回想，真想补报，只怕来不及了。
因为担心思杜在上海继续学坏，胡适后来还是设法安排他去美国留学。遗憾的是，胡思杜在美求学期间，依旧热衷赌博，成绩一直很差，父子关系非常僵。
胡适也意识到，儿子的不成器，身为家长的他要承担更多的责任，他对小儿子的态度因此有了很大的改变。1946年6月16日，胡适在日记里写下：
昨夜太热，在床上看书，到半夜后两点，还不能睡。忽然记起小三今天毕业，今天又是美国人的“Father’s Day”（父亲节），我很惭愧我对两个儿子，一个女儿（死了），都没有尽我能够尽的责任！
后来，尽管思杜念书不成，被赶回国，胡适失望归失望，但还是很宽容地对待了儿子，他说：“后来他回来了，我也没有责备他。”