更糟糕的在后头。从远处，拉贝看见日本军队正在从南京的南部向北那挺进，以占领其余的地区。为了避免烧上他们，拉贝立刻驱车向北赶往南京的主要街道中山路，他将车停在外交部的红十字医院外。中国医护人员已逃离了医院，伤亡人员躺得到处都是——躺满了屋子、走廊，甚至挡住了医院的出口。
那一天拉贝还遇上了一批中国溃兵，这些饥饿和疲惫的散兵们无法渡过长江撤退以求保命。开车经过山西路环岛时，他碰到了一支约400人的中国部队。他们荷枪实弹，正沿着日本军队推进的方向前进。也就是这时，拉贝有了一种突然的“人道主义冲动”，这在以后的几个月里始终萦绕在他的心头。拉贝提醒他们日军正从南部朝这里推进，建议他们放下手中的机关枪，加入到安全区的难民中来。经过短时间的商量，他们同意随拉贝进入安全区。
同样地，当数百名中国士兵发现白己陷在城市北部，无法渡江撤退时，许多人闯入了安全区，请求欧美管理者们救命。安全区委员会成员们拿不定主意该不该帮助他们。毕竟他们创立这个安全区是作为平民的避难所，而不是收容士兵的。委员会试图与日军司令部取得联系，以解决这种左右为难的状况，但只是在汉中路遇见了一名日本上尉。
委员会最终被士兵们的处境所打动，在他们的恳求下让步了。像拉贝一样，委员会成员告诉这些士兵，如果放下手中的武器，日本人会仁慈地对待他们。然后他们协助士兵们解除了武装，井将他们安置在中立区内不同的房子里，在混乱中，许多中国士兵脱下军装，混在安全区的难民之中。
第二天，约翰·拉贝写了一封长信给日军指挥官，解释说明当前的情况。他恳请日本人宽恕这些中国士兵，并根据公认的战争法律规定，本着人道主义的原则对待他们。使拉贝大为欣慰的是，一名日本军官向他许诺，这些中国士兵将免于一死。
但是当日本人违背诺言，把这些手无寸铁的中国士兵拖出去杀害时，拉贝的这种慰藉变成了恐怖。如果拉贝还寄希望于日本人不能从成千上万的难民中找出那些士兵来，那他就是大错而特错了。日本人通过翻查手，几乎把每一个士兵都挑了出来，因为他们知道每天被用枪支会在士兵手指的某个部位留下茧子。他们还检查每个人的肩膀上是否有扛过枪的痕迹，前额和头发下面是否有戴过军帽的压痕，甚至还检查脚上是否有因数月行军而起的水泡。
12月14日晚的一次工作会议上，委员会获知日本人己经把捕捉到的1300人聚集到总部附近的一块空地上，准备枪杀他们。“我们知道确有一些原中国士兵在难民当中，但是拉贝那天下午曾经从一个日本军官那里得到许诺，这些士兵将免于一死。”基督教青年会代表乔怡·菲奇在其日记中写到这一事件。“现在看来再明显不过了，日本人要干什么。这些人被排列两行，以100个左右为一队用绳子紧系在一起，由上了刺刀的士兵看押着；那些戴着帽子的人被士兵粗鲁地扯下帽子摔到地上——然后，借助于照明灯的光亮，我们看着他们走向了死亡。”
后来，拉贝提到他在安全区收留中国士兵的决定时，这样写道：“难道我没有权利那样做吗？我那样处理不对吗？”
随后的几天中，拉贝无能为力地看着日军从安全区拖走成千的中国士兵进行杀戮。日军杀害了数以千计的无辜民众，他们凑巧在手指上、前额上、脚上有茧子或疤痕——这些人包括拉黄包车的苦力、手工劳动者和一些警官。后来，拉贝亲眼目睹了南京的一个佛教慈善组织红十字会从一个池塘里拖出了120 具尸体（在以后的一份报告中，拉贝指出，南京的几个池塘事实上已经消失了，因为它们均填满了尸体。）
作为安全区国际委员会主席和纳粹党南京地区负责人，拉贝的这种地位对日本权力机关而言确实还是有一定份量的，他给日本大使馆一封接一封地写信。最初他总是压制自己的愤怒，每次在信中均使用礼貌的语气，因为身为德国公民和纳粹党领导人，他觉得有义务维持德日两国大使馆间的关系。他让委员会中的美国成员把他们写给日本大使馆的信给他看看、这样他就可以给这些信“加进一些甜言蜜语”。在他对日本大使信进行私人拜访时，拉贝一直保持着友好的态度。
日本外交官必然也以亲切的微笑和官场上的礼德来处理拉贝的信件，接待他的来访。但拉贝最终总是得到千篇一律的回答：“我们将会通知军部。”过了一些天，每天都有令人无法容忍的新的暴行出现，拉贝给日本大使信的信中语气变得越来越充满敌意了，言语中加重了对暴行的愤怒：
当时留在南京的27个西方人以及中国居民都被你军在12月14日进行的抢劫、强*和屠杀等恐怖活动所震惊了！
不论在安全区内还是在安全区入口处，我们没有看见一个日本巡逻哨。
昨天，而且是在大白天，在大庭广众之下，在神学院的大厅里，日军士兵当着许多男人、妇女和儿童的面，强*了数名妇女。我们22个西方人不能养活20万中国平民，也不帮你们白天黑夜地保护他们。这是日本当局的职责。如果你们能为他们提供安全保障，那么我们能够帮助养活他们！
假如目前这种恐怖局面持续下去的话，很快连工人也找不到，基本的服务根本无法进行。
渐渐地，拉贝和国际委员会的其他成员开始理解日本外交官答复的真实含义——下令进行屠杀的是军方，大使馆也无能为力。日本大使馆参赞福田德康跟拉贝谈了很多，他说：“日木军队想尽量地破坏这座城市，但我们大使馆，将竭力阻止他们。”在南京被疯狂蹂躏期间，一些日本大使馆官员确实曾建议国际委员会直接向日本国内寻求公众舆论的支持，以迫使日本政府采取行动。与此同时，另外一名使馆官员却竭力劝阻拉贝保持沉默，并警告他说：“一旦你对新闻记者说了什么坏话，整个日本军队都会对我群起而攻。”
到后来，日本盟国官员的身份成了拉贝最后一张护身符，他做了现在想起来令人十分害怕的事情：他开始在城里四处游荡，打算以个人力量去阻止暴行的发生。