几年来，这支军队在上海附近与太平军作战，颇打了一些胜仗，也积累了相当的声誉和人气，被当地官绅视为依靠。
而李鸿章初到上海所面临的两大难题都与这支军队有关。中国方面，原驻沪官员与洋人多有往来而交情很深，时任苏松粮储道、“综理夷务”的杨坊，便出身买办，他还将女儿嫁给“常胜军”管带华尔为妻。他与苏松太道管理海关并署理江苏布政使的吴煦在上海经营既久，关税和厘金都由他们管理，关系盘根错节，钱、粮、财、物、人事及“洋人”，尽在其掌握之中。而他们对洋人的态度，“过趋卑谄”，[8]据李鸿章在写给皇帝的奏折中披露：“常胜军本华尔旧部，其初不过千人，吴煦、杨坊等始意欲藉以御寇，薪粮夫价及一切军火支应，视官军加至数倍，漫无限制，陆续增至四千五百余人，并长夫炮船轮船经费，月需饷银七八万两。”[9]
洋人方面，最初也没把李鸿章放在眼里。据说，刚到上海时，华尔就拒绝见他，故意冷落他。后英军约李鸿章一起攻打嘉定，被他以兵力不足推辞了。“英军官怒形于色，军士皆愤”，李鸿章对左右说：“彼轻视我者，料我力不能战，我若整军却敌，不邀彼助，彼自然敬服，听我调度，争闲气何为？”[10]
不过，几次接触之后，李鸿章便敏锐地观察到，洋人军队的精神面貌和武器装备，中国军队是难以望其项背的。他在给曾国藩的信中写道：“洋兵队伍既整，炸炮又准，攻营最为利器。”[11]他既惊叹洋兵战斗力之神奇，则暗中布置下属向洋兵学习：“洋兵攻嘉定，数千枪炮齐发，所当辄靡，其落地开花炸弹如神技，因密令将弁随队学习。”[12]随即，他又与英军签订了联合作战合同，派三千人协同英军作战，并由英军训练这三千军人。
他多次致函曾国藩，商议如何对付洋人。他既不赞成上海官绅的“媚夷”——取悦洋人的态度，以为“失之过弱”；对另外一些把“华夷之辨”看得很重，对洋人抱着十二分的警惕和小心，动辄主张排外仇洋的人，他也认为“失之过刚”。而他的做法是“调剂于刚柔之间”，“体察洋人之性，设法笼络”。[13]
所以，虽然华尔在他面前摆架子，但他并不在意，在给曾国藩的信中还称赞华尔“打仗奋勇”。他告诉曾国藩：“近以全神笼络，欲结一人之心，以联各国之好。”这样做的好处是：“彼允为我代请洋匠制炸弹，并代购枪炮，果能学得一两件好处，于军事及通商大局不无裨益。”[14]
李鸿章的通达、明智、权变、务实，于此可见一斑。而中国军队使用西式装备即始于此时，并开洋务运动之先河。曾国藩是传统卫道士，他教育李鸿章：“用兵之道，在人而不在器。”这种思想影响至今。但西洋武器给李鸿章留下的印象太深刻了，刺激太强烈了，他在回应曾国藩时说：“用兵在人而不在器，自是至论。鸿章尝往英、法提督兵船，见其大炮之精纯，子药之细巧，器械之鲜明，队伍之雄整，实非中国所能及。其陆军虽非所长，而每攻城劫营，各项军火皆中土所无，即浮桥、云梯、炮台，别具精工妙用，亦未曾见，独未能扎营住帐房，又临敌审慎，胆气多歉，此则不及中国好兵耳。”李鸿章“深以中国军器远逊外洋为耻，日戒谕将士，虚心忍辱，学得西人一二秘法，期有增益而能战之”。但最初不仅曾国藩不能认同，即便他的下属，如程学启、郭松林之流，也不理解，仍然“坚僻自是，不肯求教”。[15]
这在当时一点也不奇怪，士大夫阶层囿于这种认识的，相当普遍。李鸿章在写给总理衙门的信中批评这种现象：“中国士夫沈浸于章句小楷之积习，武夫悍卒又多粗蠢而不加细心，以致所用非所学，所学非所用，无事则嗤外国之利器为奇技淫巧，以为不必学，有事则惊外国之利器为变怪神奇，以为不能学。”[16]长此以往，中国恐很难在世界上立足。
这是李鸿章的开明之处，也是他比曾国藩及诸同僚更为深刻之处。他认为，至少还有两个原因可以说明学习西方势在必行，一个近因，一个远因。所谓近因，是指太平军已在使用洋枪，他在战场上看到，太平军“专恃洋枪，每进队，必有数千杆冲击，猛不可当”。[17]而且，“外国不拘官民，窃售利器”，势不能禁。也就是说，官府无法阻止太平军获得西洋武器，结果就造成了官军以陈陈相因之兵器对付太平军新式武器的尴尬局面。李鸿章“每念及此，不禁瞿然起立，慨然长叹也”。[18]
至于远因，也是他比旁人看得远，虑得深的地方。他看到：“前者英、法各国，以日本为外府，肆意诛求，日本君臣发愤为雄，选宗室及大臣子弟之聪秀者，往西国制器厂师习各艺，又购制器之器，在本国制习，现在已能驾驶轮船、造放炸炮。去年英人虚声恫喝，以兵临之，然英人所恃为攻战之利者，彼已分擅其长，用是凝然不动，而英人固无如之何也。夫今之日本，即明之倭寇也，距西国远而距中国近，我有以自立，则将附丽于我，窥伺西人之短长；我无以自强，则将效尤于彼，分西人之利藪。”[19]很显然，李鸿章是较早看到明治维新后日本的扩张野心及其可能性的人之一，防患于未然，中国也应该学习日本，以西方为师，变法图强。
不过，学习西方技术，借重洋兵洋枪，能为我所用，固然很好，但如何避免为其所制的局面，却是李鸿章不得不面对的一道难题。从一开始，他就意识到了这一点，1861年9月30日在给史士良的信中他就表示：“洋人船坚炮利，固大可恃，今仰仗其力，亦迫于时势而已。”[20]而且，“常胜军”凭借其武器精良，能征惯战，常常表现得专横跋扈，狂傲不驯，是很难驾驭的。因此，如何整顿“常胜军”，收回兵权，就成了李鸿章的一块心病。
由于华尔在战斗中受伤，不治身亡，白齐文接替了华尔在“常胜军”中的职务。这个人的性情比华尔还要野蛮骄横，一次，他从战场归来，向杨坊索饷，被杨拒绝，他竟动手打了杨坊，抢去饷银四万余元。借此机会，李鸿章不仅将白齐文*职，顺便也把吴煦、杨坊告上了朝廷，以管理不善的连带责任，将二人暂行革职。同时，经过多次交涉，艰难谈判，李鸿章还与英国驻华陆军司令士迪佛立就“常胜军”的管理签订了《统带常胜军协议》，不仅明确了清朝政府对“常胜军”的管辖权，而且将士兵从五千人减少为三千人，初步解决了他的心头之患。梁启超就很赞许他的这番举动，称之为：“李鸿章与外国办交涉第一事，其决断强硬之概，论者韪（wei）之。”[21]