何去何从的讨论从一开始就分为三派意见。
文官的代表虞琪（他出使汉部才回来）主张去和兵马大元帅赵构会师，邓肃则建议前往登州依附汉部，血性的将领如王彦等则主张赶紧募集义兵入京师赴难。
曹广弼心道：“若往南依附兵马大元帅，我等仍要受其节制，施展不开手脚。若是前往登州，这一万人里只怕有六七千不肯相从。”想起种师道的话来，便道：“东南是偷安之地，这一去要何年何月才能回来抗金？我们现在兵少将微，此时回汴梁去无异于送死。若要一心死难，何必突围出来？如今既然出来，自然要留有用之躯为有用之事！”
王彦问道：“曹先生，那你的意思是？”
曹广弼道：“金人虽攻破了汴梁，但这里是中原腹地，宗翰、宗望势不敢久留，得了便宜后仍必回去。我有意移师北上，会合河北义军截其归路！此事极险，不知你们可敢相从？”
王彦等欣然道：“杀敌报国，岂惮奸险！”
文官或有胆怯的，但这时为众议所激，便不好反对。
邓肃道：“我们如今虽有万人，但泰半是未经训练、不能作战的官民，五千兵马也不能称为精锐。无论是阻击金人也好，驱逐胡马也好，都还要找个地方休养整顿才是。”
曹广弼道：“最好的休整之地，那自然是江南——但我们能去那里苟且么？胡马如此猖狂，我们如今除了龟缩退却，就是逆流勇进！人是磨出来的，精锐是打出来的！若是吃不得苦的人，便请自回江南去。敢留下和我们共患难的，都要做好出生入死的准备！”
王彦郦琼等都道：“不错！”
邓肃道：“但打仗终究要钱粮！没有钱粮，如何养兵募兵？”
林翼道：“钱粮的事情，我来想办法。”
邓肃问道：“像这个村庄这样的秘密仓库，你是不是还准备了几座？”
林翼笑道：“我确实准备了几个仓库，但都在河北山区。这个不是我准备的，是我问一个叫陈楚的商人借来的。总之钱粮的事情大家不用担心，只要是商路通得了的地方，我就会有办法。”
计议既定，曹广弼便出去召集人众道：“天降奇祸，汴梁失守！我等力量微弱，无法扭转困局，又不愿坐困等死！如今胡马气势汹汹，是好男儿的焉能不为保华夏、安黎民出一分力气？如今我要犯险北上，伺机阻截金人后路，传檄两河，共抗金兵！你们可敢跟我一起去？”
数千兵将都叫道：“愿随曹先生北上！”
郦琼站出来道：“曹先生在汉部为将，到了大宋便是一介布衣，但如今既然行军起义，不可无名，再则曹先生临走前已请得御笔募兵抗金，不如我们便推他为首领，权称统制，请虞大人为监军，王彦先生为副统制，邓肃先生为参谋，以抗金为义，行军伍之事！如何？”
众人都道：“愿奉曹统制令！”
当下曹广弼分派任务，开拔向北，命林翼想办法募集钱粮。又分别派遣使者前往津门、东平分别告知赵构和杨应麒。赵构这时极为虚弱，只要是能争取的力量都尽力争取，何况曹广弼还身怀御笔，因此不但默认了这支义军的存在，而且还派人送来了一支锦旗。
曹广弼部勒这批人马沿途北上，在黄河边上遇到宗泽的哨骑。原来宗泽的兵马已到开德府，一路与金兵偏师邀战，互有胜败。曹广弼以奇兵攻陷金军在卫南的据点，派人与宗泽通问消息。宗泽听说曹广弼从汴梁出来，率领数十骑连夜到卫南与曹广弼相见，打听京师消息，听说京城已破、宰相准备投降不由得忧愤几欲泪下。
宗泽任副元帅以来连番上书劝抗赵构赶紧入京勤王，但赵构哪里理他？赵构身边这时已经聚集了五六万人马，但就是缩在山东按兵不动。宗泽虽然忠勇，但他只是一心为国，忧君忧天下，就是没有设身处地地替赵构想想：冒险入京去救父兄符合他赵构的利益么？所以宗泽虽然身居副元帅，在磁州又有保驾之功，却是和赵构越走越远。
不但赵构如此，两河、山东的其他守臣当此时局也大多在观望。宗泽到开德府以后曾先后移书北道总管赵野、两河宣抚范讷、知兴仁府曾楙合兵入援。但这些人都认为这个节骨眼上前往汴梁无异于送死，因此无人理他！所以宗泽虽然号称副元帅，但手下的兵力极为有限。这时他见曹广弼手下人强马壮，就想以副元帅的身份征调这支队伍。
这一路来曹广弼将愿意相随的一万多人分为战斗队伍和非战斗队伍，数千官民都已安排作了后勤。又沿途招募兵勇，汰弱选强，以实战来作训练，所以数量已经增加到七千人的战斗队伍成长很快。加上这支军队使用的都是汉部提供的兵器甲胄，装备虽还比不上曹广弼在辽口的嫡系人马，但比起手下只有一群厢军、义军的宗泽来说已经好多了。
曹广弼听宗泽要征调自己这支人马，便问他要征调来干什么，听宗泽回答说要入京赴援后便拒绝了，认为汴梁形势已不可为，孤军入京赴死徒然无益。
宗泽道：“四方勤王之师若至，或有奇变也未可知！”
曹广弼反问：“四方勤王之师在哪里？”
宗泽默然，曹广弼道：“若四方勤王之师大聚，曹某还需要从京城里突围出来么？”又跟宗泽分析宗翰、宗望的兵力道：“太原之战宗帅又不是没看到，金兵围城打援的手段何其了得！现在汴梁已落入金军手中，除非是我们能组织起足以压制金军的兵力，否则军队是去一支，死一支！这一万多个兄弟愿意把性命交到我手上，我便不能让他们去无谓之险！”
宗泽愠道：“然则君父之忧，曹将军就不顾了？”
曹广弼道：“华夏眼看就要颠覆，万千生民或将左衽！若不论事情是否可行，光是考虑忠义之名有何用处？”
其实两人的根本分歧却不是在战略战术上，而是在忠君报国这等义理上互相不对胃口，所以到后来越说越不拢，终于不欢而散。
宗泽是怒火疾雷般的脾气，却不是一味逞怒的匹夫，当时虽然不忿，但事后想起觉得曹广弼所言未必没有道理，而他关于阻截金军归路的建议也未必不可行。他是坦坦荡荡的大丈夫，既然觉得自己言语太过，回去后便移书致歉，并与曹广弼讨论该在何处截杀金兵。曹广弼也服他忠义无双，对于初次见面的争执并不挂怀。
曹广弼在卫南并没有停留多久便率众渡河，驻扎在汤阴与内黄之间进行第二次短暂休整。一路不断有汉部的官办商人来附，这些商人既做自己的生意，又帮义武军筹措军粮物资。到渡河时军中已聚集了上千人的商队。
这支人马一路北行，见金兵就打金兵，见流寇就打流寇，这时宗翰和宗望的主力都还逗留在汴梁，所以一路上的偏师都不是曹广弼的对手，至于那些流寇就更不用说了。
曹广弼逢州过县都出示赵桓的御笔以及赵构的锦旗，又从不入城，只是在城池之外安营扎寨，因此与大宋的守臣们相安无事。威名渐渐传开以后，小股的金兵和流寇都不敢来犯，所以这支队伍所到之处不但没有扰民，反而起到了安定民心的作用。随军的商人或入城内、或下农村采买物资，由于买卖做得公道也颇为受到沿途百姓的欢迎，慢慢地在黄河沿岸建立起良好的声誉，并开辟出一条民间商道来。
曹广弼有意和种彦崧的忠武军会合，因此在相州驻扎了一段时间后又移师北上，到了淇水附近听说隆德府无人把守便领兵前往，进入上党。原来宗翰大军南下以后，河东官吏纷纷弃官难逃，所以竟然连上党这样一个重要的所在也空了！
上党是王彦的老家，有他在这一带的关系网络，曹广弼等很快就站稳了脚跟。曹广弼见此处攻守两便，所以来到后就不走了，反而让林翼移书种彦崧，邀他前来会师。