在这种严峻的形势下，李渊已经没有斗志了，慌忙颁发手敕:"贼势到如此地步，很难与他们抗争，宜放弃黄河以东地区，谨守关西。可是秦王李世民坚决不同意，他上表称： “太原是王业的基础，国家的根本河东土地富浇，京城的粮食全靠河东供给，如果全部放弃，臣深感愤恨，希望给臣三万精兵，必定清灭刘武周，收复汾、晋。大敌当前，岂能退缩，尔等愿带兵出战!”
于是，李渊答应了李世民的要求，积极准备出征。李渊调集关中所有兵力由李世民统一指挥，封他为征虏大元帅，即刻起程北上讨伐刘武周李渊知道此次讨伐刘武周事关重大，如果胜利的话，后方从此就固如磐石;如果战败，唐王朝就面临不能统一天下的局面。为了给李世民壮行李渊亲自到长春宫为他摆酒送行。十一月，正值隆冬季节，天寒地冻，李世民趁河水结冰，从华阴渡过渭水、洛水北上，在龙门渡过黄河、汾水驻兵柏壁，与刘武周的主力、宋金刚率领的军队遥相对峙。
由于裴寂坚壁清野的政策实行在先，所以现在最为紧缺的就是粮饷庞大的军队每天消耗的粮食非常巨大。但是黄河以东的州县遭抢劫后，有粮仓，一般的百姓也都缺粮，人人惧怕侵扰，聚居在城中，征集不到东西。面对这种情况，李世民坚决改变过去裴寂那一套扰民的做法，想方设法安抚人心。由于秦王李世民在百姓心目中的威望很高，所以他一打出自己的旗号，百姓就纷纷踊跃归顺。前来的人日益增多，唐军也不断地征教到粮草。军粮充足，队伍也得到了加强。不过，现在还不是以硬碰硬的时候，所以李世民休兵喂马，只命小部队抄掠敌军，大军则坚壁不战。在大军坚壁不战的同时，李世民与宋金刚的势力也有小的交锋。十二月，刘武周大举进兵夏县、永安王李孝基全力抵抗，但力量对比悬殊，全军覆没，永安王李孝基等被伤。自己则躲起来养伤。