大业九年（613）六月初三，杨玄感假称将军来护儿因延误军期发动兵变，他须前往平定叛乱为名，领兵占据黎阳，关闭城门，大索男夫。并向附近各郡发送文书，以讨伐来护儿为名，命各郡发兵会集黎阳。杨玄感任命赵怀义为卫州刺史、东光县尉元务本为黎州刺史，河内郡主为怀州刺史。并选精壮运夫五千余人，船夫三千余人，杀三牲誓师，起兵反杨广。他曾立下誓言：“我身为柱国，家累万金，至于富贵无所求也，今不顾破家灭族，但为天下解倒悬之急，救黎元之命。”以取得人心，前来投奔的群众日有数千，军队迅速扩展到一万多人。当地的父老还竟相送来酒肉，犒劳杨玄感的军队。

杨玄感举兵后李密就到了黎阳，就被杨玄感任命为军师。杨玄感向他问自己该怎么走下一步，李密曰：

“愚有三计，惟公所择。今天子出征，远在辽外，地去幽州，悬隔千里。南有巨海之限，北有胡戎之患，中间一道，理极艰危。今公拥兵，出其不意，长驱入蓟，直扼其喉。前有高丽，退无归路，不过旬月，赍粮必尽。举麾一召，其众自降，不战而擒，此计之上也。又关中四塞，天府之国，有卫文升，不足为意。今宜率众，经城勿攻，轻赍鼓行，务早西入。天子虽还，失其襟带，据险临之，故当必克，万全之势，此计之中也。若随近逐便，先向东都，唐祎告之，理当固守。引兵攻战，必延岁月，胜负殊未可知，此计之下也。”

杨玄感对于李密献的上、中、下三策，选择了下策。他认为打下当时的实际都城洛阳，才能大长士气，并可以抓获文武百官的家属作为人质，于是尽焚屯于黎阳的龙舟，率兵向东都洛阳进发，准备进军东都洛阳，占据中原以图发展。此时留守东都的越王杨侗、民部尚书樊子盖闻知此讯大惊，急忙聚兵抵抗。

杨玄感命其弟杨玄挺率一千人进攻河内，自己从汲郡(今河南淇县)南渡黄河，向洛阳前进。杨玄感的叛军未遇任何抵抗，很快到达偃师(今河南偃师)。杨玄感乃命其弟杨积善率兵三千从偃师以南沿洛水西进，杨玄挺自白司马坂(今河南洛阳)越过邙山从南面向东都发起进攻，杨玄感率三千余人马紧随其后。洛阳方面派河南令达奚善意率精兵5000抵挡杨积善，将作监及河南赞治裴弘策率八千人迎战杨玄挺。当时，杨玄感的士卒多为没受过正规训练的民夫，手执单刀柳盾，也没有弓箭铠甲，但是杨玄感本人骁勇无比，每当双方交战，他总是亲自手持长矛，披挂上阵，身先士卒。将士们都深受鼓舞，愿为杨玄感效死，故达奚善意军不战自溃，而裴弘策军也五战五败，只带十余骑逃回洛阳城中。14日，杨玄挺直抵太阳门，将洛阳包围。