后来，杨行密在州里募兵的时候参加了本地的军队，由于他力气大胆子也大，在和秦宗权的战斗中 经常立功，所以很快就升为队长，不久又被派到朔方（今宁夏灵武西南）守边服役。一年后期满回来，谁料他的上司不喜欢他，又让他到边疆戍守，军吏假装好言劝 说，还问他需要什么，杨行密大声呵斥道： 就少你的脑袋！ 说完，军吏的人头应声落地。杨行密杀了军吏，然后召集了一百来号人发动兵变，自称 八营都知兵 马使 ，当地的刺史郎幼复吓得落荒而逃，杨行密就趁势接收了城内的军队，占领了庐州。后来，唐朝廷承认了既成事实，任命他为庐州刺史。
此后，杨行密参与了江淮地区军阀之间的斗争，当时淮南的中心不是庐州而是扬州（今江苏扬州东北），扬州则在唐末名将高骈控制之下。高骈日子一长变得非常 昏庸，迷信神鬼，不再专心政治。他的一员属将毕师铎不满他的所作所为，就起兵反叛，联合另一个地方军阀来攻打扬州，高骈派人向杨行密求救，未等杨行密赶 到，高骈已经被毕师铎俘虏了。
杨行密领兵和毕师铎展开了拉锯战，在这次交锋中，杨行密显露出了过人的智谋。为诱敌出战，杨行密先命人 堆积金帛做成一营，派一些老弱的军士去守卫，但在周围却埋伏了两层伏兵。然后，杨行密就自己领兵千人去挑战，一交手就佯装不敌，弃营而走，敌兵饥渴难忍， 见杨行密领兵败走，就进了大营抢夺财物，结果中了埋伏，被杀得大败而归。毕师铎一人回到了城中，一气之下杀了高骈。杨行密得知后，命令全军将士为高骈穿 孝，自己向着城内的方向大哭了三天，士兵们被杨行密哭得怒气满胸。然后杨行密下令攻城，哀兵必胜，将士们一战攻下扬州城，毕师铎夺路而逃。
进城后，城内惨状让人不忍再看，人们饿得将草根都吃完了，有的竟用泥做饼来吃，饿死了一多半。更令人发指的是，人也被买卖后宰杀出售，父亲卖儿子，丈夫 卖妻子，屠夫将刚买来的人像杀牲畜一样杀掉，然后再分割成小块卖。杨行密下令用军粮救济百姓，但也无法满足百姓的需求。占领扬州后，杨行密派遣使者到了汴 州（今河南开封），向兼任淮南节度使的朱温递上了归降书。朱温也很狡猾，表面上答应了杨行密的请求，但暗中却又另派将领去任淮南留后，接管扬州，杨行密发 觉了朱温的阴谋，就派兵把来将赶走了。朱温无力讨伐，只好让杨行密担任了淮南留后的职务，但双方的关系已经出现了严重的裂痕。
扬州城一无粮草，二无外援，杨行密就想放弃扬州，到其他地方寻求发展。未及行动，大兵就压了过来。秦宗权的部下孙儒杀死了投奔他的毕师铎，吞并了他的军队，然后发兵围攻扬州，想一举消灭杨行密，将扬州也收归己有。
由于寡不敌众，杨行密只好采纳谋士袁袭的建议，放弃扬州，先退守庐州，然后再袭击宣州（今安徽宣城），谋求发展。杨行密依计行事，到庐州后便改变了发展 战略，先将守备空虚的宣州攻克，然后趁势向东、南、西三个方向发展，占领了苏州、常州、楚州（今江苏淮安）等地，势力急剧扩大，领地包括了现在的江苏、浙 江和江西、湖北等省的部分地区。
杨行密的发展，使占有扬州的孙儒受到三面包围。孙儒守不下去了，就残忍地放火毁城，又将城中老弱病残的百姓杀了，当做军粮，然后驱使其他人杀向宣州，军队号称五十万。
由于敌众我寡，杨行密的部将几次战败，杨行密又觉得没有办法守了，想弃城向西撤退。谋士戴友规出来劝阻说： 孙儒现在士气旺盛，而且兵多将广。不过，他们的锋芒虽然不可挡但可以挫掉，人多势众不可战胜但可以拖垮他们。如果我们真的弃城而走，就很可能被他们追上擒获。
属将刘威也不同意撤退，他主张全力固守，依靠城池修建坚固的营寨抗敌，用持久对抗的方式来消耗孙儒。这样既能休整部队，又能瓦解敌人的斗志，耗尽敌人的粮草。
杨行密听从了属将们的建议，不再撤退，就地坚守。时间一长，孙儒果然粮食开始短缺，而且在军中又发生了严重的瘟疫，部队战斗力急剧下降，连孙儒自己也得 了病卧床不起。杨行密见时机来临，就大举反攻，一战击溃孙儒，还将他活捉。孙儒被杨行密当众斩首，但对于孙儒的部下，杨行密并没有滥杀，他在孙儒的军队中 精选了5000名强壮的士兵，组成了自己的亲军，这支亲军的铠甲都用黑衣包裹，所以又号称 黑云都 ，待遇优厚，在后来成了杨行密作战时冲锋陷阵的主力。
孙儒一灭，杨行密又顺利地开进了扬州城。唐朝廷任命杨行密为淮南节度使。
此后，杨行密又出兵扩大地盘，将淮河以南和长江以东的大片领土都纳入了自己的势力范围，为后来吴国的疆土基本上定了型。
在四处和军阀的争战中，杨行密胜多败少，特别是在朱瑾和李承嗣投奔来了以后，战斗力更是大增。李承嗣在朱温攻打朱瑾的时候被李克用派出相救，但被朱温击 溃，回河东的退路也被朱温截断，只好和朱瑾南下投奔了杨行密。李承嗣的骑兵战斗力很强，他的到来使杨行密的军队实力陡然增加了许多。杨行密于是就四处用 兵，扩张势力。西边鄂州（今湖北武汉）一带的杜洪和东边两浙一带的钱镏都受到了杨行密的压力，纷纷向朱温求救。朱温便派朱友恭率领步骑兵上万人南征。杨行 密命大将瞿章先固守黄州（今湖北黄冈），等到朱友恭到的时候就南撤，再坚守武昌寨（今湖北武汉），以静制动，消耗敌军。同时，杨行密另派属将领精兵五千支 援瞿章，但最后却被朱友恭击败，瞿章和三千士兵被俘。不久，朱温又派名将葛从周和庞师古分别领兵大举南下。这次杨行密亲自领兵迎战，他先集中自己的精锐主 力攻击东边的庞师古，掘开了河堤用水大淹庞师古的军队，同时命令朱瑾领兵袭击庞师古，汴军结果损失惨重，大败而归，庞师古死于战场之上。葛从周得知庞师古 阵亡的消息，赶忙领兵撤退，半路上又遭到伏击，最终率领残兵败将退了回去。
