据记载，艇军最早出现于道光二十六年，该年“六月，(李卿宝)聚党劫掠浔州河中，继与罗亚丙、任文丙、刘亚乌、陈亚贵等联络，为广西艇匪之始”。
艇军的最初成员主要来自鸦片战争时期梧州一带的水陆壮勇。当时，广西巡抚梁章炬驻守梧州，为了防御英军入侵，便在当地招募了一批水陆壮勇，如后来成为艇军中著名头目的张钊，便是被招募的壮勇之一。《南京条约》签订后，梧州奉命撤防，被招募的水陆壮勇也随之遣散而失去了生计，成为无业游民。这些人，既受过一定的军事训练，掌握了一定的军事知识与技能，同时也沾染了军营中兵痞的各种恶习，不愿从事农业生产。被遣散后，便与当地的流氓痞棍相结合，立命于江河之上，劫掠为生。他们所驾驶的船只，称为“波山艇”，又名“古劳艇”，船身坚大，舱面平敞，两旁多浆，驾驶轻便，“操舟的大多为强悍敢死之徒，炮火器械俱全”。
当然，艇军在广西的出现与发展，同当时广西的社会经济状况也是密切相关的。正如艇军头目张钊、田芳等在向清政府投降的禀文中所言：“以频年水患，力农则粒米难求，贸易无资工作，则投身匪党，通来西省，欲觅枝栖。”另外，与浔州府四通八_达的水上交通也不无关系。正是因为交通的便利与繁忙的水上商业活动．吸引了以劫掠为日的的“艇匪”的到来。道光二十五年，广东波山水手罗皿丙、任文丙、梁亚大及张钊(大头)、田芳(大鲤鱼)等人，“溯江而王二”，来到浔州．联合熟悉本地情况的陈亚贵、李观保等人，组成一个强大的水上二武装集团，往来于梧、浔、黔、柳、漾等江河之h从事劫掠活动!
值得注意的是，尽管艇军的武装活动危及了清朝当局的地方安全，但它并无丝毫反清的政治目标．也没有提出任何劫富济贫的经济口号，因此与农民起义无关。甚至谈不二起义。而纯：粹是一种土匪行为。它一场以个人或小集团利益为转移，易于被统治阶级所收买和利用。
道光二二五年，张钊、田芳等初到浔州不久，便接受了平南县知县王华封的“招抚…”受令在江上护航“押帮”。实际上乃是宫盗合作，以勒索商民，使艇军对商船的非法劫掠，一变而为“合法”地向商船征收保护费。但是，收取保护费并不雏：使张钊等人得到满足．于是又“渐往来于大乌、丹竹、各圩，构蓬一通衢，明场开赌”，墨以扩大财源。
道光二十－一七年．张：钊等又与容县自良圩天地会首领冯道和(即冯六大)“结盟拜会”。并在圩上设馆．从事“打家劫舍，包江食水，打单提参”等活动。
道光二十八年，新任平南知县倪涛对艇军采取了强硬措施，命令地方团练“堵守武林、新地、下湾”等处，并打败了艇军。张钊等即“领贼艘数十号，党众千余，泊舟竹江”。后来张钊等又公开活动于苍梧一带江上。倪涛见难以将艇军制服，便也使用招抚之策。张钊为了方便活动，欣然受抚，充任捕役。同年十一月，张钊等又参与了清军围剿天地会张家祥部的战役。后虽因张家祥受知府顾元凯的招抚，双方并未交战，但张钊却乘机把势力扩展到了浔州府，并成为梧、浔两府艇军之总头目，以梧州以西的重镇戎圩为基地，与官吏、衙役们狼狈为奸，使两府各州县商旅难行，以致民怨沸腾，迫使总督徐广缙下令将王日堂、王庸等逮捕，并押往广州正法。张钊即率众再次叛逃。
道光三十年春，张钊、田芳等第三次接受清政府的招抚。但这一次导致了艇军内部的分裂。任文炳、梁阿长等2000余人拒绝降清，继续与清政府相对抗。而张钊、田芳等受抚后，亦不安心，“旋叛去，别为一队”。同年六月，张钊率部进入藤县，与当地天地会何洪锦部“扰三江里、太平圩”，后又与钟敏和、邓立奇、邓八等相联络，“掠往来客舟，江道为梗”。
洪秀全金田村起义以后，艇军曾一度投靠太平军，但张钊、田芳等很快又叛去，只有罗亚旺即罗大纲一直留了下来，并成为太平天国的重要将领。
当清军逐渐向桂平、金田一带集结以后，张钊等又感到了恐惧，遂暗中向清军乞降。清政府在蔡村江同太平军交战遭到惨败后，也急需对张钊进行招抚。二者一拍即合，清朝当局于是派曾招抚过张钊的刘继祖前往办理招抚事宜。张钊降清后，立即加人围攻太平军的行动。但在战场失利，并失去了盘踞半年之久的江口圩。其后，他更卖力：勾清军效劳，率领艇军，封锁浔江江面，切断了太平军的水上交通补给线，使太平军无法沿浔江发展。艇军又在黔江游弋，帮清政府保住了黔江北岸各渡口，使太平军无法渡江去接应凌十八的队伍。在帮助清军攻打太平军的同时，张钊仍在浔江江面干着自己的老本行。“招安之巨匪，如大头羊、大鲤鱼等仍在浔、梧一面包货抽税。剽劫如常”。
太平军离开广西进军湖南后．张钊、田芳被留在广西。成丰二二年平乐沙子街灭地会起义后，嘲芳奉命前往镇压。张钊则参加清军对任文炳部艇军的围剿。但张钊并未真心对任文炳部作战，反而之暗通声息，并以高价向任部出卖武器，牟取暴利。事发后，终于被清方处决。
张钊死后，田芳率其艇军继续在梧州三角嘴一带活动，并“攻扑浔州府及贵县等城，打单劫狱愈肆猖狂。现又纠添伙党：大船至七卜余号，小艇五六十号，横距浔州城外及三角嘴各处”。黟咸丰三年，同知褚汝航奉命办理缉捕艇军之事。他令早降清的卷嘴狗侯志去招降刚：垮。后又设计将侯志、田芳二：人擒杀。艇军在梁培友领导下继续活动。他们对清军忽降忽叛，并与贵：县的赵洪、黄而等数千人联合，转战于浔、梧江面及沿岸一带。
咸丰四年夏，梁培：复率艇军船只四百余艘，从桂平沿江顺流而下，分兵三路攻打梧州久攻不下。后来得到广东艇军关巨、黄定远等万余人之增援，继续强攻。这时，广西巡抚劳崇光亦令左江道张敬修兼程前来协助守城。梁培友见难以攻下，便留下一部分人员继续攻城，另派一支队伍溯江而上，攻打藤县，亦未如愿。不久，范亚音、戴九等率洪兵来援，控制了浔江河干及江面，最后将藤县攻占。其后，梁培友又回头攻打梧州，败于锁龙桥，只得率部返回广东德庆，参加了广东洪兵的行列。从此，艇军也就退出了历史的舞台。
起义军进入上海城后．刘丽川在此建立临时军事性政权，自任”大明国统理政教招讨大元帅”。李成池称“平匈}大都督”，陈阿林为左元帅?总理孽务。林阿榴为右元帅，兼署J二海县事；陈芝伯为护理副元帅，徐渭仁为参谋，总理财政；潘起亮为毪虎将军，徐耀为常胜将军．蔡永良为扫北将军，张汉宾为征东将军，朱月峰为征南将军，周秀为正印将军，刘海等为将军，李绍熙掌一切军机，此外还有“参赞大臣”、“随营参赞”、“参谋”、“先锋，等一同时没置了有别于清政府所规定而与太平军相似的装束。为维持社会秩序，刘丽川等发布了一系列告示。大多是阐明起义宗旨和申明起义军纪律。如以“大明圈统理政教天下招讨：赶元帅刘的名义发布的告示，提出：“方今童君昏聩，贪官污吏布满市朝。鞑夷当灭，明复当兴，敞此本帅兴仁义之师，为汝驱除。”并宣布：“芩帅已严饬部下，不得取民间一物，不得奸民间。
为了与太平天困建立联系并取得其帮助。刘丽川曾以“未受职臣”的名义上书天二三洪秀全。除陈明起义军已占据卜海、青浦、嘉定、宝山、川沙、南汇等地外．还恳求天王“早颁赐誊黄，以顺天心，以慰民望。并表示臣不胜恳切待命之至”。为表示与太平天国在宗教信仰方面的一致，刘丽还在告示中，将基督教奉为正宗，将佛道两教斥为“邪教”，称“佛不足事”，而“道为荒谬”。告诫佛道信徒“洗心革面，明辨是非真邪，及早觉悟，崇拜天父上帝”。
小刀会在上海起义的次日，周立春便率领4000名农民起义军，从嘉定来到上海县城，大大加强了小刀会起义军的实力，并以上海和嘉定为中心，向附近地区扩展。
八月初七日，王小山率领一支队伍由嘉定出发，顺利占领宝山县城，知县金衍照携印信逃逸。
八月初八日，刘丽川又派数十人前往南汇，同当地百龙党会合，并在其首领朱月峰、沈绍、祝月廉、赵茂贞、西祝三等率领下，于次日清晨攻下南汇县城。将县衙捣毁，知县章惠被活捉后自缢身亡。起义军以“大明国”名义发布告示，令富户出米粮以济军食。
八月十一日，征东将军张汉宾等率数百人，奉命往攻川沙厅，署同知窦塾逃往松江，参将、守备也弃城逃命，起义军顺利占据了川沙厅城。
八月十五日，周立春率领数百人来到青浦。一部分人正面进攻，另一部分人，扮作烧香农民，潜入城内。起义军利用里应外合的策略．将县城攻破，捣毁县署，推罗店人朱济川为元帅，发布以太平天国名义的告示。
小刀会起义军在占据上海及其附近地区后，不仅实力大为加强，而且在地域上联成一片，给清统治造成极大威胁。为了进～一步扩大战果，并向太平军靠拢，起义军曾两次进军太仓．以期进而夺取苏州。太仓一带的小刀会组织，利用知州蔡映斗招募乡勇之机，纷纷应募，以便作为内应，人月十二日，小刀会起义军在潘起亮、王国初等率领下，分别从上海和嘉定出发，进兵太仓。当王国初一支队伍抵达太仓附近时，潜伏在乡勇中的小刀会成员，立即起而响应，起义军趁势从城南攻人城内。前锋400余人占据州城衙署，释放囚犯。另一支队伍也从州城东门攻入城内。这时，吴县知县丁国恩闻讯率清军与乡勇赶来救援，起义军遂撤回上海与嘉定。八月十四日，王国初又率领千余人由水陆两路再次进兵延仓。守城清军在丁国恩指挥下，进行顽抗。他们凭借太仓城墙坚固，且居高临下，用大炮轰击，起义军损失百余人，被迫放弃了攻占太仓的计划。起义军领导还派李咸池只身乘船前往厦门，以联络闽南小刀会，要求后者拨3000名鸟枪手来沪增援。旋因闽南小刀会本身已处于被包围之中，无力应援。厦门被清军攻占后，李咸池在福建龙溪被捕牺牲。另外，刘丽还派副元帅张金山等五人，去宁波联络镇海双刀会首领洪世贤。张金山等来到浙江鄞县，秘密联络到慈溪、奉化、镇海、定海等县的秘密会党，拟于十月初举行起义。旋为当地团练侦知并诱杀。
吴县知县丁国恩在救援太仓一役中得手后，于八月十八日进兵嘉定。双方在外港镇发生激战，“血流成渠”，起义军难以抵挡，只得撤回城内，致使嘉定四面被围。这时，当地地主武装也来帮助攻城，城内的豪绅，又充当内应。二十日，清军与团练终于将城攻破，徐耀与周立春之女秀英杀出包围圈，撤往南翔。周立春力竭被俘，在押往苏州后遇害，王国初则不知所终。丁国恩攻破嘉定后，又带领兵勇前往南翔，追击徐耀一支队伍。徐耀、周秀英只得退回上海。丁国恩在南翔焚毁了徐耀等人的房屋以泄愤。嘉定被清军攻占，躲在宝山城外的典史曹某与南汇都司景又春等，纠集溃散的清军和乡勇1000多人，攻占了宝山，守将王小山等撤回上海。同一天，在乡的刑部主事刘存厚带领兵勇进攻青浦起义军不敌，被清军攻破。清军进入青浦后，大肆杀烧抢劫。以致“县后街一带，路上有首无身，有身无首者，累累不绝，不知民房中更若何景象也”!
小刀会起义军在嘉定、宝山、南翔、青浦等地接连受挫，只得全部撤回上海县城。清政府开始对上海县城进行全面围攻。甚至不惜把镇压太平天国前线的“江南大营”副头子、署理江苏巡抚许乃钊，调往镇压小刀会起义的前线。同时令署理按察使吉尔杭阿，总兵嵩林、参将秦如虎等，一同前往。在美国领事帮助下逃走的上海兵备道吴健彰为了将功赎过，也跑到苏州、镇江去求救兵，并令他预先在广东雇募的30艘拖船及水勇，经香港前来上海。美国领事金能亨又把一艘本来属于小刀会战利品的洋船及所载枪械弹药，交给吴健彰。
八月二十六日，清军5000余人来到离城12里的曹家渡扎营，起义军闻讯，派2000人前往劫营，双方交火后，起义军稍有伤亡，被迫撤回。次日，清军水师80余艘战船，4000余名兵勇，来到黄浦江下游，在大东门外靠岸，以大炮向城内轰击。二十八日清晨，清军开始攻城，在起义军猛烈抵抗下，清军只得撤退。此后，双方在上海县城开始了长时间的攻防战。经过一个月的围攻，清军并未取得多少进展，而起义军的防守，却明显加强了。
清军见上海县城久攻不下，便用招降的办法对起义军进行分化瓦解。结果造成李少卿等人的叛降，一些动摇分子也随之出城投降，并引起小刀会内部的分裂。不过，清军仍难将城攻破，一直与小刀会起义军处于对峙状态达一年之久。
上海小刀会起义并迅速占领上海及其附近地区，对外国侵略势力也造成了巨大威胁，特别是外商的经济利益受到巨大损失。臼于清军对上海县城的长期包围，大批外国商品，尤其是棉纺织品，无法销售，只能在仓库里沉睡。他们购买的茶叶，也无法运出。那些鸦片商，更是一筹莫展。赶的经济利益，驱使外国侵略者必然对小刀会起义军持敌视态度，并因此与清朝当局勾结起来，共同镇压小刀会。借口挑起“泥城之战”迫使清政府签约出卖了上海海关的主权后，它们撕下了“中立”的伪装，公开站在清政府一边。1854年6月11日，美国公使麦莲同英法美三国领事磋商，决定共同向小刀会施加压力，企图迫使小刀会撤出上海，遭到小刀会的严词拒绝。同年9月下旬，吉尔杭阿趁法国公使布尔布隆等来上海之机，“直截了当地要求法国派兵力帮他制服叛军”。布尔布隆在上海逗留了两个月，与清政府当局进行讨价还价。在此期间，英美法三国又加紧向起义军施加压力，在租界边上修筑界墙，以断绝上海县城与租界间的往来，切断起义军与郊区人民间的联系。法国侵略者在所提出的条件得到满足后，便决定公开向起义军发动进攻。为了寻找借口，法国军事头目辣厄尔以起义军修筑的炮台，威胁到法租界的安全为理由，要求起义军把炮台拆除。12月14日正式向小刀会起义军宣战。起义军不予理睬，辣厄尔便派出200名雇工，在40名水兵保护下，前去拆除起义军的炮台。起义军鸣枪示警，雇工们纷纷逃散，法国水兵遂向起义军开火。12月9日下午，法国军舰高尔拜号用大炮向上海县城轰击。次日，法军又联合清军对上海县城发动猛攻，是为“北门之战”。法军利用军舰高尔拜号和贞德号上的大炮及距县城百码处新建的炮台，猛烈轰击县城。后来，法军利用距法国租界不远处的一段城墙缺口，进入城内，在城内大肆抢劫。小刀会在城内奋勇迎战，经过四小时的激战，终于将法军击退，与法军一同进入城内的清军，也在遭受到大量伤亡后，逃出城来。
清军与法国侵略者联合攻城失败后，清军便进一步加紧了对县城封锁，企图使城内粮食供应完全断绝，以迫使起义军投降。英美法等国租界界墙上也加强了巡逻以断绝城内与外界的联系。清政府与外国侵略者的上述措施，给城内居民造成巨大困难。起义军在内无粮食，外无救援的情况下，决定突围出城。刘丽川与陈阿林分别带领队伍，约定突围成功后，在西门外某地会合，以便前往镇江投奔太平军。当天夜晚，刘丽川与陈阿林率领队伍，打开西门，突围而出。刘丽川一支队伍，由于有清军中向导的引路，顺利通过敌人营地，来到城郊西面的小闸桥地方，假称松江兵呼渡，守军因黑夜难辨真伪，拒绝往渡，起义军情急之下，即向守渡者开火，乡民闻听枪声，即行呜锣聚众，刘丽川只得率众逃避。天明时，在虹桥与清总兵嵩林所率兵勇相遇，经过一场殊死搏斗，起义军终因长期饥饿，体力不支而溃败，刘丽川在战中被杀，潘起亮带领一部分人成功地突破重围，参加了太平军。陈阿林带领的一支队伍，由于黑夜迷路，未能到达预定地点，只得进入租界，被一位美国军官收容，剃发异服，但大部分仍被清方查获。陈阿林藏匿在一位乡民家中，后逃离上海，前往香港，又辗转到了新加坡。城破时，徐耀带领一部分人，：汾成乡民，从小东门出逃，旋为清军捕杀。
清军进入上海县城后，一方面纵火焚烧劫掠，同时在城内大肆捕杀幸存的起义者。“在三天内，约有一千五百名被斩首，其中有许多名惨遭凌迟之刑”。
上海小刀会起义在坚持18个月之后，最终还是失败了。究其失败的原因，除了因中外反动势力联合而造成敌强我弱的客观条件之外，起义军内部缺乏强有力的领导核心、没有正确的斗争纲领、内部派系纷争，小集团意识浓厚、起义后期纪律松弛，损害群众利益，失去人民的支持与：帮助、为得到太平天国的认可而放弃原来的信仰，改信基督教，在小：7丁会内部造成思想混乱，使得原来借以维系内部团结的信仰遭到破坏，又与大多数中国民众的宗教习俗相抵触，从而产生出一股强大的离心力。
上海小刀会起义虽然失败了，但它在中国近代史和中国会党史上，却占有重要地位。它是太平天国时期各地人民群众武装反抗斗争的重要组成部分，有：匀地打击了国内外统治阶级的嚣张气焰。不仅使清政府的虚弱暴露：无遗，而且使外国侵略者“损兵折将”，使西方武器“丧失威信”，连“西方国家对东方民族一向自矜自持的优越感，也遭到破产”。上海小刀会起义在中国会党史上也占有重要地位。上海小刀会吁是天地会系统的三合会、小刀会与其他秘密会党的联合体，它标志着秘密会党从分散走向联合，上海小刀会起义，又使会党从秘密走向公开。在起义军控制上海及其附近地区期间，小刀会建立了自己的统治，大大加强了秘密会党在群众中的影响。小刀会在与国内外统治阶级历时18个月的斗争中，增长了才干，扩大了眼界，使秘密会党分散、保守、落后的弱点，有了某些克服。当然，最重要的一点是，人们从这次起义中，更清楚地看到，秘密会党作为一种原始形式的落后组织，尽管在斗争中表现出令人钦佩的英雄气概，但不可能把斗争引向成功，劳动人民也不可能从他们那里找到出路。
在盖尾一带，乌白旗有着较深厚的群众基础，清军难以强取，便按兵不动，秘密派兴化兵丁连捷高暗杀了白旗的首领朱三。起义军为了泄愤，遂将连捷高之子杀毙。朱三死后．其部下或受抚，或解散，只剩下盖尾的乌旗，继续坚持斗争。九月中旬，清军又攻破盖尾乡．乌旗首领朱五、陈万年、陈尾等牺牲，仅林俊、黄有使得以幸免。林俊逃至永春、南安交界的云峰乡，黄有使先逃至南安的溪东乡，投奔陈溪，后得知林俊已到云峰乡，即冒险往投，结果在中途遇难。林俊后来又回到了南安的内炉乡，此后一段时问林俊便销声匿迹了。
咸丰五年，林俊又一度东山再起，但旋即失败，再次潜伏下来。咸丰七年初，太平军从江西进入闽北，林俊受到鼓舞，趁势攻下沙、尤溪、大田一带。同年四月，又赴南安大罗溪一带活动，并一度攻打到泉州和南安。后又再次攻沙县，连战七天未破，只得率师北上，欲投奔太平军。行至光泽县的仁寿桥地方，被当地练总张崇旺所包围，林俊中弹牺牲。余部或战死，或被俘，起义至此最后失败。