由於正值新喪期，離開桂曉村的兄弟二人不能投靠他家入屋。為了棲身，兩人暫居墟邊的關帝廟。將將挨到「頭七」結束，兩人又前往「高鳳村」（疑似「高吉村」之誤，時屬遷隆峒，後改稱那其，今屬平福鄉，東南距桂曉村約二十里），暫棲在山裡一間茅草屋內，這是以來生前好友陸二叔進山放牛、砍柴燒炭臨時歇息用的。
按客家習俗，劉二兄弟須守孝三年，因此，生活還得繼續。兩人或捕魚、或前往崇坤山砍柴挑賣，努力而艱難地維持生計。
到後來，兩人覺得生活太過艱難，想到了外出打工，待守孝期滿，再回上思。
至於去那裡打工，兩人心中有數，那就是東興對面的芒街。從前居住在溝龍時，兩人曾隨父親以來前往那良墟販賣山貨，對芒街的情況有所耳聞。
咸豐四年初，劉二兄弟沿著當年遷徙上思時走過的路，再次返回北磯村。然後向南沿天斜山（又作天茶山）西北麓的山路，翻過天斜隘，進入澌凜峒境。接著沿溪邊山道南行約二十里，來到澌凜峒第一大墟：那良墟。
那良墟，廣東省欽州澌凜峒所在地，今廣西防城區那良鎮。
兩人在那良歇息時日後，登小木船沿古森河（即北崙河）順流而下，行程六十餘里，抵達三岐江（即北崙河出海口河段）邊的芒街。
芒街，位於北崙河出海口西南，與東興隔江相望，屬越南廣安省海寧府之萬寧州。芒街當時還是清越邊境一個小墟。咸豐初年，東興尚未成街，周邊官民皆往芒街買賣，使之成為中越邊境江海商品交匯之地。
得益於商品貿易的繁榮，芒街吸引了不少廣東籍商家在此經商。咸豐二年（嗣德五年，公元1852年）初，阮朝決定移建海寧府城於萬寧州所在地，兩國邊民更是趨之若鶩。
平日裡，前來趁墟購物的村民、販夫走卒常常以喝酒、賭博為樂。因此，墟上開設有不少賭檔（至今仍有遺風）。劉二年輕力壯，會些拳腳功夫，早年又在灘艇上做過廚工，因此很容易就在賭檔內謀到看場工作。
劉二的所謂工作其實也就是打手，主要是維持賭檔正常的秩序，防止賭客尋釁滋事及財物安全。此外，略懂廚藝的他還兼做廚工，為僱工及賭客提供一日三餐免費的簡單飯食。
劉二兄弟在此打工，一則飯食無憂，二則還有工錢可拿。他平日裡與賭檔僱工、賭客們相交甚歡，常自掏工錢置辦酒菜，呼朋喚友，划拳賭酒。大夥多以「二哥」尊稱呼之，不明原委的人往往音誤作「義哥（當地白話音義與二同）」。
在接下來的二年多的時間裡，芒街周邊的環境似乎異常的平靜，幾乎沒有什麼大的匪患，劉二的生活倒也輕鬆自在。有理由相信，他可能在此第一次接觸鴉片大煙。
此時，大清的紛亂離他似乎還十分遙遠。
在劉二兄弟守孝三年的時間裡，上思及周邊府縣發生了一些值得關注的事。
咸豐四年（公元1854年），上思南鄉那等村（今屬叫安鎮，位於平福東南六十餘里）紳士磨現瓊（即被劉永福音誤作「巫必靈」的那位，「磨」與「巫」白話音近）、磨現璇兄弟，有感於上思西南一帶匪患猖獗，「劫財拉生，強擄牛畜，大肆鴟張」。遂與周之德，黃文煥，胡紀明，黎啟順，黎東漢，梁貢璜等鄉紳，秘密相約設立團練，名「清平團」。
五月，各鄉紳一起捐銀數千兩，並秘密派人前往廣東招募練勇，以便充實「清平團」實力。
七、八月間，剛建立起來的「清平團」分別將盤踞在那蘭墟（今華蘭鄉所在地，平福東三十餘里）、板細墟（今叫安鎮板細村委，平福東五十餘里）的兩股土匪武裝擊潰。
十月，上思人陸高鴻聯合外來的黃叱旗（又作「黃叱奇」）、周二（周霖）等武裝，占據平偕圩(又作「平諧」，今叫安鎮高福村那民屯西南，已廢)。為此，磨現瓊等人再次捐銀三千兩，前往宣化請團總張世顯率領實力強勁的「忠信團」練勇四百名，一同前往平偕。雙方相持日久，不分勝負。
磨現瓊認為，「清平團」所招募的外地練勇作戰磨洋工，拖延時日以賺取餉銀，效率低、費用高。他決定改招上思本地鄉民為勇，自行訓練，準備再戰平偕。
同年，在新寧州，「砥柱團」、「康良團」團總黃朝敬、吳廷佐、韋作裘等人請求知州程佐舉辦團練，並在新村（時屬隆化四都，今屬崇左市江州區馱盧鎮雷州社區）設團練總局。
吳凌雲認為，在新村設團練總局顯然有針對自己的意思，欲去之而後快。
十月，吳凌雲盟友黃十九（廣東人）占據大塘墟（位於州城南12里，大塘村附近，時屬新寧州如禾二圖，今屬新寧鎮），當地團練圍攻一日不下，反被黃十九乘夜攻入屯麥村（位於大塘村東二里，時屬新寧州如禾二圖，今屬新寧鎮），男女百餘人死於非命。
年底，在「砥柱團」、「康良團」、「熙良團」的聯合攻擊下，隴朴村終告不守。吳凌雲只得率部往北退走五十餘里，入據崇善縣飛地馱驢墟（隔左江與新村對峙，今崇左市江州區馱盧鎮）。團練撤走後，吳凌雲遣派族人吳三大、吳阿秋等回據老家渠盧村。
此時，毗鄰上思的太平府，江州（今廢，現崇左市江州鎮地）人曾五晚（又作「鄧五晚」）見太平府城團練勢弱，聯手劉阿積、黃士昭（欽州人）武裝，於三月進據府城，強以崇善縣團練自居。由於府屬各州縣團練接應遲緩，救援不及，代理知縣梁瑞堂只得應允（為團）羈縻之，以免府城遭到劫掠。
與此相類，龍州、崇善、江州、羅白（羅白縣，已廢，今江州區羅白鄉）各州縣墟市均有大小不等的武裝以團練的名義占據。
七月，正在上思東北部督率「清平團」進行剿匪的知州武衛，驚悉陸（高鴻）、黃（吒旗）率部自忠州潛回上思境內，他趕緊回城部署防堵。
初八日夜，陸、黃等人在內應李春茂的協助下，襲入上思城。驚恐中，武衛之妻、子皆自縊而死，他也抱著必死之心，衣冠端坐於大堂。哪知陸、黃二人只是想要一個上思的團練身份而已。武衛撫馭經驗不足，未能採取招撫、羈縻的策略使之退出州城。見自己的訴求沒有得到滿足，陸、黃等人遂駐紮於城內，並將武衛軟禁在州署內。
十月初九日，團總王愛仁、總役梁政趁人不備，竟然偷偷將武衛背出城外。由此可見，陸、黃等人與州城團練並無衝突。
左江道吳德征獲悉上思被陷，率兵前往上思，駐紮在「清平團」營地那托村（今那琴鄉新華村，距州城約五十里），統籌克復州城事宜。
面對兵、練壓境，陸、黃緊閉城門，不予出戰。磨現瓊苦無攻城器具，久攻不下。他決定另闢蹊徑，採取圍而不打的策略，下令「清平團」以「荊棘竹木，環栽城外，使匪不能潰圍而出。」僅用少量的練勇便將州城團團圍住，然後騰出一部分人手，前往他處剿匪。
本年（咸豐五年），在廣西其他地方，也發生了一些值得關注的事件：
廣東佛山人陳開、李文茂武裝在肇慶被清軍擊敗後，於四月退入廣西。隨即與占據潯江（西江廣西段）航道的老鄉梁培友、梁昌等武裝聯手，環攻潯州府城（今桂平市），清軍水師試圖前來救援未果。八月十六日，府城不守，知府劉體舒等一批大小官員被擒殺。不久，陳、李建「大成國」，「改潯州為秀州，桂平為秀水，李文茂自稱『平靖王』、陳開『鎮南王』、梁培友『平東王』、區潤『平西王』、梁昌『定北王』，署偽官，征賦稅。」
接著，李文茂率部沿鬱江（左江、右江、邕江為其上游）南下，在黃全義（又作「王全義」）、黃鼎鳳的配合下，輕鬆占據貴縣（今貴港市）。
「大成國」勢力範圍主要在潯江兩岸，而潯江又是兩廣貿易的主要通道。因此，依靠為往來的商船護航的豐厚利益，「大成國」不斷充實自己的實力，成為廣西地方急欲去掉的一塊心病。
正如「太平天國」吸引的是清軍主力的關注，「大成國」則吸引了廣西兵練主力的關注，由此導致桂西各地營兵數量不足，彈壓地方只能倚靠團練「自備餉項」、「自籌糧壯」進行。如此一來，桂西各種武裝組織得到了一個野蠻生長的契機。