永興元年（304年），劉淵遷都于左國城，并在左國城南郊筑壇祭告天地，即漢王位。

劉淵以劉氏后裔自居，祖述漢朝，下令說：“昔我太祖高皇帝以神武順應天意，廓開大業(yè)。太宗孝文皇帝以明德繼承帝業(yè)，升平漢道。世宗孝武皇帝拓土攘夷，國地超過唐堯之時。中宗孝宣皇帝招募賢良，多士盈朝。以是我祖宗道邁三王，功高五帝，故傳國年代倍于夏商，承襲世代超過姬氏。而元帝成帝多災多難，哀帝平帝在位日短，賊臣王莽，滔天篡逆。我世祖光武皇帝誕資圣武，恢復鴻基，繼漢室受天命，不失舊物，俾三光晦而復明，神器幽而復顯。顯宗孝明皇帝、肅宗孝章皇帝相繼重振祖業(yè)，炎光再闡。自和帝安帝之后，皇綱日漸頹敗，國運艱難，國統(tǒng)頻絕。黃巾海沸于九州，群閹毒流于四海，董卓乘機專權(quán)，曹操父子兇逆相繼。故孝愍帝委棄萬國，昭烈帝流亡岷蜀，期望否極泰來，旋軫舊京。何圖天未悔禍，后主窘迫受辱。自社稷淪喪，宗廟之不血食于茲四十年矣。今天誘其衷，悔禍皇漢，使司馬氏父子兄弟迭相殘滅。黎庶涂炭，靡所控告。孤今承蒙群公所推，繼承復興三祖之業(yè)。自知懦弱愚昧，是故誠惶誠恐。但以大恥未雪，社稷無主，自當嘗膽棲冰，勉從群議?！痹谶@篇檄文中，劉淵利用人心思漢的情結(jié)，以劉邦嫡系子孫自居，而絲毫沒提及自己真正的匈奴祖先。這說明他的眼光并不僅僅是中興匈奴，而是要爭取漢人，推翻司馬氏統(tǒng)治，進而統(tǒng)一中原。

為收買人心，劉淵在匈奴五部宣布大赦，并改元元熙。追尊安樂公劉禪為孝懷皇帝，以漢高祖、世祖、昭烈為三祖，太宗、世宗、中宗、顯宗、肅宗為五宗，作神主而祭之。立其妻呼延氏為王后。以左賢王劉宣為丞相，崔游為御史大夫，左于陸王宏為太尉，范隆為大鴻臚，朱紀為太常，上黨唯懿之、匈奴后部人陳元達皆為黃門郎，族子劉曜為建武將軍。

既然劉淵公開打出反晉旗號，據(jù)并州一隅之地建立政權(quán)，與西晉王朝分庭抗禮，故并州刺史司馬騰立即派將軍聶玄征討劉淵。兩軍戰(zhàn)于大陵（今山西交城東南），結(jié)果聶玄大敗。司馬騰聞訊大驚失色，慌忙帶領(lǐng)二萬余戶逃離并州。劉淵派遣建武將軍、族子劉曜攻下了太原（太原市南）、中都（山西榆次）、屯留（山西屯留南）、炫氏（山西高平）、長子（山西長子）等軍事要鎮(zhèn)，控制了晉東南地區(qū)。永興二年（305），司馬騰又派遣司馬瑜、周良、石鮮等率兵討淵，屯軍于離石汾城。劉淵命令武牙將軍劉欽等率六軍進攻司馬瑜，凡四戰(zhàn)，皆勝，司馬瑜等落荒而去。

在八王之亂中最后勝出的東海王司馬越為擴充勢力，任命劉琨為并州刺史，加振威將軍，領(lǐng)護匈奴中郎將，據(jù)太原古城抵御匈奴。

劉琨字越石，中山魏昌（今河北無極）人，西漢中山靖王劉勝的后裔。少年時即有“俊朗”之美譽，以雄豪著名。劉琨不同于司馬騰，具有一定的謀略。他曾經(jīng)助東海王司馬越消滅了司馬颙、司馬穎，在八王之亂中最后勝出。劉琨到任伊始，即以州治晉陽（山西太原西南）為據(jù)點，撫循勞徠，甚得人心。劉琨還派人離間劉淵與其統(tǒng)屬的其他少數(shù)族之間的關(guān)系，使得叛劉淵附晉的“雜虜”達萬分落。劉琨的活動，對劉淵構(gòu)成重大威脅。劉淵遂委任前將軍劉景為使持節(jié)、征討大都督、大將軍，攻擊劉琨于版橋，結(jié)果反為劉琨所敗。劉琨進一步鞏固了他在并州的政治、軍事地位。

面對劉琨的威脅，侍中劉殷、王育進諫劉淵說：“殿下自起兵以來，已近一年，而仍居偏方，王威未能振作。望能命眾將四出，擇機決戰(zhàn)，滅劉琨，定河東，建帝號，率軍南征，攻克長安以為都城，以關(guān)中之眾席卷洛陽。果能如此，成高皇帝（劉邦）的大業(yè)，易如反掌罷了?！眲Y大喜，說：“正合我意！”于是在永嘉二年（308）正月，他遣撫軍將軍劉聰?shù)仁畬⒛蠐?jù)太行，輔漢將軍石勒等十將東下趙瑰，將軍事活動擴大到西晉王朝的腹地——中原地區(qū)。

隨著劉淵影響的擴大，其他反晉勢力先后依附于其麾下。上郡四部鮮卑陸逐延、氏酋單征，以及叱咤風云于青徐充豫等州、給予西晉王朝以沉重打擊的東萊王彌，都稱臣于劉淵。劉淵均署其官爵，委以重任。

王彌與劉淵是舊相識，當王彌歸附時，劉淵特地派侍中、御史大夫呼延翼郊迎，致書王彌說：“因?qū)④娪胁皇乐?，超時之德，所以隆重迎接。渴望將軍之至，我將親自到將軍下榻的館舍，拂席塵，洗酒爵，敬待將軍。”后兩人會面，王彌勸劉淵稱帝，劉淵十分高興，說，“我原以為將軍不過是悍勇武將，今日方知將軍有勇有謀，堪稱孔明。我得將軍，如魚得水！”于是任命王彌為司隸校尉，加侍中，特進。后又進彌征東大將軍，封東萊公，負責東線戰(zhàn)事。

在劉淵的指揮下，漢國政權(quán)在對晉的戰(zhàn)爭中取得了很大的進展。永嘉二年三月，劉淵占領(lǐng)了汲郡（河南衛(wèi)輝），控制了頓丘、河內(nèi)陸區(qū)。七月，劉淵進據(jù)河東地區(qū)，攻克蒲坂（山西永濟西）、平陽（山西臨汾西南），并將漢國都城由離石南遷至蒲子（山西隰縣）。劉淵兵鋒所及的河東、平陽二郡的諸縣壘壁望風而降。在并州，劉淵亦控制了除州治晉陽以外的諸郡。九月，劉淵又遣王彌、石勒進攻鄴城（今河北臨漳縣），魏郡太守和郁棄城敗走。

為了進一步提高漢國政權(quán)的政治影響，加強自身的政治權(quán)力，永嘉二年十月，劉淵在蒲子即皇帝位，國號仍稱漢，改元永鳳。任命其子劉和為大將軍，劉聰為車騎大將軍，族子劉曜為龍驤大將軍。仿東漢制，設大司徒、大司馬、大司空為三公；又仿晉制，宗室以親疏為等，悉封郡縣王，異姓以勛謀為差，皆封郡縣公侯。不久，遷都平陽，改元河瑞。