1883年农历九月初八，阎锡山出生于山西五台河县河边村一个以经商为主的小地主家庭。阎锡山祖父阎青云经商有道，积累了家底，其父阎书堂更是14岁便辍学经商，开了家“吉庆昌”商号，自己做掌柜。阎锡山的母亲曲月清在生他之前，梦见自己游览五台山的大孚灵鹫寺，还从寺中抱出了一个男孩，之后不久便生了阎锡山。因这段典故，阎锡山很得祖父阎青云的喜爱，认为这是个贵子，因而为阎锡山取乳名“万喜”，阎锡山本人也因此多次去大孚灵鹫寺上香。

阎锡山5岁时，母亲曲月清身染重病，不久去世。其父阎书堂不久便续弦，但女方答应续弦的前提条件是“不养前家子”，所以阎锡山被送到外祖母家生活。因寄人篱下，阎锡山自小性格就沉默寡言，躁静不定，顽皮难驯。

阎锡山6岁的时候被外公送入了小堡公立私塾，进行启蒙教育，启蒙老师叫曲温，先后教阎锡山学习了《三字经》、《百家姓》等启蒙读物。曲老师对他十分赏识，说：“此子异于常童”，“先一日所教者，翌晨多能背诵”。祖父阎青云因此对阎锡山寄予厚望，决定亲自抚育。

3年之后，阎锡山被祖父接回，进入阎青山自己设立的大堡义塾，师从当地名师曲本明，学完了四书五经等旧学。曲先生教学极严，阎锡山因性格顽劣，经常挨打，同窗因此还编了一首顺口溜给他：“万喜子，挨板子，双手肿成毡片子，头发扭成一卷子，鼻涕掉了两管子，裤裆滴出尿点子，草包从此露馅子。”

5年之后，14岁的阎锡山便辍学回家，随父亲到自家开设的钱铺学习经商，参与放债收息及金融投机，学到了许多经济学的知识。由于继母一直无出，家中希望阎锡山尽早成家，便在这一年张罗着为阎锡山娶了徐竹青为妻。14岁的阎锡山在懵懂中成为了一家之主。

1900年，阎书堂的钱铺倒闭，阎锡山随父躲债，流落太原。为了生计，他四处打工，给客栈当店员。

1902年，阎锡山参加了山西武备学堂的招生考试，并被录取。在接受了初步军事教育后，他被官费保送到日本留学，进入日本士官学校学习。在资产阶级民主革命思潮的影响下，阎锡山于1905年10月加入同盟会，会见孙中山，并参与制订了同盟会“南响北应”的战略决策。

不久，阎锡山又遵照孙中山的指示，联合同盟会中学习军事的李烈钧、程潜等28人成立铁血丈夫团。辛亥革命时，这群人是各省起义的主要军事领导者。

1909年，26岁的阎锡山从日本士官学校毕业回国，任山西陆军小学堂教官、监督。当年11月，他奉召赴京参加陆军部举办的留日归国士官生会试，考列上等（分优上中三等），成为陆军步兵科举人并被授予协军校（相当于少尉）的军衔。阎锡山在几个月之内即升任山西新军第四十三协第八十六标教练官与标统（相当于上校团长）。自此之后，阎锡山一面致力于训练新军，培植干部；一面成立“俱乐部”，结交革命党人，宣传革命。

辛亥革命爆发后，在太原的同盟会员密谋响应。1911年10月28日，阎锡山等同盟会员率军起义，起义军攻入城内，杀死山西巡抚陆钟琦，成立军政府，公推阎锡山为都督。后来孙中山视察太原时曾说：“去岁武昌起义，不半载竟告成功，此实山西之力，阎锡山君百川之功……倘非山西起义，断绝南北交通，天下事未可知也。”

自此，阎锡山正式在政治舞台上崭露头角。