山本五十六是新舄县长冈市武士高野家的第六个儿子。因为这一年高野贞吉56岁，所以给儿子取名为“高野五十六”。他自幼受到了武士道和军事的熏陶，具有坚强的意志和争强好胜的进取精神。当五十六10岁时，其父用武士刀划伤他的双腿12次，代表他正式元服。
1901年17岁那年他以第二名的成绩考入江田岛海军学校32期，1904年以第7名毕业后任“日进”号装甲巡洋舰上的少尉见习枪炮官，参加了1904年-1905年日俄战争，在日、俄海军对马海战中，他负了重伤，左手的食指、中指被炸飞，留下了终身残疾。由于他只剩下了八个手指，同僚们给他起了个“八毛钱”的绰号（因为当时艺妓修剪指甲按照手指头收费 ，每个一毛，正常人正好一元，山本偏偏少了两个，这个外号据说是当时艺妓中最先叫开的，因为山本经常出入烟花之地，后来传到了海军那边，成了一时的笑谈）。
1908年，进入海军炮术学校学习，1914年，以上尉军衔进入海军大学深造，1915年晋升为少佐。1916年，他从江田岛海军兵学校毕业后，经牧野忠笃子爵介绍，过继到旧长冈藩家老山本家，成为山本带刀的义子，由“高野五十六”改名为“山本五十六”。同年，山本五十六毕业于日本海军大学校（第14期）。他是一个孝子，当军官后还常常回乡为高野、山本两家的祖坟扫墓，大部分薪水都寄给了母亲，接济哥哥、姐姐，有时还为亲戚和老师的子弟缴纳学费。据说这是他迟迟不成家的一个重要原因。
1918年8月，山本和故乡一位挤牛奶姑娘礼子在东京举行了婚礼。婚后他们生有两男两女。1919年4月，山本奉命到美国哈佛大学学习，同年12月在美国波士顿被晋升为海军中佐。首次赴美给山本带来的冲击很大，美国的女孩子都能受到大学教育而且能够工作自立，使得除了欢乐街的女子之外几乎不知道还有其他女性的山本少佐目瞪口呆，美国的砂糖居然不要配给更是教会了山本少佐什么是“国力的差异”，后来底特律的汽车工厂和德克萨斯的油田才真正告诉了山本少佐美国的真正力量。1921年5月回国后，任海军大学教官。1923年欧洲出差，同年12月晋升大佐（大校）。
1924年12月，山本就任日本海军霞浦航空队教官兼副长，重视不在华盛顿海军条约裁减范围之内的海军航空兵建设，并将自己的专业从炮术转为航空兵。山本刚调到霞浦航空队任副队长时，这里的飞行员军容不整，军纪松弛。他决心加以整顿。可这些散漫惯了的飞行员起初根本看不起这位其貌不扬的外行长官。年已40的山本，除严格要求部属履行自己的职责外，每天主动接受几小时的飞行训练。没过多久，他的飞行技术超过了不少青年学员，达到了单飞教练机的水平。他以自己的意志和才干，在飞行员中建立了威信。在山本的组织指挥下，霞浦航空队的训练和军纪焕然一新。山本调任赴美时，队员们十分惋惜。当山本乘坐的“天洋丸号”起航时，一个中队的飞机出现在该船上空，飞行员们驾机俯冲掠过，向他们尊敬的上司道别。
1925年，山本出任日本驻美国大使馆海军武官，1928年，山本从美国归国，先后在“五十铃”号巡洋舰、赤城号航空母舰上担任舰长。1929年山本晋升为少将，并出任海军航空部技术处长、第一航空队司令官等职。1929年、1934年两次赴伦敦参加限制海军军备会议。他当时也是个不折不扣的舰队派，反对对美妥协。第二次伦敦会议时大藏省派出来的代表就是后来的大藏大臣，甲级战犯贺屋兴宣，贺屋从财政负担的角度出发主张应该接受英美方案，山本五十六恶狠狠地对贺屋说“闭嘴，不闭嘴当心我揍你”。但让山本感到屈辱的是：让贺屋闭嘴以后日本人在英美面前也必须闭嘴。为了解决这个问题，山本提出的方法是航空作战。
1930年第二次伦敦海军军备会议时，山本五十六对军令部次长末次信正提出的建议是：“被迫接受劣势比例的帝国海军在同优势的美国海军作战一开始就只能以空袭的方式给与敌人一记痛击。”，在给部下的信中说：“和英美开战的日子不会太远，在开战之前如何做到航空上的跃进是最紧要的要务”。为此他积极推行和德国的技术合作，还面会了里宾特洛甫和德国海军司令埃里希·雷德尔。在山本五十六的直接参与下，亨克尔公司向日本转让了He70的俯冲轰炸机技术，后来的奇袭珍珠港作战时发挥了重大作用的九九式舰上爆击机就是根据这项技术开发的。还有零式战斗机也是从山本五十六开始主持的和德国在军用航空事业上合作最成功的一个范例。首先没有德国提供的铝合金技术，就不可能有零战的成功，作为交换，山本也将他的旗舰赤城号航空母舰的技术全面向德国公开，德国以此技术建造了齐柏林伯爵号航空母舰。1933年调任第一航空舰队司令长官。
1934年9月7日，山本五十六以少将军衔（11月15日升为中将）作为伦敦海军裁军预备会议的日方全权代表到伦敦去参加裁军预备会议。12月29日，日本政府宣布废除华盛顿海军条约以及伦敦海军条约，随后会议不欢而散。1935年12月，就任航空本部部长，大力发展日本海军航空兵。36年12月就任永野修身海军大臣的次官，并在米内光政继任海相时留任。1937年8月13日至11月12日的淞沪会战期间，山本五十六派出两艘航空母舰上的舰载机轰炸了上海，炸死了许多中国人。此外，还轰炸过广德、杭州等城市。轰炸珍珠港的精湛技术就是这样用中华的鲜血和生命财产训练出来的。8月26日英国大使克纳茨伯尔—休盖森先生在江苏太仓附近遭到日本飞机扫射而受伤事件，负责调查的海军军务局就坚持是中国飞机涂了太阳标志去攻击悬挂米字旗的英国大使车队。在军务局派去调查的是对美最强硬派的高田利种中佐也不得不承认是日本海军飞机所为之后，海军次官山本五十六还在坚持：“如果英法在苏伊士地区打仗，日本大使的车队经过受到射击，英法会不会赔偿？弄不好还要问你一个‘妨碍战斗’的罪名呢”。
1939年，为和德国结盟的事情，陆海军分裂，陆续有少壮派日本陆军军官开始公开苛责少数亲美或反对三国轴心的高级军官为“损害日本的应得利益”，受指责者包括海相米内光政、海军次官山本五十六和海军军务局长井上成美少将。
这使得山本哭笑不得。山本为此写下遗书：“一死君国に报ずるは素より武人の本懐のみ、岂（あに）戦场と铳后とを问わんや 勇戦奋闘、戦场の华と散らんは易し 谁か至诚一贯俗论を排し毙れて已（や）むの难きを知らむ （中略） 此（この）身灭ぼす可し、此志夺ふ可からず 昭和十四年五月三十一日 于海军次官官舎” 山本五十六
1939年9月1日，在德国入侵波兰的当天，山本被米内光政任命为海军联合舰队兼第一舰队司令官。这是米内光政内阁下台前最后的举措之一，使山本能在海军舰艇上办公，米内很确定如果山本留在岸上，则一定会在1939年内被不明真相的百姓当国贼刺杀。从这时起，他基本上可以放手按他的观点，训练重点放在以航空母舰为基地的航空兵方面。在1940年3月的一次春季演习中，由小泽治三郎少将率领的大小2艘航母舰队以集中使用飞机密集突击的方式一举摧毁了山本指挥的2艘战列舰和1艘重型航母组成的舰队。山本五十六看到结果后对身边的参谋长福留繁少将说：“能不能用飞机去炸夏威夷？”从这时候起，山本就着手设想珍珠港之战了。1940年7月，日本与德、意签订了轴心国条约。11月5日，山本被授予海军大将军衔。
1940年11月，英国地中海舰队司令安德鲁·布朗·坎宁安用航母突袭塔兰托，一举击沉3艘意大利战列舰，改变了地中海战局，塔兰托战役的成功震撼了整个世界海军。人们第一次知道原来海上霸王的战列舰居然可能被从一架小飞机上扔下来的一枚鱼雷葬入海底，并且从空中投放的鱼雷一直是被认为至少需要100英尺（大约30米）的深度，可是皇家海军在水深只有40英尺（12米）的塔兰托港内使用改良后的低空鱼雷照样取得了辉煌的战果。
1941年1月，山本又进一步彻底地改进了日本海军的战略思路。在此前20年间日本海军一直是马汉海权理论的信徒，据此制定了一个渐减邀击作战：以轻型水面舰艇，潜艇以及岸基航空兵在美国海军舰队横跨太平洋过程中不断将其削弱，最后由日本海军主力在北菲律宾海（约在马里亚纳群岛与琉球群岛之间）的一次“决战”中，以战列舰对战列舰的传统战列炮击战法将美国海军全数消灭。山本敏锐地指出这种计划即使是在日本自己的兵棋推演中也重未成功过，并指出美国真正的战略优势在于国内生产能力的强大。山本建议与其冀望于先削弱再决战的防御性计划，倒不如主动进攻。山本期待，如果能在战争的初期便重创美军，也许就能促使后者坐到谈判桌边早早求和。日军期待这次打击能给他们赢得至少六个月的战略优势，在没有美国海军阻挠的情况下进攻荷属东印度的资源产地。
