第一个女人是刘氏，她也是岳云和岳雷的生母。刘氏与岳飞大约于徽宗政和八年结合，这是根据岳云的出生年月（宣和元年六月）推算出来的。可惜此女不能守节忍受艰苦，先后两次改嫁。
《会编》卷二百七是这样描述的：岳飞执掌兵权之日，遣使王忠臣前往楚州韩世忠处送信，王忠臣得到回信准备返回。这时，韩世忠嘱咐王忠臣回去告诉岳飞，他的结发妻子嫁给自己手下的一个押队，叫他快点来接结发妻子回家。岳飞听到王忠臣的密报后，不作回答。结果被韩世忠这个大嘴捅到了皇上那里，岳飞迫不得已上奏说：“当初渡河的时候，把妻子留在家中侍奉老母，没料想这厮竟然改嫁两次，我真是切骨恨之呀。已经派人给她送了五百贯（两三贯已够一个三口之家生活一个月），来帮助她家用，恐怕天下不知道这件事情的原委，（以免有抛弃妻子的谤言流传）。”
第二个女人只是一段风流韵事的传奇，事见《金佗稡编》卷9《遗事》。
岳飞家里向来没有姬妾侍奉，有一天黄纵（岳飞的机要秘书）出门干公务，听说岳飞纳士族之女为妾的传闻。黄纵回来以后赶紧询问岳飞，岳飞说：是有这么回事，四川的吴玠（另一中兴名将）派人来我这里议论军事上的事情。我请他吃饭，他诧异于饭桌上的冷落（也就是没有歌伎之类助兴了，宋时豪门宴会，酒菜并不放桌上，而是一伎捧着一个盘子，轮流上来敬客。），回去就告诉了吴宣抚。
于是吴玠以为是岳飞眼光太高，就破费两千缗（贯）买了一个士族女子送给岳飞。岳飞也绝，他知道这事情后，没有见这位名姝，只是让她立在屏风后面，告诉她：我们家上上下下皆穿麻衣，吃的也只是咸菜粗粮，您要是能和我同甘共苦就留下吧，如若不然，还是请回吧。那个女子吃吃的笑了，岳飞就把她打发回去了。
岳飞的第三个女人便是与他“执子之手，与子携老”的李娃。
据王曾瑜先生考证：李娃在建炎四年居宜兴，生岳霖，则应在建炎二三年间嫁岳飞。她比岳飞年长两岁，嫁时已有二十八九岁。李娃是个非凡的女人，岳飞不在军中，李娃听说岳飞的某个部下打算谋叛，一声不吭。直到布置妥当才齐集诸将，当众宣布了调查结果，将毫无防范的叛将捉住斩首。
不过，岳飞对李娃严加限制，只许她“抚其妻、子，以恩结之，得其欢心”了。从绍兴十一年到绍兴三十一年，二十一年间李娃率领岳飞的子女在岭南苦度日月。他们遭受的是对流放人最为严厉的编管刑，严格限制人身自由，需要每月到监管人处呈身。在这样的境遇中，李娃都能够“居患难不改幽闲之操”，令世人敬仰佩服。
