柳宗元的婚姻也很不幸。
他的婚配是双方家父戏订的娃娃亲。当时两家是同僚相好，柳宗元的父亲柳镇和柳宗元后来的岳父杨凭同在鄂岳沔都团练使李兼那共事，李兼是柳宗元妻子杨氏的外祖父。建中四年(公元784年)，柳镇为鄂岳沔都团练使判官，柳宗元这时随父在夏口。杨凭很喜欢少有文才的柳宗元，要把九岁的女儿许配给十三岁的柳宗元，后来始终也没反悔。杨女三岁丧母，自小温顺，没有大户人家“骄盈之色。”柳镇贞元九年死，柳宗元守父丧。贞元十一年，杨女嫁入柳家，她敬侍柳宗元母亲，柳家人都很喜欢她。柳宗元母亲曾说：“自吾得新妇，增一孝女。”两家又是世代交好的“通家”，柳母爱之如己子。柳宗元俩个姐姐也把她当亲姊妹看待。不幸杨氏有足疾，行走不便。结婚没三年，怀孕难产，晕倒病重，二十三岁就死了。
柳宗元与杨氏的感情非常好，终生为丧妻失子而难以释怀。对妻子的死，他哀痛不亦，发愿要“之死同穴”。这种丧妻之情情一直伴随柳宗元一生。唐代婚姻有着严格的等级制度。男人不但娶妻，还可以纳妾。唐代有个叫崔颖的，娶妻择有貌者，稍不如意就不要了，他前后反复多次，这在当时是很平常的事。柳宗元感情生活比较严肃，自杨氏死至永贞年，六年间柳宗元没有续娶，后来遭贬到死也没再正式婚配。
柳宗元岳父杨凭，兄弟三人，善文辞，皆有名。大历中，三兄弟中进士，时号三杨。杨凭历任显官，做过湖南江西观察使，刑部侍郎，京兆尹。元和四年为御史中丞李夷简弹劾，贬为临贺尉。后历中书舍人，礼部尚书。柳宗元终生与杨家保持亲密的交往，其间与杨家三兄弟及后人，频有书信，赠诗。让人看了感动。
柳宗元在永州时，有一女儿随行。名称和娘，生于长安善和里。这可能是柳宗元在京城与人同居时所生。因其母身分低微，又非婚配，和娘一直没与柳宗元相认。直到柳宗遭贬才随到永州。不幸的是和娘来永州四年，于元和五年四月三日就病死了，年仅十岁。
孑然一身的柳宗元，是处荒蛮之中的罪人，不可能求门当户对的婚配，为续子嗣只能寻老农女生男育女。他在《马室女雷五葬志》说：“马室女雷五，家贫，岁不易衣(终年没衣服替换)。……以其姨母为妓于余也。”柳宗元永州后期及柳州时的子女可能为马室女雷五姨母所生。北宋张端义《贵耳集》说：“唐人尚文好狎(好色)。”唐室王朝开创了经济文化盛世，也风行蓄妓纳妾的盛行。《新唐书·宦者列传》载，开元天宝中，玄宗有宫女四万多人。上行下效，州府郡县均设官妓，兵营有营妓，达官贵人有家妓。其蓄妓数百者，史载不胜枚举。官场宴饮娱乐，迎来送往，以妓侍之。而民间则有市妓。据文献记载，唐代金榜题名的士子有召妓侍宴的习惯。以妓为妾是一些文人士者的时尚。刘禹锡晚年与白居易交好，诗文留有有他们召妓酬应的记述。《刘禹锡集》有诗《怀妓四首》。而柳宗元身处困境，为求子嗣，择取贫穷为妓的马室女雷五姨母，实为无奈之举，其内心的苦痛是可以想见的。柳宗元道德人品与那些蓄妓纳妾的达官贵人是不能同日而语的。
