嘉莉费雪有一对巨星父母──父亲是50年代赫赫有名的乐坛巨星艾迪费雪、母亲则是好莱坞一线女星黛比雷诺。
1958年，艾迪的好友迈可陶德飞机失事丧生，陶德的遗孀「玉婆」伊丽莎白泰勒也是两夫妻至交，黛比好心要艾迪安慰玉婆，最后竟演变成婚外情的丑闻，嘉莉还不满2岁，艾迪便拋家弃女，与玉婆结婚。嘉莉后来曾在她的自传《但愿长醉》中提及艾迪不伦，「用他的手帕擦乾她的泪水、用花討她欢心，最后用性器安慰她」。
嘉莉从小跟母亲黛比生活，黛比后来再嫁给一名製鞋公司富商，没想到她的继父瞒著她母亲买春，还债台高筑、花光她母亲的积蓄，让母亲大受打击、开始酗酒。嘉莉受访时回忆道：「我13岁时母亲告诉我这些事情，我的青春期已经很不好过，还与她的中年危机纠缠一起，所以我们老是对彼此大吼大叫。」她也在当时抽起大麻。
黛比的財產被不肖第2任前夫败光后，不得已带著嘉莉与嘉莉的弟弟陶德，接下並不光采的酒店歌舞秀演出工作。
嘉莉17岁从高中輟学进入演艺圈，1976年19岁时接拍《星际大战》，当时她已有迷幻药与其他药物成癮的问题。嘉莉曾表示与母亲不睦持续了很长一段时间，但后来长大成人懂事后，她將母亲视为一名坚毅的生存者，母女后来还就近住相邻房子当邻居、共用车道。她甚至居中扮和事佬，帮助母亲与玉婆和好，化解多年恩怨。
她与父亲的关係同样爱恨交织，她说年轻时很崇拜自己的父亲，但她不满父亲1999年在自传里对母亲有不实且恶意的指控，气得从此与父亲疏离，直到2008年父女关係才又好转。她与父亲艾迪都被毒癮所戕害，她曾说吸毒对她而言是一种自我治疗，能够舒缓她的躁鬱症症状，「毒品让我感觉正常」。
她拍摄《星际大战5部曲：帝国大反击》时，吸食的是一级毒品古柯硷，「我渐渐察觉到自己吸的毒好像比別人多，后来已身不由己」。1985年她混合处方药与安眠药吸食过量送医，后来这些经歷都被她写进半自传小说《来自边缘的明信片》里。
