伊萨克用教会财产偿付他个人对十字军的欠款，这行为触动了城里居民的民族情感与宗教情感，在君士坦丁堡的希腊人对拉丁人的旧恨新仇像火药一样被点燃了，他们纷纷袭击拉丁人区域，造成大量冲突和流血事件。其中一次严重的冲突竟导致东城区失人，大火燃烧了两天两夜，火场宽达2000多米。这是自公元5世纪以来，君士坦丁堡所遭受的最大一次火灾，大量民房和公共建筑、古典艺术遗产都被焚为灰烬。拉丁侨民不敢再留在君土坦丁

堡，他们逃出城去，投奔十字军营房。全城陷入一片混乱。

　　希腊居民最终是将愤怒集中到伊萨克父子身上。他们认为，所有的灾难都是这个倒霉的瞎子皇帝和他的儿子造成的。

　　1204年2月，愤怒的群众集中起来，把僧侣和贵族们从家里驱赶到圣索菲亚大教堂中，他们宣布废黜伊萨克父子，另立阿列克修斯三世的女婿阿列克修斯·杜卡斯为新皇帝。

　　然后，暴动的群众冲进皇宫，把伊萨克父子俩都赶出了宫殿，小皇帝被处以绞刑。老皇帝再次被投入囚牢，最后死在牢里。

　　驻扎城外的十字军将领们得知伊萨克父子完蛋了，这也就意味着应该付给他们的另一半“辛苦费”整个泡汤，拜占廷的新政府是不可能为出卖民族利益的伊萨克父子还债的，他们的懊丧和愤怒可想而知。于是，他们立刻大举进攻，像洪水一样冲进君士坦丁堡城，展开一场血腥大屠杀，并大肆劫掠，以补偿他们的“损失”。

　　之后，占领者建立了由拉丁人统治的“拉丁帝国”，这是7个世纪以来，君士坦丁堡第一次由外族人统治。

　　虽然拉丁帝国的寿命也只有57年，希腊人于1261年实现“光复”，但古老的拜占廷帝国却已经很难恢复元气了，这场兄弟争夺王位的恶斗，是帝国走向衰落的重要转折点。