由于反对前任哈里发奥斯曼的运动余波尚存，一个统一的伊斯兰教因奥斯曼之死而分裂，穆斯林开始拉帮结派，占山为王。

阿里仅得到了部分阿拉伯半岛上与伊拉克及波斯等地穆斯林的支持，当时的阿拉伯帝国早已扩张出半岛，沙姆(今叙利亚、黎巴嫩、巴勒斯坦与约旦)地区与埃及的穆斯林对阿里的支持度较低。

第三位正统哈里发奥斯曼去世时的阿拉伯帝国，已陷入了实质的分裂，内战山雨欲来。

反阿里运动

其中反对阿里势力最盛者为奥斯曼的堂侄——叙利亚总督穆阿维叶，他出生于倭马亚家族，是此时的逊尼派势力领袖。他拥兵自重，反对阿里担任哈里发的态度尤为激烈，不认可阿里的统治。

另外先前率军征服埃及的阿穆尔·本·阿绥担任此时的阿拉伯帝国埃及总督，他同样依靠埃及的富庶，割据一方，且支持穆阿维叶的反阿里运动。

658年的阿拉伯帝国已分裂成三块，阿里、穆阿维叶与阿穆尔各据一方，阿里的实力还是很强的

穆阿维叶公开展示堂叔奥斯曼和其妻子的血衣，暗示奥斯曼实为阿里所害。双方矛盾尖锐，终于在657年爆发了绥芬之战。

在这场战役中，穆阿威亚的军队几乎就快要被阿里的军队击败时，埃及总督阿穆尔急中生智，命令士兵把许多本《古兰经》挑在枪尖上或挂在马颈上，要求阿里接受真主的裁决，通过民主协商的伊斯兰原则共同推选哈里发。

由于许多阿里的部下(以阿塞拜疆总督为首)对《古兰经》仲裁相当崇拜，认为这才是正道，他们不听阿里的解释，强烈要求停战，接受仲裁。阿里无奈地接受了这一要求，而裁决结果是“双方均放弃哈里发职位”。阿穆尔的妙计使得穆阿维叶逃脱了行将覆灭的下场，阿里功败垂成。

哈瓦利吉派分裂出来

阿里军队中的主战派对此十分不满，便分裂出走以示抗议，这些人遂成为了伊斯兰教史上的第三个教派——哈瓦利吉派(阿拉伯语，意为出走者)。

他们起兵反抗阿里的统治，但在拿赫鲁宛大战中被阿里击败。战后哈瓦利吉派进一步认为不仅阿里是阿拉伯帝国动荡不安的根源，穆阿维叶与阿穆尔也是，遂决定化整为零，从正面战场转入敌后战场，派出大量刺客伺机行刺。

受命刺杀穆阿维叶与阿穆尔的刺客未能得手，而刺杀阿里的刺客在661年1月24日将在库法清真寺做晨礼的阿里刺成重伤，两天后阿里去世，葬于库法附近的纳杰夫，此地便成了什叶派的圣地。

穆阿维叶
 

逊尼派重新夺回位置

没有了对手的穆阿维叶迅速平定了帝国内的反对势力，登上了阿拉伯帝国哈里发的宝座，并将哈里发的推举制度改为世袭制，建立了倭马亚王朝(又译伍麦叶王朝)，并强力镇压了哈瓦利吉派，使得哈瓦利吉派分裂成多个小教派，其中以伊巴德派最为著名，今日的阿曼苏丹国90%的人口均是伊巴德派穆斯林。

阿里儿子侯赛因之死