第一次是孙悟空刚拜唐僧为师的时候，因为他杀了六个强盗，唐僧不满，责怪于他，悟空一气之下离开唐僧，前往东海龙宫。

后来被东海龙王劝回去，结果被唐僧戴上了紧箍咒。

第二次是三打白骨精，孙悟空打死了白骨精，唐僧却受猪八戒的撺掇，认为悟空害的是好人，将悟空逐走。

第三次是“真假美猴王”那一回，孙悟空打死了几个强盗，被唐僧逐走，后来六耳猕猴假扮悟空攻击唐僧，最后被如来佛祖识破。

悟空离开总共只有这三次，其中第一次没有回花果山，后面两次回了花果山。

所以他总共只回过两次花果山。

但是，我觉得三次都不能说是意志不坚定。