广州某旅行社组织了一个“桂林山水一日游”旅游团，全团一行25人，每人600元。按照合同约定，该旅游团往返乘坐豪华空调旅游车，住宿标准是“标准双人间，独立卫生间”，餐饮标准是“八菜一汤”，不含酒水，在桂林游览5个景点。该团游览完景点，导游员介绍了下榻的二星级饭店。旅游团于傍晚入住了约定标准的房间，有几位客人进认为该饭店不符合二星级标准，理由是无中央空调、无热水供应，且地毯IH等，拒绝人住，并与导游员发生争执，决定解除此次旅游合同，几位客人当夜自行返回广州，并向旅游行政管理部门投诉，要求退还全部旅行费用，并赔偿经济损失。经旅游行政管理部门调查核实，该团安排下榻的饭店确属于二星级饭店。 问题：旅游者能单方自行解除合同吗？为什么？