张先生所在的居民区内有一家国内旅行社,张先生全家准备在黄金周期间前往国外旅游。在黄金周来临之前,张先生到该国内旅行社咨询如何办理出国旅游手续。该旅行社的营业部接待人员向张先生介绍,他们可以直接在该社报名,并可为张先生办理出国旅游各种手续。第三天,张先生再次来到该旅行社门市部,要求接待人员为他办理出国旅游手续。接待人员收取了张先生的旅游团款,并以该国内旅行社的名义与张先生签订了书面的旅游合同。签订书面旅游合同的第九天,张先生偶然从当地的报纸上看到旅游管理部门的一则公告,刊登了当地能够经营出境游资格的旅行社名单,但未见到该国内旅行社。张先生来到旅行社,要求旅行社全额退还旅游团款;旅行社一再做张先生的思想工作,消除张先生的顾虑,在张先生一再坚持下,旅行社同意张先生的退团要求,但要求张先生按照合同约定,支付全额旅游团款20%的违约金。请问: (1)旅行社是否应当全额退还旅游者旅游团款?或者说旅行社要张先生支付违约金的要求是否合理?为什么? (2)旅游管理部门应当如何处罚旅行社?