如果合同中明确约定了打样不合格的处理方式，包括是否退还打样费等条款，那么就按照合同约定执行。例如合同约定“若样品不符合双方约定的质量标准，饰品厂应退还全部打样费”，那么在打样不合格的情况下，饰品厂就需要退费。

如果打样不合格是由于饰品厂的过错，如未按照客户提供的设计要求、材质标准等进行制作，或者存在工艺瑕疵等，一般来说饰品厂应该退还打样费，或者至少与客户协商部分退还。但如果不合格是因为客户自身原因，如提供的设计要求不明确、后期随意更改要求等导致的，饰品厂通常可以不退还打样费。

如果遇到饰品厂打样不合格且拒绝退还打样费的情况，客户可以先与饰品厂进行沟通协商，若协商不成，可以考虑通过法律途径解决。