Скругленные углы в пользовательском UICollectionViewCell не работают в Swift

Я предполагаю, что вы используете IBOutlet. Создайте класс что-то вроде этого, добавьте кнопку в свою ячейку в раскадровке, отредактируйте там, как хотите, это проще. Ваш код не очень хорош, просто удалите размер, frame.height/2 - это то, что вам нужно, если вы идете по этому пути.

@IBDesignable
class RoundedBtn: UIButton {

@IBInspectable var cornerRadius: Double {
    get {
        return Double(self.layer.cornerRadius)
    }set {
        self.layer.cornerRadius = CGFloat(newValue)
    }
}

@IBInspectable var borderWidth: Double {
    get {
        return Double(self.layer.borderWidth)
    }
    set {
        self.layer.borderWidth = CGFloat(newValue)
    }
}

@IBInspectable var borderColor: UIColor? {
    get {
        return UIColor(cgColor: self.layer.borderColor!)
    }
    set {
        self.layer.borderColor = newValue?.cgColor
    }
}

@IBInspectable var shadowColor: UIColor? {
    get {
        return UIColor(cgColor: self.layer.shadowColor!)
    }
    set {
        self.layer.shadowColor = newValue?.cgColor
    }
}

@IBInspectable var shadowOffSet: CGSize {
    get {
        return self.layer.shadowOffset
    }
    set {
        self.layer.shadowOffset = newValue
    }
}

@IBInspectable var shadowRadius: Double {
    get {
        return Double(self.layer.shadowRadius)
    }set {
        self.layer.shadowRadius = CGFloat(newValue)
    }
}

@IBInspectable var shadowOpacity: Float {
    get {
        return self.layer.shadowOpacity
    }
    set {
        self.layer.shadowOpacity = newValue
    }
}

required init?(coder aDecoder: NSCoder) {
    super.init(coder: aDecoder)
    commonInit()
}

override init(frame: CGRect) {
    super.init(frame: frame)
    commonInit()
}

func commonInit() {
    self.titleLabel?.numberOfLines = 0
    self.titleLabel?.textAlignment = .center
    self.setContentHuggingPriority(UILayoutPriority.defaultLow + 1, for: .vertical)
    self.setContentHuggingPriority(UILayoutPriority.defaultLow + 1, for: .horizontal)
}

override var intrinsicContentSize: CGSize {
    let size = self.titleLabel!.intrinsicContentSize
    return CGSize(width: size.width + contentEdgeInsets.left + contentEdgeInsets.right, height: size.height + contentEdgeInsets.top + contentEdgeInsets.bottom)
}

override func layoutSubviews() {
    super.layoutSubviews()
    titleLabel?.preferredMaxLayoutWidth = self.titleLabel!.frame.size.width
}

}

Проблема заключалась в том, что я скруглял углы в awakeFromNib(), вместо этого вы ДОЛЖНЫ делать это в layoutSubviews(), и это прекрасно работает.