Написать параметрический декоратор cast(тип), который пытается преобразовать результат декорируемой функции к заданному типу. на питон

Во-первых, у вас функция cast ничего не возвращает. Строка return invocation находится внутри самой функции invocation, что очевидно не правильно.

Вероятно, у вас просто съехали отступы. Но наверняка сказать сложно, так как в вашем коде вы вообще делаете что-то непонятное.

Похоже, вам стоит ещё раз внимательно почитать, что такое декораторы, и как они работают. Потому что когда в вашем декораторе функция wrapper - это самая внутренняя функция, то складывается ощущение, что вы сами не понимаете, что хотите сделать. Так-то wrapper - это как раз обёртка, внутри неё должна быть какая-то ещё функция.