Проблема с кэшированием медиа из-за поддоменов | Service Worker

Обнаружил проблему с кэшем, но пока не могу понять, как её поправить. У меня есть 2 источника медия (папка /public, и отдельный поддомен files.site.com). Когда в событии 'fetch' я делаю fetch(e.request), то в ответ мне выдает:

[public] -> Response {type: 'basic', url: ...}
[files.site.com] -> Response {type: 'opaque', url: '', ...}

И получается так, что первый вариант у меня закэшировать получается, а вот второй выдает response.ok === false. Есть ли какой-то способ закэшировать такие медиа?