Как быстро распарсить много json файлов на python?

Давайте начнем с уточнения задачи. Если я правильно понял, то Вам нужно выбрать все компании зарегистрированные не в Хабаровске и имеющие дополнительные ОКВЭД начинающиеся на 96 (при этом сами ОКВЭД не нужны)

Если ошибся в формулировке задачи, поправьте, что-то придумаем

Самая главная, на мой взгляд, ошибка заключается в том, что Вы для каждого найденного ДопОКВЭД начинающегося с 96 пытаетесь создать запись, проверяя не создавалась ли она ранее.

Предлагаю несколько изменить такой порядок:

pip install pydantic --upgrade

import json
from pydantic import BaseModel, TypeAdapter
# В этом примере используется pydantic >= 2.0
# Для более ранних версий код будет слегка отличаться


# В данном случае я искусственно увеличил размер набора данных, чтобы воспроизвести Вашу ситуацию. 

with open(r'C:\Users\karpo\Downloads\00001.json', encoding='utf-8') as f:
    data = json.load(f) * 8000

# Тем не менее я предлагаю Вам прежде чем пытаться записывать 
# данные в БД собрать данные в одну переменную и подготовить данные для записи.

class Firm(BaseModel):
    inn: str = ''
    kpp: str = ''
    name: str = ''
    address: str = ''

    # Добавление этих методов даст возможность создать множество
    # (объект типа set) подобных объектов
    def __hash__(self):
        return hash(self.inn)
        # В данном случае объекты будут считаться идентичными если их ИНН равны

    def __eq__(self, other):
        return self.__hash__() == other.__hash__()

# Создадим функцию которая будет возвращать нам генератор только нужных нам элементов
def get_useful(firm_list: list[dict]):
    for firm in firm_list:
        address = ''

        try:
            if 'Хабаровск' in (address := firm['data']['СвРегОрг']['АдрРО']):
                continue
        except KeyError:
            pass

        for item in firm['data'].get('СвОКВЭД', dict()).get('СвОКВЭДДоп', []):
            if isinstance(item, dict) and item['КодОКВЭД'].startswith('96'):
                
                yield Firm.model_validate(
                    firm | {
                        'address': address
                    }
                )
                break

# Далее создадим множество подходящих записей и преобразуем его в кортеж данных для записи в БД

data_to_db = TypeAdapter(tuple[Firm]).dump_python(tuple(set(get_useful(data)))) 

---

-- так как структуру БД вы не предоставили, пришлось пофантазировать

create table okved_test (
    inn varchar primary key ,
    kpp varchar,
    name text,
    address text
);

---

import psycopg2 as pg
from psycopg2.extras import execute_values

with pg.connect('<connection string>') as conn, conn.cursor() as cur:
    execute_values(
        cur,
        """
        insert into okved_test (inn, kpp, name, address) values %s on conflict do nothing 
        """,
        data_to_db,
        template="""(
        %(inn)s,
        %(kpp)s,
        %(name)s,
        %(address)s
        )""",
        page_size=10000
    )
    conn.commit()

Вот что получилось из Вашего json