Выход за границы массива при чтении файла + оптимизация

Сперва несколько замечаний по существующему коду.

Ресурсы нужно освобождать, поэтому следует использовать using statement:

using var fs = new FileStream(filename, FileMode.Open, FileAccess.Read);

При этом fs.Close(); можно убрать - стрим закроется сам, причём даже в случае исключения.

---

Файловый поток у вас используется для одной цели: прочитать данные полностью в массив:

var array = new byte[fs.Length];
fs.Read(array, 0, array.Length);

Гораздо проще это можно сделать следующим образом:

var array = File.ReadAllBytes(filename);

При этом FileStream полностью убираем из кода.
А там, где у вас используется fs.Length, пишем array.Length.

---

offset * 10 - на самом деле, умножать нужно на 16 - ведь именно по шестнадцать байт суммарно вы читаете в два массива bt1, bt2.
Это число является адресом и выводить его нужно в шестнадцатеричном виде.

(offset * 16).ToString("X")

К тому же можно избавиться от вызова PadLeft(8, '0'), добавив 8 в строку формата: ToString("X8").

---

Во вложенном цикле for (int j вы заменяете символы за пределами видимых ASCII на specialSybmol до вызова BitConverter.ToString. В результате в итоговую строку попадают токены 2E вместо реальных кодов.
Вот так будет правильно:

outputString.Append($"{BitConverter.ToString(bt1)} ||| {BitConverter.ToString(bt2)} ||| ");
for (int j = 0; j < bt1.Length; j++)
{
    if (bt1[j] < 0x20 || bt1[j] > 0x7f) bt1[j] = specialSybmol;
    if (bt2[j] < 0x20 || bt2[j] > 0x7f) bt2[j] = specialSybmol;
}        
outputString.Append($"{Encoding.ASCII.GetString(bt1)}{Encoding.ASCII.GetString(bt2)}\n");

---

---

программа должна работать с большими файлами (начиная с 4 гб и выше)

Это невозможно в текущей реализации. Это ограничено и максимальной длиной массива Array.Length и ещё больше максимальным размером итоговой строки. Каждые 16 байт файла превращаются в 81 юникодный символ (что составляет 162 байта). Длина строки String.Length опять-таки ограничена значением int.

---

---

Решить это можно, изменив возвращаемый тип на IEnumerable<string>.

IEnumerable<string> ProcessFile(string filename)
{
    var specialSybmol = (byte)'.';
    var buffer = new byte[16];
    var edited = new byte[16];
    int offset = 0;
    using var fs = new FileStream(filename, FileMode.Open, FileAccess.Read);

    int bytesRead;
    while ((bytesRead = fs.ReadAtLeast(buffer.AsSpan(), 16, throwOnEndOfStream: false)) > 0)
    {
        for (int i = 0; i < buffer.Length; i++)
        {
            edited[i] = buffer[i] < 0x20 || buffer[i] > 0x7f ? specialSybmol: buffer[i];
        }

        string line = $@"{offset:X8} : {
            BitConverter.ToString(buffer, 0, int.Min(8, bytesRead)),-23} | {
            BitConverter.ToString(buffer, 8, int.Max(0, bytesRead - 8)),-23} | {
            Encoding.ASCII.GetString(edited, 0, bytesRead)}";

        yield return line;
        offset += 16;
    }
}

Использование:

foreach (var line in ProcessFile("test.txt"))
    Console.WriteLine(line);

Здесь снова пришлось вернуться к использованию FileStream, ведь мы не хотим читать весь файл сразу в память. Читаем кусками по 16 байт.
Я использовал метод Stream.ReadAtLeast, который появился в .NET7. Можно прекрасно обойтись и без него.

Я использовал массив размером 16 байт, чтобы был всего один вызов Encoding.GetString вместо двух. Всё во имя уменьшения количества аллокаций. Но при этом нужен второй массив для изменённых данных с specialSybmol.

Вместо StringBuilder я использовал интерполяцию. В последних версиях дотнета она сильно оптимизирована и внутри используется буфер, устраняющий лишние аллокации памяти. Суть та же, что и в стрингбилдере.
Конечно, вызовы BitConverter.ToString, Encoding.GetString всё равно создают промежуточные строки, что на файлах больших размеров (гигабайты) приведёт к сборкам мусора.
Можно код полностью переписать, избавившись от этих аллокаций. Но вряд ли кто-то будет использовать на практике такой метод для представления файлов в hex-виде.

---

На заметку: в WinForms есть ByteViewer - показывает данные в желаемом формате.