Интересная задача. :) Сейчас такие задания есть на ЕГЭ по информатике в части C. ;)
Я лишь объединю уже написанные ответы.
В общем случае, когда треугольник занимает общее положение (т.е. как-то повёрнут в пространстве) всё просто: определяем тангенс угла наклона каждой стороны (т.е. дельта Y делить на дельта X. Это будет коэффициент для уравнений прямых, задающих эти самые стороны), наименьший и наибольший X, и наименьший и наибольший Y (т.е. определяем квадрат, к который вписан наш треугольник). Затем запускаем цикл от наименьшего X до наибольшего X, а внутри него цикл от наименьшего Y до наибольшего Y. И внутри второго проверяем, принадлежит ли текущая точка заданному треугольнику. Т.е. Для текущей точки (а точка, это координаты X и Y) выполняются ли условия: правее или на левой грани, левее или на правой грани, выше или на нижней грани. (вообще левая/правая/нижняя - это пример... зависит от того, как он у вас повёрнут.) Важен принцип: точка должна быть внутри треугольника, рисуемого тремя прямыми по уравнению y=kx+b. И при проверке Вы подставляете свои X и Y вместо соответствующих переменных в неравенство (т.к. нужно, чтобы треугольник был не просто нарисован, но и закрашен, то надо неравенства)... А коэффициент k для каждой прямой мы высчитали в начале (тангенс угла наклона сторон).
Если треугольник занимает частное положение (т.е. одна из граней параллельна одной из осей), то алгоритм упрощается: нужно использовать только два уравнения (а третье: Y=const; например). Т.е. мы так же берём два цикла, один внутри другого, и проверяем, принадлежит ли точка треугольнику или нет.
Если по-прежнему непонятно, то: возьмите бумажку, нарисуйте систему координат, на ней прямоугольный треугольник и прикиньте, что да как... принцип в том, что мы перебираем все точки и определяем, какие нужно закрашивать, а какие нет (а в вашем случае ставить звёздочки).