Попилил прошиву атмеги128 в пентеве.
Сделал буфера по 256 байт (256 на прием + 256 на отправку).
Теперь работает скорость 115200, авр успевает принимать больше данных от РС за ограниченный период времени. Все равно передавать от ПС пакеты длиной больше 256 байт на такой скорости НЕ РЕКОМЕНДУЕТСЯ.
Прошиву брать тут.