No sopé da Serra de São José, próximo ao Arraial Velho (São José del Rey, atual Tiradentes) e do arraial dos Prados (hoje cidade de Prados), nos primeiros anos do século XVIII, bandeirantes e aventureiros, posteriormente mineradores, escravos e lavradores, em busca da fortuna anunciada pela descoberta do ouro fizeram nascer o arraial do Bichinho.

A denominação de Bichinho, dizem, se explica pelo fato de ali aparecerem sempre pequenos animais para recolher os restos de alimento deixados pelos homens. Há, entretanto, quem afirme que tal nome se deve ao fato de os exploradores daquelas terras chamarem seus escravos de bichinhos. Recentemente o povoado recebeu o nome oficial de Vitoriano Veloso, em homenagem ao afro-descendente conhecido como O Mensageiro dos Inconfidentes, proprietário de terras na região. Mas o povoado ainda continua conhecido pelo nome de Bichinho.

Esse simpático povoado guarda até hoje características de suas origens setecentistas, que podem ser conferidas na beleza da Igreja de Nossa Senhora da Penha, com pinturas de Manoel Vitor de Jesus, discípulo do mestre Aleijadinho, na exuberância de suas paisagens naturais, emolduradas pela belíssima serra de São José, na simplicidade de seus habitantes, de suas casas e no clima de tranquilidade e sossego que envolve o local.