ASPECTO SUBSTANTIVO DAS MACROFUNÇÕES: EVIDÊNCIAS APONTADAS PELA CONTROLADORIA PÚBLICA

Autoras:

Nicolle Ferreira Bleme

Mestre em Administração Pública pela Universidade Federal de Viçosa, Av. P H Rolfs, s/n, Campus Universitário, Viçosa -MG, CEP: 36570-900. E-mail: nicolle.bleme@ufv.brOrcid: https://orcid.org/0000-0003-1058-994X

Nálbia de Araújo Santos

Doutora em Controladoria e Contabilidade pela Universidade de São Paulo (USP), Universidade Federal de Viçosa (UFV), Av. P H Rolfs, s/n, Campus Universitário, Viçosa -MG, CEP: 36570-900. E-mail: nalbia@ufv.brOrcid: http://orcid.org/0000-0002-6259-1446

Os órgãos de controle interno, notadamente as controladorias públicas, surgiram com foco na ação fiscalizatória e trabalhos de natureza “a posteriori”, e nos últimos anos assumem um novo papel no apoio ao gestor e combate à corrupção. Apesar de existir diversos estudos acadêmicos sobre o controle interno, ainda resta lacunosa a análise relacionada a sua dimensão horizontal e substantiva, especialmente com uma proposta de categorização de suas macrofunções através dos produtos exortados. Este artigo tem como objetivo apresentar um conceito associativo de controle interno substantivo, baseado na tipologia da accountability horizontal e substantiva aplicada ao case da Controladoria Geral do Estado de Minas Gerais, detalhando as macrofunções de controle interno em dimensões (transparência, correição, auditoria, integridade) com elementos e indicadores. Os resultados indicam ser possível realizar uma categorização que permite aferir objetivamente a dimensão de atuação do controle interno.

Palavras-Chave: Controle Interno. Substantivo. Macrofunções. Categorização.

 

SUBSTANTIVE ASPECT OF MACRO FUNCTIONS: EVIDENCES POINTED OUT BY THE PUBLIC CONTROLLERSHIP

 

The Public Controllership, have been the object of studies and changes in recent years. Initially focused on inspection and empirical projects, Public Controllerships play a new role in supporting managers and fighting corruption. Although there are several academic studies on internal control, analysis of internal control in horizontal and substantive dimensions continues to be needed, especially ones that categorize its macro functions by the products required. This article aims to present an associative concept of substantive Internal Control, based on the typology of horizontal and substantive accountability applied to the General Controllership of the State of Minas Gerais (Brazil), detailing the macro functions in several dimensions (transparency, correctness, audit, and integrity) and presenting appropriate indicators. The results indicate that conducting a categorization that objectively assesses Internal Control is possible.

Keywords: Internal Control. Substantive. Macrofunctions. Categorizations.

 

1 INTRODUÇÃO

Os órgãos de controle surgiram com o Estado Democrático de Direito e a limitação dos poderes do soberano. Segundo Dallari (2016), três grandes momentos político-sociais foram fundamentais para a implementação do Estado Democrático e seus elementos essenciais: a Revolução Inglesa; a Revolução Americana e a Revolução Francesa.

O conceito de controle é polissêmico e na perspectiva da administração pública deve considerar preceitos básicos de democracia, harmonia de poderes e mecanismos institucionais. Para Justen Filho (2018, p. 732), “o controle é um processo de redução do poder, entendida essa expressão no sentido da imposição da vontade e do interesse de um sujeito sobre outrem”.

Nessa perspectiva, o controle pode ser externo ou interno, sendo que aquele caracteriza-se pela atuação independente sobre a atuação administrativa daqueles que são agentes do ato controlado. Por sua vez, o controle interno é voltado às práticas do Poder ou Administração a que pertence, porquanto se insere na estrutura do próprio órgão fiscalizado (Meirelles, 2009). O foco desse estudo será o controle interno público no Brasil, em especial suas funções precípuas.

Tem-se de um modo geral que as controladorias públicas sugiram com escopo da função fiscalizatória para depois assumirem um papel no apoio ao gestor e de combate à corrupção. Essas mudanças conduziram para que os órgãos de controle interno atuem em outras funções, além da premissa fiscalizatória e de conformidade, especialmente quando desempenham suas macrofunções de auditoria, correição, transparência e integridade (CONACI, 2014).

Nesse cenário, pretende-se relacionar as atividades dos órgãos de controle interno às dimensões de tipologias da accountability, termo em inglês de conceitos diversos (Prado; Pó, 2007), que de um modo geral pode ser entendida como o compromisso do gestor em demonstrar os resultados obtidos e a forma como ocorreu a aplicação dos recursos. A accountability é um termo amplamente utilizado na administração pública, e carece de uma delimitação teórica mais clara (Ceneviva, 2006). Compartilhando dessa dificuldade epistemológica, Mulgan (2000) aduz que accountability é um conceito camaleônico, que virou um lugar comum na literatura da administração pública.

Em uma analogia ao accountability substantivo, o controle interno é passível de correlação com as categorias do controle formal e os controles de performance dos quais pode-se tomar como a sua dimensão substantiva. Assim, baseado na tipologia da accountability horizontal e substantivo, detalhamos as macrofunções de controle interno em dimensões (transparência, correição, auditoria e integridade), componentes e indicadores apropriados, sendo possível realizar uma categorização que permite aferir objetivamente a dimensão de atuação do controle interno em cada órgão.

Em geral, os estudos sobre o controle interno utilizaram de questionários e de ferramentas survey com objetivo de obter avaliações normativas e da estrutura dos órgãos avaliados. A título de exemplo cito o estudo do Tribunal de Costa do Estado de Minas Gerais (TCE/MG, 2017), que realizou um diagnóstico sobre o controle interno dos municípios do estado de Minas Gerais por meio da aplicação de questionário sobre a estrutura dos órgãos de controle interno e sua normatização; O índice de fragilidade de controles, elaborado pelo Tribunal de Contas da União (TCU, 2018) com base na aplicação de um questionário integrado de governança e gestão pública; e a Avaliação Nacional do Controle Interno dos Municípios feita pelo Conselho Nacional de Controle Interno (CONACI, 2021) com base em uma pesquisa de 38 itens, que foram fundamentados nas diretrizes do Committee of Sponsoring Organizations of the Treadway Commission (COSO) e do Internal Audit Capability Model for the Public Sector (IA-CM).

Este estudo se diferencia de tais trabalhos por adotar um método quantitativo de avaliação do controle interno substantivo, tendo como bases os produtos exortados pelas controladorias, sendo que o objetivo deste artigo é descrever, categorizar e propor uma reflexão sobre o controle interno na perspectiva substantiva, para além das abordagens clássicas.

Considerando as atribuições do controle interno e em uma analogia às tipologias de accountability, surgem as seguintes questões de pesquisa: com base na análise dos produtos exortados pela controladoria pública, como os órgãos de controle interno desempenham suas funções nas dimensões formal e substantiva? Como relacionar essas dimensões a parâmetros objetivos de modo a validar uma possível categorização?

Este trabalho é importante e visa contribuir com informações resultantes de reflexões e de análises das macrofunções executadas pelas controladorias municipais, o que vai além de uma avaliação da estrutura ou normativos. Os resultados podem representar suporte a novas pesquisas, possibilitando uma nova abordagem para mensuração das atividades de controle interno.

Além desta introdução, o artigo se divide em mais cinco seções. A segunda seção apresenta o referencial teórico, que trata das definições das macrofunções de controle interno e sua evolução consoante os paradigmas da administração pública, objetivando a compreensão da problemática e fundamentos da categorização. Após, são apresentados os procedimentos metodológicos e na quarta seção é apresentada a discussão dos resultados da pesquisa juntamente com as devidas análises. Por fim, a última seção traz as conclusões e sugestões para trabalhos futuros.

2. REFERENCIAL TEÓRICO

2.1 Dimensões do controle interno substantivo: transparência, correição, auditoria e integridade

No Brasil, a partir da Constituição de 1988, se estabeleceu a obrigatoriedade de controle interno para toda estrutura administrativa do Estado, sendo que as premissas constitucionais foram reforçadas, em 2000, pela Lei de Responsabilidade Fiscal (LFR) e pela Instrução Normativa da Secretaria Federal de Controle (SFC) nº 01/2001, a qual dispõe que o controle administrativo exercido por cada órgão visa assegurar que os objetivos das unidades e entidades da Administração Pública sejam alcançados.

Em 8 de maio 2002, a Medida Provisória nº 37 criou a Controladoria Geral da União (CGU), por cerca de cinco meses com objetivo de reestruturação para unir o controle à correição (Corregedoria Geral da União). Entretanto, a Medida Provisória nº 37 não foi convertida em Lei em virtude de questionamentos a respeito da estrutura da SFC. Logo em seguida, a Medida Provisória nº 103, de 1º de janeiro 2003, foi editada com o mesmo objetivo de criação da CGU, sendo aprovada no Congresso e sancionada na forma da Lei nº 10.683, de 28 de maio de 2003, estabelecendo que CGU teria as funções de Corregedoria Geral da União, defesa do patrimônio público, auditoria publica, SFC e de Ouvidoria Geral.

O processo legislativo para criação da Lei da CGU incluiu a atribuição de aumento de transparência, sendo destacada no nome do órgão visto que sua nomenclatura ficou como: Ministro de Estado do Controle e da Transparência. Assim, podemos traçar a linha do tempo do Controle Interno no Brasil:

Figura 1 – Linha do tempo da evolução do Controle Interno no Brasil

Fonte: Elaborada pela autoria.

Nessa evolução histórica, em especial após o ano de 2000, foi debatida a necessidade de ampliação do escopo de atuação dos sistemas de controle interno, incorporando novas funcionalidades propostas por várias instituições nacionais e internacionais, entre as quais se destacam: auditoria, controle contábil, fiscalização, acompanhamento de políticas públicas (desempenho), promoção da transparência, monitoramento da Lei de Acesso à Informação (LAI), integridade e estímulo ao controle social (INTOSAI 2007, CFC 2008 e OCDE 2011).

2.1 Accountability na tipologia horizontal e substantiva

Etimologicamente, a palavra accountability advém do termo “contabilidade”, ou melhor, originou-se literalmente da “escrita ou escrituração contábil” (Bovens, Goodin e Schillemans, 2014). A dificuldade de estabelecer um mainstream da accountability vem sendo apontada há décadas na literatura especializada. Campos (1990) trabalhou a lacuna de significado do termo accountability no dicionário da língua portuguesa, que de fato traduzisse com perfeição seu significado. Em 2009, Sacramento e Pinho publicaram artigo questionando se já era possível traduzir o termo accountability para o português, sem ter ainda uma resposta conclusiva.

Há diversos estudos atuais sobre o conceito de accountability e uma gama de tipologias e classificações, bem como categorização de seus elementos teóricos e empíricos, dentre os quais cito: O’Donnell (1998), Romzek e Ingraham (2000), Abrucio e Loureiro (2004), Ceneviva (2006). Ou seja, é um tema que precisa ser estudado considerando suas diversas dimensões e como cada uma delas é interpretada, dependendo do tipo de abordagem e do contexto do estudo que está sendo apresentado.

O´Donnell (1998) é um autor de referência e destaca as dimensões vertical e horizontal da accountability, considerando as relações entre principal-agente, com foco nas agências de fiscalização do Estado como agentes desse tipo de accountability. Nessa tipologia, a accountability vertical se refere à relação hierárquica entre desiguais, superiores e subordinados. Já na dimensão horizontal, os agentes públicos se controlam mutuamente, englobando os órgãos cujo controle administrativo é exercido pelos próprios Poderes sobre seus atos e agentes.

De fato, na literatura acadêmica percebe-se que o termo accountability tem funcionado como um grande guarda-chuva que abrange vários outros conceitos, tais como transparência, equidade, democracia, integridade, eficiência, responsividade, responsabilidade. Para Lindberg (2013, p. 218)

Dentro de cada um dos tipos de accountability, pode-se encontrar muitas variações em níveis. É possível construir medidas de níveis (ordinal ou escala, qualitativa ou quantitativo) para cada um desses tipos. (…) Precisamos desenvolver esquemas e instrumentos de medição separados.  (tradução nossa)

Para além do conceito, Rocha (2011) e Schedler et al. (1999) partem para análise do processo de accountability em duas etapas básicas: a primeira referente à verificação do cumprimento dos procedimentos legais por parte do fiscalizador (Estado), para fiscalizar e punir, o que caracteriza a dimensão formal; e a segunda etapa, relacionada à verificação do conteúdo que é fiscalizado, ou seja, a forma com que o fiscalizador age e sua capacidade de responder os interesses dos cidadãos, caracterizando, assim, a dimensão substancial da accountability. Nesse contexto, conclui Rocha (2011, p. 57) que:

[…] O processo de accountability horizontal se desenrola em duas dimensões distintas: a dimensão formal, que envolve a forma pela qual o processo é conduzido e produz seus resultados; e a dimensão substantiva, que envolve aquilo que deve ser o objetivo do processo, isto é, a própria atividade do agente público, suas ações e decisões, e que devem ser conhecidas da sociedade e a ela comunicadas. Portanto, para analisar com propriedade o processo de accountability […] é importante que tais análises se processem de acordo com as duas dimensões. Primeiro, pela necessidade de verificar se tais processos seguem os estritos limites da lei […]. Segundo, para não se cair na armadilha comum de privilegiar os aspectos formais do processo e deixar de analisar aquilo que é, no fundo, a essência da accountability.

Assim como foi proposta essa tipologia para a accountability, é possível avaliar, em analogia, a atividade de controle interno a partir do aspecto dimensional formal e substantivo.

3.1 Transparência

A transparência pública é a forma pela qual os fatos relacionados à atividade da entidade ou do agente público são mostrados (Koppell, 2005). Nesse sentido, a transparência e a visibilidade das ações governamentais são peças-chave para a accountability de maneira geral, uma vez que sem transparência e clareza das informações não há como cidadãos apropriarem-se dos dados das avaliações para cobrarem os agentes públicos (Ceneviva e Farah, 2006).

A dimensão formal da transparência refere-se ao cumprimento da legislação, com obrigações estabelecidas pela Constituição Federal (art. 5º, XXXIII dispõe que todos têm direito a receber dos órgãos públicos informações de seu interesse particular, ou de interesse geral, que serão prestadas no prazo da lei, ressalvadas aquelas cujo sigilo seja imprescindível à segurança da sociedade e do Estado); Lei de Responsabilidade Fiscal (art. 48, com os instrumentos de transparência da gestão fiscal) e Lei de Acesso à Informação (art. 8º, com o dever dos órgãos e entidades públicas promoverem a divulgação em local de fácil acesso, no âmbito de suas competências, de informações de interesse coletivo ou geral por eles produzidas ou custodiadas).

A dimensão substantiva pode ser aferida pelos dados abertos e qualidade da informação, fundamentais para mitigar a assimetria de informações e possibilitar a accountability. O primeiro elemento de dados abertos é referenciado em trabalhos de mensuração de qualidade das informações governamentais (Behkamal 2014; Vetró 2016; Ijab 2017) considerando a capacidade que os dados em formato aberto têm de informar e sua utilidade possibilitada pela manipulação dos dados. Dados abertos, segundo o Open Knowledge Internacional (OKBR), são aferidos quando seu formato e disponibilização possibilitam que qualquer pessoa possa livremente acessá-los, utilizá-los, modificá-los e compartilhá-los para qualquer finalidade, estando sujeito, no máximo, a exigências que visem preservar sua proveniência e sua abertura.

Para base de avaliação objetiva, podemos considerar as chamadas três “leis” dos dados abertos que foram propostas por David Eaves (2009), especialista em políticas públicas na Harvard Kennedy School of Government. São elas:

  • se o dado não pode ser encontrado e indexado na Web, ele não existe;
  • se não estiver aberto e disponível em formato compreensível por máquina, ele não pode ser reaproveitado; e
  • se algum dispositivo legal não permitir sua replicação, ele não é útil.

O segundo elemento, relativo à qualidade da informação, pode ser aferido conforme diretrizes das International Public Sector Accounting Standards (IPSAS), cujo framework tem por objetivo melhorar a qualidade e transparência dos relatórios financeiros do setor público para melhoria das informações e tomadas de decisão (HAND BOOK, 2019). Nesse sentido, são citadas características objetivas que podem ser signos de qualidade de informação contábil, quais sejam: relevância, representação fidedigna/verificabilidade, compreensibilidade, tempestividade/oportunidade, comparabilidade.

3.2 Correição

Para Di Pietro (2000), o poder disciplinar é o que cabe à Administração Pública para apurar infrações e aplicar penalidades aos servidores públicos e demais pessoas sujeitas à disciplina administrativa. A correição se operacionaliza pelo processo disciplinar, que por sua vez é o instrumento destinado a apurar responsabilidade de servidor por infração praticada no exercício de suas atribuições, ou que tenha relação com as atribuições do cargo em que se encontre investido, podendo ser aplicadas as seguintes sanções, nos termos da Lei nº 8.112/1990: advertência; suspensão; demissão; cassação de aposentadoria ou de disponibilidade; e destituição de cargo em comissão ou de função comissionada.

Para Caetano (1932), o poder disciplinar tem origem e razão de ser no interesse e na necessidade de aperfeiçoamento progressivo do serviço público. Considerando que o parâmetro da atividade correcional sempre será a lei e o devido processo legal, mister determinar o da dimensão dos produtos exortados, adotando o critério pelo ilícito apurado, ou seja, ilícitos que interferem diretamente na prestação de serviços ou bens públicos. Por essa premissa temos a seguinte categorização:

  • Formal: irregularidade sem autoria e/ou materialidade (arquivamento); descumprimento de normas; abandono de cargos; acúmulo indevido de cargos; incontinência pública; falta de urbanidade; assédio moral.
  • Substantivo: crime contra a Administração Pública; lesão ou dilapidação da coisa pública; atividade remunerada durante licença médica; evolução patrimonial incompatível; aplicação indevida de dinheiro públicos; ofensa física; receber ou solicitar propina; advocacia administrativa; atos de corrupção; projetos e ações preventivas a ilícitos funcionais.

3.3 Auditoria

 Em uma etimologia normativa, a auditoria interna governamental é uma atividade independente e objetiva, de avaliação e de consultoria, desenhada para adicionar valor e melhorar as operações de uma organização (Instrução Normativa SFC nº 3/2017 do Poder Executivo Federal). Em termos gerais, a auditoria é a função clássica e primeva dos órgãos de controle interno, sendo que esta vem se aperfeiçoando ao longo dos anos, especialmente com as diretrizes internacionais e utilização de tecnologia da informação em seus trabalhos.

Rocha (2009) propôs, utilizando as categorias propostas por Koppell (2005) e as concepções definidas nos modelos de Denhardt e Denhardt (2007), analisar, mais objetivamente, a accountability em relação à atuação dos tribunais de contas brasileiros. Nesse citado estudo, ele aborda a característica de conformação e performance, sendo que a primeira tem por indicadores a legalidade, consistente na avaliação de leis e regulamentos.

Já a performance visa avaliar como são utilizados os recursos humanos, materiais e financeiros nas atividades públicas, sendo que a avaliação do resultado é baseada em critérios relacionados à economia, à eficiência, à eficácia e à efetividade da ação governamental, e se materializa nas chamadas Auditorias de Natureza Operacional, nomenclatura adotada inclusive pelo TCU e pela CGU.

Essa evolução da função auditoria se deu atrelada a diretrizes internacionais, dentre as quais cito o Modelo de Capacidade de Auditoria Interna (IA-CM) para o setor público (Internal Audit Capability Model for the Public Sector), desenvolvido em 2009 pelo Instituto dos Auditores Internos (IIA) com apoio do Banco Mundial. O IA-CM é um framework  que estabelece os fundamentos necessários para uma auditoria interna efetiva, sendo um modelo universal baseado nas melhores práticas. (CONACI, 2021)

O Modelo de Capacidade da Auditoria Interna para o Setor Público está estruturado em uma matriz, contendo 5 níveis de maturidade, 6 elementos de auditoria e 41 macroprocessos, que por sua vez possui um objetivo específico e identifica as atividades essenciais de auditoria. Assim, para alcançar um nível de maturidade, é necessário que todos os macroprocessos do mesmo nível estejam implementados (institucionalizados). Segundo o International Professional Practices Framework do IIA (p. 13):

Além disso, passar do Nível 1 para o Nível 2 requer certos pré-requisitos no ambiente, como estruturas de governança e gerenciamento financeiro, controle e estruturas de accountability, juntamente com estabilidade governamental, uma cultura organizacional receptiva e diretrizes centrais para auditoria interna. (tradução nossa).

Com base nos frameworks e autores citados, temos que na dimensão auditoria o aspecto formal refere-se aos trabalhos com escopo de auditoria de conformidade, que avaliam o cumprimento da legislação e das normas vigentes e a perspectiva substantiva, com os trabalhos com escopo de gesto de riscos, consultoria e auditoria de desempenho.

3.4 Integridade

Para a OCDE (2017), integridade pública refere-se ao alinhamento consistente e à adesão a valores, princípios e normas éticas comuns, orientados para sustentar e priorizar o interesse público sobre os interesses privados no setor público (Guia de Integridade Pública do PMPI/MG, 2019).

Para a dimensão integridade, mister abordar a institucionalização dos programas de integridade, sendo que Viol (2019, p.14) aduz que “os programas de integridade são uma inovação dentro de uma organização, nos termos da teoria do novo institucionalismo, a qual oferece suporte teórico para a análise da sua adoção”.

Assim, para que os programas de integridade criem uma barreira anticorrupção, é necessário que não sejam meramente formais, porque a formalização de instrumentos e mecanismos não é garantia de sua execução (Martins Viol, 2019, p 88).

Outro documento que fixa parâmetros para os programas de integridade e compliance é a ISO 19600:2014 (International Standard, 2014). Apesar de não haver certificação ISO para programas de integridade, há práticas recomendadas para a criação de uma cultura de compliance, compreendida como “valores, ética e crenças existentes em toda a organização que interagem com as estruturas e os sistemas de controle da organização para produzir normas comportamentais favoráveis a resultados de compliance” (International Standard, 2014, p. 3).

A dimensão substantiva refere-se a esse realinhamento cultural da organização em torno da integridade, sendo que o modelo de Hatch (1993) propõe que os artefatos visíveis, valores e pressupostos básicos devem ser somados aos símbolos como elementos de análise da mudança organizacional, com um mecanismo mimético baseado na implementação de ações e envolvimento do corpo funcional e alta administração na elaboração e execução dos planos de integridade.

Por isso, o modelo da nova governança pública contribui para restabelecer a conformidade (ética e legal), aliada ao desempenho (enfatizado no modelo gerencialista), como condição fundamental à geração de valor público, incorporando as ferramentas de governança corporativa às organizações do setor público (Barreto; Vieira, 2020).

4 PROCEDIMENTOS METODOLÓGICOS

Para atingir o objetivo desta pesquisa, utilizaremos o método de categorização e estudo de caso, analisando se os produtos exortados pelo controle interno realizam ou não a dimensão substantiva da accountability, tendo em vista indicadores específicos de cada macrofunção que demonstrem se esses instrumentos hermenêuticos estão na dimensão formal ou substantiva, e o impacto desses resultados na atividade geral do órgão de controle interno.

Para a pesquisa acerca da atuação substantiva das suas macrofunções de controle interno, mister avaliar os produtos exortados por meio das suas características e finalidade, tendo por base as teorias citadas, que resulta em uma condição determinante para aferir a dimensão de atuação da instituição.

Segundo Moraes e Galiazzi (2005), cada categoria corresponde a um conjunto de unidades de análise que se organiza a partir de algum aspecto de semelhança que as aproxima. As categorias são construtos linguísticos, não tendo por isso limites precisos, dependendo da interpretação e pressupostos assumidos pelo pesquisador. O modelo analítico utilizado nesta pesquisa é de natureza descritiva e classificatória (Blaikie, 2010), sendo que a classificação tomou por base as teorias citadas no item 3 supra. Assim, o Quadro 1 apresenta um resumo contendo as fontes dos dados e os critérios específicos de classificação de cada indicador.

Quadro 1- Elementos de categorização

Macrofunção Dimensão Base Teórica Fonte Indicador Parâmetro a ser observado nos produtos de auditoria
Transparência Formal Teoria burocrática EBT CGU Constituição, LRF e LAI 0 Ausência Decreto regulamentado a Transparência no Ente Público­­­­ ou Ausência de Portal da Transparência
1 Existência de normativo regulamentado o Portal da Transparência; dados disponíveis apenas em PDF nas principais consultas (remuneração, execução da receita e despesa; compras);
Substantiva New Public Service Behkamal 2014, Vetró 2016 e Ij ab 2017; David Eaves (2009); Framework IPSAS 2 Portal da Transparência com dados em formato aberto nas principais consultas (remuneração, execução da receita e despesa, compras); ferramentas de busca avançadas; gráficos e tabelas.
Correição Formal Teoria burocrática Estatuto de servidores 0 Comissões de corregedoria há doc ou feito por comissões não vinculadas ao órgão de controle interno
1 Decisões em processos que versam sobre descumprimentos de normas; abandono de cargos; acúmulo indevido de cargos; Incontinência Pública; falta de urbanidade; assédio moral; processos arquivados devido a ausência de autoria e/ou materialidade (arquivamento);
Substantiva Teoria Gerencial Caetano (1932) 2 Decisões em processos que versam sobre crime contra a administração pública; lesão ou dilapidação da coisa pública; atividade remunerada durante licença médica; evolução patrimonial incompatível; aplicação indevida de dinheiro públicos; ofensa física; receber ou solicitar propina; advocacia administrativa
Auditoria Formal Teoria burocrática Instrução Normativa SFC nº 3/2017 0 Relatórios que não tem escopo de auditoria, como as avaliações de efetividade e despachos
1 Auditorias com análises de requisitos formais, com natureza de conformidade; os relatórios de prestação de contas anual enviado aos Tribunais de Contas; Relatórios de Gestão Fiscal e Notas Técnicas
Substantiva Teoria Gerencial IA-CM; Rocha, (2009) Koppell (2005), Denhartdt e Denhartdt (2003); COSO 2 Auditoria para avaliação e gestão de riscos; auditorias com escopo de avaliação de resultados de políticas públicas e consultoria ao gestor; auditorias para apuração de denúncias de corrupção
Integridade Formal Teoria burocrática Legislação plano de integridade 0 Ausência de legislação para implementação de planos ou programas de integridade
1 Existência de legislação para implementação de planos ou programas de integridade, manuais
Substantiva Teoria do novo Institucionalismo Viol (2019); OCDE; Hatch (1993); Peci 2006; ISSO 19600:2014 2 Implementação de ações do plano de integridade; fomento a cultura de integridade (participação da alta gestão e servidores); Instâncias de governança para monitoramento do Plano de Integridade; Campanhas institucionais sobre ética e integridade); celebração de acordos de leniência

Fonte: Elaborado pelos autores com base no levantamento das pesquisas sobre o tema.

Há poucos dados sobre os produtos de controle interno emitidos pelas controladorias nos estados e municípios brasileiros, especialmente tratando-se de dados secundários, que prescindem de uma transparência ativa dos produtos exortados pelas controladorias. Para além desse fato, mister que o estudo contemple um órgão que possua controladoria estruturada no desempenho das macrofunções citadas.

Nesse cenário, a análise será realizada acerca do controle interno do Poder Executivo do estado de Minas Gerais, especificamente a Controladoria Geral do Estado de Minas Gerais (CGE/MG), que possui a estrutura de quatro macrofunções de controle (Decreto nº 47.774, de 3 de dezembro de 2019), quais sejam: Auditoria Geral, Corregedoria-Geral, Subcontroladoria de Transparência e Integridade.

A coleta dos dados foi realizada por meio de relatórios disponíveis no site institucional da CGE/MG, sendo a estes aplicada a escala, com respostas variando em três níveis de atuação da macrofunção de controle: inexistente/não se aplica (0), formal (1) e substantiva (2). Destaque-se que há ordenação desses critérios, eis que na perspectiva do controle interno o 0 é não desejável, o 1 é o esperado e o 2 é o desejável.

Considerando os produtos exortados pela CGE/MG no ano de 2020, disponíveis no sítio institucional, a amostra terá 23 produtos de auditoria, 6 produtos de integridade, 5 produtos de transparência ativa e 216 decisões correcionais, num total de 250 unidades hermenêuticas (documentos diversos). Após a tabulação dos produtos citados acima, vide Anexo I, os resultados serão contrapostos para aferição de aderência, às análises externas e rankings que eventualmente tenham avaliado a efetividade da atuação da Controladoria Geral do Estado de Minas Gerais, notadamente: existência de decisões expulsivas relacionadas à apuração de atos de corrupção; nível do Modelo de Capacidade de Auditoria Interna (IA-CM); Escala Brasil Transparente (EBT), organizado pela Controladoria-Geral da União (CGU); e resultado aferido pelo artigo acadêmico (Barreto & Vieira, 2020) “Os programas de integridade pública no Brasil: indicadores e desafios”, que descreveu os programas de integridade implementados pela Administração Pública Direta brasileira, com o objetivo de comparar suas práticas com o regime internacional anticorrupção.

5 ANÁLISE E DISCUSSÃO DOS RESULTADOS

No total dos produtos de controle interno exortados pela CGE/MG em 2020, 113 se enquadram na dimensão formal, o que corresponde a 45%, sendo que a dimensão substantiva corresponde a 55% do total. Esses números indicam uma atuação formal já prevista pelo parâmetro legal de atuação das controladorias públicas, sendo que o alinhamento ao novo papel do controle interno pode ser comprovado pelo perfil que tendeu para maioria das ações em uma dimensão substantiva. Estratificando o resultado por macrofunção, temos que:

Tabela 2 – Frequência relativa de ocorrência de ações por macrofunção (em percentual)

Macrofunção % CIFormal % CISubstantivo
Auditoria 48 52
Correição 54 46
Transparência 40 60
Integridade 30 70

Fonte: Elaborado pelos autores com base na análise dos relatórios da CGE/MG

 

No case da CGE/MG, apenas na função de correição a dimensão formal foi maior do que a substantiva e o parâmetro da atividade correcional sempre será a lei e o devido processo legal. Destarte, a pungente dimensão substantiva na CGE/MG está consubstanciada em especial pelas decisões expulsivas relacionadas à apuração de atos de corrupção (23 atos relacionados à corrupção cujas expulsões estão fundamentadas nos artigos 249, inciso III, 250, incisos II, III, V, VI e 257, incisos II e III, da Lei Estadual nº 869/52.)

O resultado da categorização proposta também se confirma na macrofunção auditoria, eis que conforme estudo recentemente divulgado, a CGE/MG está prestes a atingir o nível 2 do Modelo de Capacidade de Auditoria Interna (IA-CM), modelo universal internacionalmente reconhecido que identifica os fundamentos necessários para uma auditoria interna efetiva. Segundo o Relatório de Implementação divulgado pela Auditoria-Geral, o órgão já concluiu 96% das ações do nível 2 do IA-CM.

Para as ações de transparência, confirmando a tendência descrita na categorização, o Estado de Minas Gerais alcançou pontuação máxima na Escala Brasil Transparente (EBT), organizada pela Controladoria-Geral da União (CGU) no ano de 2021, referente à avaliação de 2020, a qual contempla análise de elementos de transparência passiva e a transparência ativa. Para completar e deixar mais robusta essa ação substantiva, o Estado de Minas Gerais lançou em 2021, o novo Portal de Dados Abertos, com o objetivo de aumentar a qualidade dos dados e metadados publicados.

Por fim a partir da macrofunção integridade, na qual a dimensão substantiva foi a mais presente, pode-se aferir a consistência da classificação, eis que a Controladoria-Geral do Estado de Minas foi considerada no artigo  “Os programas de integridade pública no Brasil: indicadores e desafios” como o órgão brasileiro com o plano de integridade mais aderente em relação às diretrizes estabelecidas pelas principais referenciais nacionais e internacionais.

O artigo descreve os programas de integridade implementados pela Administração Pública Direta brasileira com o objetivo de comparar suas práticas com 9 diretrizes dispostas no regime nacional e internacional anticorrupção. A pesquisa analisou 12 programas de integridade pública criados por governos federal, estadual e municipal por meio de 36 indicadores (Barreto & Vieira, 2020). Os resultados indicam que o programa de integridade pública com maior aderência às práticas nacionais e internacionais é o da Controladoria-Geral do Estado de Minas Gerais, que atende a 91% dos quesitos.

 

6 CONSIDERAÇÕES FINAIS

 

Esta pesquisa contribui para descrever, categorizar e propor uma reflexão sobre o controle interno na perspectiva substantiva, para além das abordagens clássicas de controle interno que são pautadas na análise da estrutura e utilização de questionários de percepção.

A análise está alinhada à moderna concepção da atuação dos órgãos de controle interno, que aborda as funções de fiscalização e trabalhos de conformidade, bem como se estrutura para emitir produtos com escopo de apoio ao gestor e de combate à corrupção, no desempenho de suas macrofunções de auditoria, correição, transparência e integridade.

Dessa forma, partindo da tipologia da accountability horizontal e substantiva, podemos aplicar esse arcabouço ao controle interno, criando um constructo de controle interno substantivo, caracterizado pela atuação além do sentido técnico da prestação de contas, considerando o dever de demonstrar que os recursos foram geridos de forma mais eficaz, eficiente, íntegra, econômica e transparente (Denhardt e Denhardt 2007).

O presente estudo ajuda a ampliar o conhecimento sobre controle interno, que teve sua normatização constitucional em 1988 e desde então, vem se desenvolvendo em leis infraconstitucionais, práticas de organismos internacionais, frameworks e literatura nacional e internacional.

Os resultados da pesquisa evidenciam a importância da dimensão substantiva, sendo que essa categorização proposta pode ajudar os gestores públicos na condução das diretrizes para atuação das controladorias públicas. Reitero que apesar dos resultados, há limitação deste modelo em relação ao pequeno número de observações do case único CGE/MG, podendo refletir em fragilidades no modelo geral.

Apesar de pouca literatura sobre o tema do controle interno substantivo, os resultados podem ser aferidos em estudos posteriores, que vão avaliar consistência da classificação proposta em cada macrofunção do controle interno, assim, abrem-se lacunas que serão exploradas em investigações futuras.

Por fim, sugere-se que novos estudos continuem analisando a dimensão substantiva do controle interno a fim de verificar a sua evolução e mensuração, além de pesquisas que verifiquem a sua eficácia em relação às macrofunções de auditoria, correição, transparência e integridade.

REFERÊNCIAS BIBLIOGRÁFICAS

ABRUCIO, F. L. O impacto do modelo gerencial na Administração Pública: um breve estudo sobre a experiência internacional recente. Cadernos ENAP, Brasília, n. 10, p. 1-52, 1997.

 

ABRUCIO, F. Luiz; LOUREIRO, M. R. Finanças públicas, democracia e accountability. In: ARVATE, Paulo Roberto; BIDERMAN, Ciro (Org.). Economia do Setor Público no Brasil. Rio de Janeiro: Elsevier/Campus, 2004.

 

ALBUQUERQUE, C. B. C. de; OLIVEIRA, A. G. A accountability em Pareceres Prévios do Tribunal de Contas do Estado do Paraná: Possíveis Consequências para o Desenvolvimento Local. Revista Brasileira de Planejamento e Desenvolvimento, v. 2, n. 2, p. 43-57, jul./dez. 2013.

 

ARAÚJO, M. V. Tribunal de Contas: o controle de governo democrático – histórico e perspectivas. In: Concurso Nacional de Monografias do Tribunal de Contas do Paraná, 1º lugar, TCE PR 1993.

 

BABBIE, E. Métodos de Pesquisas em Survey. Belo Horizonte-MG: Editora UFMG, 2005.

 

BALBE, R. da S. Controle interno e o foco nos resultados. Belo Horizonte: Fórum, 2014.

 

BARRETO, R. T. de S.; VIEIRA, J. B. Os programas de integridade pública no Brasil: indicadores e desafios. Cadernos EBAPE.BR, v. 19, n. 3, p. 442–463, 2021.

 

BARROS, E. F. Auditoria de Desempenho nos Tribunais de Contas Estaduais Brasileiros: uma pesquisa exploratória. 1999. Dissertação (Mestrado em Controladoria e Contabilidade) – FEA/USP 1999. São Luiz: publicação independente, 2000.

 

BATISTA, M.; ROCHA, V. SANTOS, J. L. A. dos. Transparência, corrupção e má gestão: uma análise dos municípios brasileiros. Revista de Administração Pública, v. 54, p. 1382–1401, 2020.

 

BEHKAMAL, B. et al. A metrics-driven approach for quality assessment of linked open data. Journal of theoretical and applied eletronic commerce research, v. 9, n. 2, p. 64-79, 2014.

 

BEUREN, I. M., ZONATTO, V. C. S. Perfil dos artigos sobre controle interno no setor público em periódicos nacionais e internacionais. Revista de Administração Pública, v. 48, n. 5, p. 1135-1164, 2014.

 

BILHIM, J.  Gestão Estratégica de Recursos Humanos.  5. ed. Lisboa: Instituto Superior de Ciências Sociais e Políticas – Universidade de Lisboa, 2016.

 

BLAIKIE N. Designing Social Research. 2nd ed. Polity Press. 2010, 352 p.

 

BOVENS, M.; GOODIN, R.E.; SCHILLEMANS, T. The Oxford Handbook of Public Accountability. Oxford University Press: Oxford, 2014.

 

BOVENS, M.; SCHILLEMANS, T.; HART, P. Does Public Accountability Work? An Assessment Tool. Public Administration, v. 86, n. 1, p. 225–242, 2008.

 

BRASIL. TRIBUNAL DE CONTAS DA UNIÃO TCU. Relatório de acompanhamento TC 015.268/2018-7, Índice Integrado de Governança e Gestão 2018 do TCU – IGG 2018 acórdão 588/2018-TCU-Plenário. Relator: Bruno Dantas, 2018. Disponível em: file:///C:/Users/andre/Downloads/Relatorio-tecnico-completo-IGG2018.pdf. Acesso em: 6 set. 2022.

 

BRESSER-PEREIRA, L. C. Da Administração Pública Burocrática à Gerencial. Revista do Serviço Público, v. 47, n.1, p. 7-29, jan./abr. 1996.

 

CAETANO, M. Do Poder Disciplinar no direito administrativo português. Lisboa: Imprensa da Universidade, 1932.

 

CAMPOS, A. M. Accountability: quando poderemos traduzi-la para o português? Revista de Administração Pública, Rio de Janeiro, v. 24, n 2, p. 30-50, fev./abr. 1990. Disponível em: https://bibliotecadigital.fgv.br/ojs/index.php/rap/article/view/9049. Acesso em: 6 set. 2022.

 

CASTRO, D. P. de. Auditoria, Contabilidade e Controle Interno no Setor Público: integração das áreas do ciclo de gestão – contabilidade, orçamento e auditoria e organização dos controles internos, como suporte à governança corporativa. 4. ed. São Paulo: Atlas, 2011.

 

CENEVIVA, R. Accountability: novos fatos e novos argumentos – uma revisão da literatura recente. In: Encontro de Administração Pública e Governança da ANPAD, 2006, 2006, São Paulo. Anais […]. São Paulo: EnAPG ANPAD, 2006.

 

CENEVIVA, R.; FARAH, M.F.S. Democracia, avaliação e accountability: a avaliação de políticas públicas como instrumento de controle democrático. In: Encontro de Administração Pública e Governança da ANPAD, 2006, São Paulo. Anais […] São Paulo: EnAPG ANPAD, 2006.

 

CFC – Conselho Federal de Contabilidade. Resolução 1.135, de 21 de novembro de 2008. Aprova a NBC T 16.8 – Controle Interno. Brasília: Diário Oficial da União. CONTROLADORIA-GERAL DA UNIÃO.

 

CHIZZOTTI, A. Pesquisa em Ciências Humanas e Sociais. São Paulo: Cortez, 1995. 165p.

 

CONACI – Conselho Nacional de Controle Interno. Descubra se o controle interno do seu município está bem estruturado. Disponível em: <https://pt.surveymonkey.com/r/conaci -pesquisa>. Acesso em: 4 maio 2022.

 

CONSELHO NACIONAL DE CONTROLE INTERNO (CONACI). Seminário O controle interno governamental no brasil: velhos desafios, novas perspectivas, 2014, Foz do Iguaçu. Anais […] Foz do Iguaçu: CONACI, 2014. Disponível em: https://conaci.org.br/wp-content/uploads/2021/09/O-Controle-Interno-Governamental-no-Brasil-PORT-9-8-141.pdf. Acesso em: 6 set. 2022

 

DALLARI, D. de A. Elementos de Teoria Geral do Estado, 33. Ed., São Paulo: Saraiva, 2016.

 

DENHARDT, R. B. Teorias da administração pública. Tradução: Francisco G. Heidmann. São Paulo: Cengage Learning, 2012.

 

DENHARDT, R. B.; DENHARDT, J. V. The new public service: serving rather than steering. Public Administration Review. Washington, v. 60, n. 6, p. 549-559, Nov./Dec. 2000.

 

DENHARDT, R. B.; DENHARDT, J. V. The new public service: serving, not steering. New York: Armonk, 2007.

 

DI PIETRO, M. S. Z. Direito administrativo. 16. ed. São Paulo: Atlas, 2005.

 

DONALDSON, L. Teoria da contingência estrutural. In: CLEGG, S.R.; HARDY, C.; NORD, W. Handbook de estudos organizacionais, v. 1, São Paulo: Atlas, 1999.  cap. 3, p. 105-133.

 

DONALDSON, L. Teoria da contingência estrutural. In: S. R. Clegg, C. Hardy, W. R. Nord (Org.). Handbook de estudos organizacionais São Paulo: Atlas.

 

EAVES, D. The Three Laws of Open Government Data. Blog Eaves.Ca.[s. l.] 30 set. 2009. Disponível em: https://eaves.ca/2009/09/30/three-law-of-open-government-data/. Acesso em: 31 ago. 2022.

 

ELIAS, G.; OLIVEIRA, W. M. de; MONTEIRO, D. M. V. Controle interno dos municípios do estado de minas gerais: uma proposta de diagnóstico de sua efetividade, Revista do Tribunal de Contas do Estado de Minas Gerais. Belo Horizonte v. 35 n. 1 p. 124-139 jan./jun. 2017.

 

GARCIA, L. M. Análise do Controle Interno no Poder Executivo Federal Brasileiro sob a perspectiva de Pierre Bourdieu: história social como possibilidade de compreensão da produção e reprodução de práticas dos agentes. 2011. 240 p. Tese (Doutorado em Administração) – Faculdade de Ciências Econômicas da Universidade Federal de Minas Gerais, Belo Horizonte, 2011. Disponível em: https://repositorio.ufmg.br/handle/1843/BUOS-8UDGG5. Acesso em: 6 set. 2022.

 

HATCH, M. J. The dynamics of organizational culture. Academy of Management Review, v.18, n.4, p. 657-693, out. 1993. Disponível em: https://www.jstor.org/stable/258594. Acesso em: 6 set. 2022.

 

HELFENSTEIN, Ronaldo. Independência e qualidade do controle interno no setor público. Pensar Contábil, v. 21, n. 75, 2019. Disponível em: http://www.atena.org.br/revista/ojs-2.2.3-06/index.php/pensarcontabil/article/view/3496. Acesso em: 6 set. 2022.

 

IFAC – INTERNATIONAL FEDERATION OF ACCOUNTANTS. 2019 Handbook of International Public Sector Accounting Pronouncements.  Disponível em: <https://www.ifac.org/ipsasb/publications/2019-handbook-international-public-sector-accounting-pronouncements>. Acesso em: 31 ago. 2022.

 

IFAC- INTERNATIONAL FEDERATION OF ACCOUNTANTS. Governance in the Public Sector: a governing body perspective. Study n. 13. New York: IFAC, August 2001. Disponível: https://portal.tcu.gov.br/en_us/biblioteca-digital/governance-in-the-public-sector-a-governing-body-perspective.htm. Acesso em: 6 set. 2022.

 

IJAB, M. T. et al. Towards Big Data Quality Framework for Malaysia’s Public Sector Open Data Initiative. In: International Visual Informatics Conference. 2017. p. 79-87, nov. 2017 Bangi, Malásia.

 

INTOSAI – International Organisation of Supreme Audit Institutions. Guia para as normas de controle interno do setor público. Tradução: Cristina Maria Cunha Guerreiro, Delanise Costa e Soraia de Oliveira Ruther.  Salvador: Tribunal de Contas do Estado da Bahia, 2007. Disponível em: https://www. tce.ba.gov.br/images/intosai_diretrizes_p_controle_interno.pdf. Acesso em: 6 set. 2022.

 

JOSÉ FILHO, A. A Importância do Controle Interno na Administração Pública. Diversa. Ano 1, n. 1, p. 85-99, jan./jun. 2008.

 

JUSTEN FILHO, M. Curso de direito administrativo. 13. ed. São Paulo: Revista dos Tribunais, 2018.

KOPPELL, J. G. S. Pathologies of Accountability: ICANN and the Challenge of Multiple Accountabilities Disorder. Public Administration Review, v. 65, n. 1, p. 94-108, jan./fev. 2005.

 

LINDBERG, S. I. Mapping accountability: core concept and subtypes. International Review of Administrative Sciences, v. 79, n. 2, p. 202–226, 2013.

 

MEIRELLES, H. L. Direito administrativo brasileiro. 35. ed. São Paulo: Malheiros, 2009.

 

MORAES, Alexandre de. Direito constitucional. 27ª ed. São Paulo: Atlas, 2011.

MORAES, R.; GALIAZZI, M. C. . Análise Textual Discursiva. 1. Ed. Ijuí: Unijuí, 2007.

 

MULGAN, R. ‘Accountability’: An Ever-Expanding Concept? Public Administration, v. 78, n 3, p. 555-573, outono. 2000.

 

NEVES, G.; GUIMARÃES, A.; AVILTON JÚNIOR. As bases para um novo modelo de administração pública orientada para resultados: evolução dos paradigmas, novos princípios e dimensões operacionais de funcionamento. Trabalho apresentado ao X Congresso Consad de Gestão Pública. Gestão por Resultados como Estratégia de Monitoramento da Gestão. Brasília, 2017. Disponível em: http://consad.org.br/wp-content/uploads/2017/05/Painel-15_01.pdf. Acesso em: 6 set. 2022.

 

O’DONNELL, G. Accountability horizontal e novas poliarquias. Revista Lua Nova. São Paulo: CEDEC, n. 44. 1998. Disponível em: https://www.scielo.br/j/ln/a/jbXvTQR88QggqcdWW6vXP8j/?lang=pt. Acesso em: 6 set. 2022.

 

O’DONNELL, G. Accountability horizontal: la institucionalización legal de la desconfianza política. Revista Española de Ciencia Política, nº 11, p. 11-31, out. 2004.

 

OCDE – Organização para a Cooperação e Desenvolvimento Econômico. Recomendação do Conselho da OCDE sobre integridade pública, 2017. Disponível em: https://www.oecd.org/gov/ethics/integrity-recommendation-brazilian-portuguese.pdf. Acesso em: 6 set. 2022.

 

OCDE – Organização para a Cooperação e o Desenvolvimento. Relatório 2011 Avaliações da OCDE sobre Governança Pública: Avaliação da OCDE sobre o Sistema de Integridade da Administração Pública Federal Brasileira – Gerenciando Riscos por uma Administração Pública mais íntegra, 2011. Disponível em: https://www.gov.br/cgu/pt-br/assuntos/articulacao-internacional-1/convencao-da-ocde/arquivos/avaliacaointegridadebrasileiraocde.pdf. Acesso em: 06 set. 2022.

 

PINHO, J. A. G. de; SACRAMENTO, A. R. S. Accountability: já podemos traduzi-la para o português? Revista de Administração Pública, v. 43, p. 1343–1368, 2009.

 

PRADO, O.; PÓ, M. V. Discursos, prestação de contas e responsabilização democrática nas reformas da gestão pública. In: ENCONTRO DA ASSOCIAÇÃO DE PÓS-

GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO, 31., 2007, Rio de Janeiro. Anais […] Rio de Janeiro: ANPAD, 2007.

 

REIS, A. de O.; ALMEIDA, F. M. de; FERREIRA, M. A. M. Relações entre Corrupção Percebida e Transparência Orçamentária: um estudo com abordagem cross-national. Revista Contemporânea de Contabilidade, v. 15, n. 37, p. 158–177, 2018.

 

ROCHA, A. C. A realização da accountability em pareceres prévios do Tribunal de Contas de Santa Catarina. Revista de Administração Pública, v. 47, p. 901–926, 2013.

 

ROCHA, A. C. Accountability na administração pública: a atuação dos tribunais de contas. In: XXXIII, EnANPAD, 2009, São Paulo. Anais […] São Paulo: EnANPAD, 2009.

 

ROCHA, A. C. Accountability na Administração Pública: Modelos Teóricos e Abordagens. Contabilidade, Gestão e Governança. Brasília, v. 14, n. 2, p. 82-97, mai./ago. 2011.

 

ROCHA, Arlindo Carvalho. Auditoria de Gestão – uma forma eficaz de promoção da Accountability. In: XXXI EnANPAD. 2007, Rio de Janeiro. Anais […]Rio de Janeiro: XXXI EnANPAD, 2007.

 

ROCHA, L. M. da. A função controle na Administração Pública: controle Interno e Externo. Fórum Administrativo, Belo Horizonte, v. 1, n. 2, abr. 2001.

 

ROCHA, Lincoln Magalhães da. A função controle na Administração Pública: controle Interno e Externo. Fórum Administrativo, Belo Horizonte, v. 1, n. 2, abr. 2001.

 

ROMZEK, B. S. & INGRAHAM, P. W. Cross pressures of accountability: Initiative, command, and failure in the Ron Brown plane crash. Public Administration Review, v. 60, n. 3, p. 240-253, 2000.

 

SALM, J. F.; MENEGASSO, M. E. Os Modelos de Administração Pública como Estratégias Complementares para a Co-Produção do Bem Público. Revista de Ciências da Administração, Universidade Federal de Santa Catarina, v. 11, n. 25, set./dez. 2009, p. 97-120. Disponível em: https://www.redalyc.org/pdf/2735/273520578004.pdf. Acesso em: 6 set. 2022.

 

SCHEDLER, A. Conceptualizing accountability. In: SCHEDLER, A.; DIAMOND, L.; PLATTNER, M. F. (Org.). The self-restraing state: power and accountability in new democracies. Boulder and London: Lynne Rienner Publishers, 1999.

 

SCHEDLER, A. ¿Qué es la Rendición de Cuentas?. Ciudade do Mexico: Universidad Nacional Autónoma de México, 2004. (Cuadernos de Transparencia del Instituto de Investigaciones Jurídica), p. 1-44.

 

SPINELLI, M. Controle interno. In: AVRITZER, L.; BIGNOTTO, N.; GUIMARÃES, J.; STARLING, H. M. M. (Org.). Corrupção: ensaios e Críticas. Belo Horizonte: Editora UFMG, 2008.

 

VETRÒ, A. et al. Open data quality measurement framework: Definition and application to Open Government Data. Government Information Quarterly, v. 33, n. 2, p. 325-337, 2016.

 

VIOL, D. M. Entre o texto e o contexto: institucionalização dos programas de integridade no Brasil. 2019. 178 p. Dissertação (Mestrado em Administração Pública) – Fundação João Pinheiro, Escola de Governo Professor Paulo Neves de Carvalho, 2019. Disponível em: http://tede.fjp.mg.gov.br/handle/tede/425. Acesso em: 6 set. 2022.