Priorização de projetos de recursos hídricos sob a perspectiva de modelos de apoio à decisão multicritério: uma revisão sistemática

Prioritization of water resources projects from the perspective of multicriteria decision aid models: a systematic review

Resumo

Este estudo apresenta a análise da literatura científica quanto à aplicação de modelos de apoio à decisão multicritério na priorização de projetos de recursos hídricos, por meio de uma revisão sistemática. Metodologicamente, a pesquisa caracteriza-se como diagnóstico-descritiva. Para a realização da revisão sistemática, seguiu-se o protocolo Preferred Reporting Items for Systematic Reviews and Meta-Analyses. No que tange à análise dos dados, após o levantamento do portfólio bibliográfico, realizou-se uma bibliometria com o auxílio dos softwares VOSviewer e UCINET 6 em conjunto com o NetDraw, e posteriormente se procedeu à metassíntese. Como principais resultados, percebeu-se: (i) uma carência na produção científica sobre o tema investigado (23 artigos); (ii) a recorrente aplicação de métodos de apoio à decisão multicritério na priorização de projetos de recursos hídricos; (iii) o destaque para o governo e companhias de saneamento com setores de maior interesse em projetos de recursos hídricos; (iv) a falta de informação sobre os atores envolvidos na priorização dos projetos e as técnicas que apoiam o consenso da decisão; e (v) além da preocupação econômica, a importância que vem sendo dada às dimensões social e ambiental. A contribuição prática deste estudo é dada pelo conhecimento gerado para as companhias e instituições que desejem realizar a priorização de projetos de recursos hídricos, uma vez que são exibidas metodologias, técnicas, dimensões e critérios que vêm sendo considerados cientificamente na priorização de projetos no setor de recursos hídricos. Já a contribuição teórica é realizada por meio da apresentação de um panorama atual do tema objeto de estudo, de forma a permitir a identificação de lacunas e apontando áreas em desenvolvimento para pesquisas futuras.

Palavras-chave:
priorização de projetos; apoio à decisão multicritério; Preferred Reporting Items for Systematic Reviews and Meta-Analyses

Abstract

This study presents the analysis of the scientific literature on the application of multicriteria decision aid models in the prioritization of water resources projects through a systematic review. Methodologically, the research is characterized as descriptive diagnosis. For the systematic review, the Preferred Reporting Items for Systematic Reviews and Meta-Analyses protocol was followed. Regarding data analysis, after surveying a bibliographic portfolio, a bibliometry was carried out with the aid of VOSviewer and UCINET 6 software, in addition to NetDraw software; subsequently, a metasynthesis was performed. As main results, the following aspects were observed: (i) lack of scientific production on the investigated topic (23 articles); (ii) recurring application of multicriteria decision aid methods in prioritizing water resource projects; (iii) emphasis on the government and sanitation companies with sectors of greatest interest in water resources projects; (iv) lack of information about the actors involved in the prioritization of projects and the techniques that support the decision consensus; and (v) in addition to the economic concern, the importance that has been given to social and environmental dimensions. The practical contribution of this study consists in the knowledge generated for companies and institutions that intend to prioritize water resource projects, as this study presents the methodologies, techniques, dimensions, and criteria that have been scientifically considered in the prioritization of projects in the water resources sector. The theoretical contribution consists in the presentation of a current overview of the topic under study, in such a way to allow the identification of gaps and indicating areas under development for future research.

Keywords:
project prioritization; multicriteria decision aid; Preferred Reporting Items for Systematic Reviews and Meta-Analyses

INTRODUÇÃO

O abastecimento de água é vital para a prosperidade da vida humana e para o avanço econômico da sociedade (MORAIS, FADUL & CERQUEIRA, 2018). Mesmo sendo a água abundante no globo terrestre, ela torna-se um recurso limitado sob o ponto de vista de recurso hídrico. As consequências do crescimento populacional, da industrialização e da expansão da agricultura trouxeram à tona problemas de deterioração dos recursos hídricos. Por isso, despontou o interesse político, social, econômico e acadêmico na gestão hídrica (MIRANDA & TEIXEIRA, 2004; CASTRO, 2012).

Aliada à perspectiva de sustentabilidade, o gerenciamento dos recursos hídricos possui destaque também sob a ótica empresarial (THEODORO, NASCIMENTO & HELLER, 2016), já que organizações envolvidas nas atividades de abastecimento de água possuem a necessidade de reduzir custos e aumentar a eficiência (EVANS & SADLER, 2008). Para se manterem competitivas, as organizações do setor passaram a focar mais em projetos e menos em atividades de rotina (PADOVANI, CARVALHO & MUSCAT, 2010).

No entanto, organizações dessa área ainda carecem de expertise na gestão de projetos, pois a multiplicidade de projetos que é desenvolvida e conduzida simultaneamente torna complexos os processos organizacionais (LIMA, OLIVEIRA & ALENCAR, 2014). Nesse sentido, o gerenciamento de projetos é importante justamente para lidar com essa quantidade de projetos concomitantes, pois geralmente as ideias desenvolvidas que se tornam projetos extrapolam os recursos disponíveis para a sua realização (RIBEIRO & ALVES, 2017).

Como característica do gerenciamento de projetos, uma das atividades de maior importância, atualmente, é a seleção e priorização de projetos, capaz de lidar com os aspetos quantitativos e qualitativos envolvidos no processo de escolha (REINA et al., 2014). A gestão de projetos deve propiciar mecanismos que desenvolvam critérios para justificar determinadas decisões quanto à priorização de um projeto em relação a outro (CASTRO & CARVALHO, 2010; LACERDA, ENSSLIN & ENSSLIN, 2010). Para o auxílio do decisor na etapa de priorização de projetos, ganha destaque a avaliação de desempenho, corroborando a perspectiva de expandir a análise quanto à ótica limitada de critérios de tempo e custos para uma análise com visão holística dos critérios que abrangem os projetos organizacionais (OLIVEIRA et al., 2016).

Diante disso, e tendo em mente que o gerenciamento de projetos na gestão de recursos hídricos é essencial (CAMPOS & CAZARINI, 2017) principalmente na priorização de projetos estabelecida por multicritérios, sejam eles técnicos, sociológicos, ambientais ou econômicos (KARNIB, 2004), a presente pesquisa tem como objetivo analisar, na produção científica e de forma estruturada, a aplicação de modelos de apoio à decisão multicritério (ADM) na priorização de projetos de recursos hídricos.

GERENCIAMENTO E PRIORIZAÇÃO DE PROJETOS

Um projeto é uma atividade única e temporária que tem o objetivo de gerar uma mudança em uma organização. Cada projeto é original e excepcional, o que o torna complexo, uma vez que existe na mudança objetivada pelo projeto um gap entre o estado inicial e o estado final, influenciado pelo objetivo proposto, pelos recursos disponíveis, pelos controles sobre a condução do projeto e pelo ambiente e contexto que o cercam (VIDAL & MARLE, 2008; VIDAL, MARLE & BOCQUET, 2011).

O gerenciamento de projetos, nas organizações que operam com múltiplos projetos simultâneos, é denominada de gestão de portfólio. Na literatura científica de gestão de portfólio de projetos, a priorização é identificada como um elemento-chave (ELONEN & ARTTO, 2003; FRICKE & SHENBAR, 2000). Com o portfólio, os projetos são agrupados para maior facilidade em sua gestão e aplicabilidade; eles podem ser diferentes quanto ao tamanho e à importância e possuírem relações, no caso de projetos interdependentes, ou serem individuais (PATANAKUL & MILOSEVIC, 2009).

Gerir um portfólio de projetos é considerado um processo dinâmico, em que os projetos são agrupados e listados. Conforme Padovani, Carvalho e Muscat (2010, p. 158): “o processo de gestão de portfólio de projetos envolve diferentes etapas de decisão, para que projetos que agreguem valor às organizações sejam selecionados e priorizados”. Com isso, como destacam Reina et al. (2014), nota-se a relevância da avaliação de desempenho organizacional no processo de priorização de projetos, pois ele auxilia os decisores na sua avaliação e mensuração destes, gerando informações que permitem identificar aqueles que se alinham aos anseios da organização.

Ainda segundo Padovani, Carvalho e Muscat (2010), na literatura sobre o tema de gestão de projetos, uma área de conhecimento relevante procura estudar a aplicação de métodos de priorização de projetos. Alguns deles foram sumarizados no estudo de Jorge, Alliprandini e Scur (2017), e estão apresentados no Quadro 1.

Quadro 1
Métodos de priorização de projetos.

Método	Descrição	Aspectos
		Positivos	Negativos
Financeiro	Técnicas financeiras como valor presente, opção real de compra e teoria de opção de preço	Maior compreensão pelos stakeholders em razão de uma linguagem comum a eles	Limita a análise à estimativa de benefícios financeiros
Programação matemática	Programação linear ou não linear, sendo objetiva e dinâmica	Permite a ordenação dos projetos e considera a interdependência entre eles	Menor compreensão pelos stakeholders pela complexidade e o caráter impessoal nas decisões
Estatístico	Ferramentas de simulações estatísticas, métodos probabilísticos e rede Bayesiana	Considera riscos e incertezas, desde que seja compreendido todo o sistema envolvido	Requer a utilização de softwares e necessita de diferentes modelos para diferentes casos
Diagrama de bolhas	Chamado também de Mapa de portfólio, analisa os projetos em um diagrama XY	Apresenta um panorama geral do portfólio de projetos com clareza nas informações	Demasiado teórico e empírico, considera apenas dois projetos por análise, podendo levar a negligências
Lógica fuzzy	Baseado na teoria fuzzy	Promove precisão, pela análise de uma gama de informações (completas ou incompletas)	Dificuldade no estabelecimento de regras do modelo, além de requerer simulações e testes
Árvore de decisão	Modelo gráfico para visualizar decisões presentes e futuras	Útil à tomada de decisões sequenciais	Projetos complexos tornam a árvore de decisão confusa, além de demandar tempo
Modelos de pontuação	Chamado também de checklist, ordena projetos de acordo com escores previamente estabelecidos	Aplicabilidade fácil	Dar pesos aos projetos pode ser impreciso e não considera a interdependência de projetos
Apoio à decisão multicritérios (ADM)	Conjunto de métodos que auxilia em cenários decisórios complexos (MAUT, AHP, MCDA)	Considera múltiplos critérios, além de ser prestigiado pelos tomadores de decisão	Dificuldade de mensuração de informações qualitativas

• MAUT: Multi-Attribute Utility Theory; AHP: Analytic Hierarchy Process; MCDA: Multi-Criteria Decision Aid.
Jorge, Alliprandini e Scur (2017)

Sob o ponto de vista da avaliação de desempenho, os métodos apresentados no Quadro 1 servem como instrumento de construção de conhecimento para que as decisões no contexto da priorização de projetos sejam tomadas de forma mais coerente com as singularidades de cada projeto e as diferentes perspectivas em termos de objetivos e indicadores. Mesmo assim, as aplicações dos métodos podem destoar dos princípios da avaliação de desempenho se, na análise dos projetos, não forem levados em consideração os agentes decisores e a noção do desempenho esperado, além da definição clara dos objetivos e atribuições de critérios e a percepção holística do sistema de indicadores (BARCLAY & OSEI-BRYSON, 2010).

MÉTODOS DE APOIO À DECISÃO MULTICRITÉRIO

A tomada de decisão pode ser considerada uma tarefa difícil, principalmente quando está inserida em ambientes complexos (abrangendo múltiplas variáveis quantitativas e qualitativas), incertos (quando os decisores não têm o conhecimento das informações do contexto) e conflituosos (envolvendo atores e decisores com interesses e preocupações distintos) (LACERDA, ENSSLIN & ENSSLIN, 2009; ENSSLIN et al., 2010; BORTOLUZZI, ENSSLIN & ENSSLIN, 2011; ALMEIDA, MORAIS & ALMEIDA, 2014; GOMES & GOMES, 2014).

Por sua complexidade, o processo decisório envolve múltiplos critérios que devem ser considerados para se chegar a uma ou mais alternativas ideais ao contexto decisório. Além disso, a maioria dos problemas voltados para a tomada da decisão possuem ao menos duas alternativas e dois critérios de avaliação, fazendo com que seja necessário analisá-los quanto aos objetivos e critérios ideais (ALMEIDA, 2011; ROY, 1996). Nesse sentido, não é interessante que a tomada de decisão seja feita de forma intuitiva, mas sim que esteja apoiada em instrumentos de apoio à tomada de decisão, como os métodos multicritério, uma vez que eles têm a capacidade de considerar dados quantitativos e qualitativos e a flexibilidade para isso (FARIAS, FONTANA & MORAIS, 2013).

O número de estudos sobre métodos de ADM vem evoluindo tanto em diversidade quanto em complexidade, resultando em técnicas inovadoras e mistas que levam a muitos desenvolvimentos diversificados. Em se tratando de gestão de portfólio de projetos, esses métodos multicritérios destacam-se por ser considerados os mais adequados e capazes de lidar com a complexidade dos problemas envolvidos na gestão desses portfólios (FIGUEIRA et al., 2005). Com base nesse cenário, o Quadro 2 exibe alguns dos principais métodos e desenvolvimentos históricos no âmbito da análise multicritério.

Quadro 2
Métodos multicritério e desenvolvimentos históricos.

Período	Autor	Desenvolvimento
1951	Kuhn e Tucker	Os autores formularam condições de otimização para a programação não linear, considerando problemas com múltiplos objetivos.
1955	Charnes, Cooper e Ferguson	Foi publicado um artigo que continha a essência da programação de metas, apesar de o nome ter sido usado pela primeira vez em livro publicado por Charnes e Cooper em 1961.
1957	Churchman, Ackoff e Arnoff	O Multi-Attribute Utility Theory (MAUT) é baseado no princípio da pontuação, com o uso das funções de utilidade (Teoria de Utilidades).
1960	Ron Howard e G.E. Kimball	Os autores escreveram sobre processos sequencias de decisão em 1959 e acredita-se que tenham usado o termo “análise de decisão” pela primeira vez em meados da década de 1960.
Década de 1960	Benayoun, R.; Bernard Roy e Sussman	Desenvolveram a família dos métodos Elimination et Choix Traduisant la Réalité (ELECTRE), composto de diferentes variações: ELECTRE I, II, III, IV, IS e TRI.
1968	Bruno Contini e Stan Zionts	Corroborando a programação de metas, os autores desenvolveram um modelo de negociação com múltiplo critérios.
1968	Howard Raiffa	O autor esteve envolvido na temática sobre análise de decisão desde o princípio e publicou um importante trabalho sobre o tema.
Década de 1970	Thomas Saaty	Introduziu o Analytic Hierarchy Process (AHP) e, posteriormente, o Analytic Network Process (ANP).
1972	Milan Zeleny e Cochrane	Os autores organizaram uma conferência internacional de Multiple Criteria Decision Making na Columbia, Carolina do Sul, evento que ainda é frequentemente citado.
1973	Zionts e Jyrki Wallenius	Desenvolveram o método interativo Zionts-Wallenius para resolver problemas de programação linear com múltiplos objetivos.
1975	Bernard Roy	Fundou a EURO Working Group “Multiple Criteria Decision Aiding”.
1976	Ralph Keeney e Howard Raiffa	Os autores publicaram um livro de grande importância para criação da teoria do valor multiatributo (incluindo a teoria da utilidade) como uma disciplina, tornando-se referência padrão para muitas gerações de estudo de análise de decisão e MCDM.
Década de 1980	Brans, Vincke e Mareschal	O Preference Ranking Organization Method for Enrichment Evaluations (PROMETHEE) é baseado na concordância e na relação outranking e foi desenvolvido com diferentes variações: PROMETHEE I, II, III, IV, V, VI e GAIA.
1981	Yoon e Hwang	No Technique for Order Preference by Similarity to Ideal Solution (TOPSIS), a distância da melhor alternativa deve ser grande para a solução ideal negativa e pequena para a solução ideal positiva.
1994	Bana, Costa e Vansnick	O Measuring Attractiveness by a Categorical-Based Evaluation Technique (MACBETH) determina os pesos com base nas preferências do decisor.

MCDM (2012)

De acordo com Danesh, Ryan e Abbasi (2018), não existe um método multicritério ideal para desenvolver e priorizar um portfólio de projetos, uma vez que um método pode ser melhor para uma cartela de projetos e para as características de determinada organização, mas pode não ser a melhor escolha em outra situação. Por isso, os autores salientam o quão desafiador se torna encontrar o método e as técnicas mais adequadas a cada contexto, de modo que se torna importante realizar uma investigação das possibilidades disponíveis no mercado.

METODOLOGIA

Este estudo baseia-se no enquadramento sugerido por Roesch (2013), sendo classificado quanto aos propósitos do projeto, ao método (delineamento), à abordagem metodológica e às técnicas de coleta e de análise dos dados.

No que tange ao propósito do projeto e ao delineamento, este trabalho é apontado como uma pesquisa diagnóstico-descritiva uma vez que a pesquisa diagnóstico tem o objetivo de explorar o ambiente ou tema, de forma a estabelecer problemas (ROESCH, 2013), e a pesquisa descritiva é utilizada para promover o conhecimento sobre os atributos de um fenômeno ou população, buscando detalhar seu comportamento (COLLIS & HUSSEY, 2005).

Quanto à abordagem metodológica, o trabalho caracteriza-se com pesquisa quali-quantitativa, pois foram realizadas bibliometria e metassíntese para analisar os dados. A bibliometria possibilita medir os índices de produção por meio de técnica estatística, assim como desenvolver conhecimento acerca das características bibliográficas dos estudos selecionados (ARAÚJO, 2006; VALMORBIDA et al., 2016). Já a metassíntese permite uma análise meticulosa da teoria, dos métodos e dos resultados de um conjunto de publicações, com base em parâmetros metodológicos e sistemáticos (NOBLIT & HARE, 1988; TORNE et al., 2004; FINFGELD, 2003; SANDELOWSKI & BARROSO, 2003; BONDAS & HALL, 2007). Cabe salientar que a análise bibliométrica foi feita com o auxílio dos softwares VOSviewer e o UCINET 6 em conjunto com o NetDraw. O primeiro produz mapas bibliométricos com as características das publicações e os outros dois proporcionam a análise de redes, permitindo verificar interações entre as características das publicações.

Visando atingir o objetivo deste estudo mediante a metodologia adotada, realizou-se uma revisão sistemática seguindo o protocolo Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) de revisão sistemática proposto por Moher et al. (2015). De acordo com o Campos et al. (2017) e Govindan e Soleimani (2017), esse tipo de estudo tem a capacidade de fornecer aos pesquisadores uma visão aprofundada do passado, possibilitando um panorama das oportunidades de pesquisas futuras pela identificação das lacunas.

O método PRISMA permite uma descrição completa e confiável de revisões sistemáticas e metanálises. Para isso, o protocolo oferece um checklist com 27 itens e um fluxograma composto de quatro etapas (MOHER et al., 2015). De acordo com o protocolo, a maioria dos itens da lista é interessante, porém dependendo do objeto que está sendo estudado pode haver alterações neles (LIBERATI et al., 2009).

Cabe salientar que, para sintetizar a literatura sobre o tema objeto deste estudo de forma a contribuir com pesquisas futuras (MENDES-DA-SILVA, 2019), foram adotados os itens mais relevantes recomendados pelo PRISMA, principalmente aqueles relacionados a elegibilidade, análise e comunicação da pesquisa aplicáveis às revisões sistemáticas.

Para a condução da revisão sistemática, inicialmente se definiram os eixos de pesquisa, que representam as áreas de conhecimento que retratam a temática a ser investigada. Para cada eixo estabelecido, determinaram-se palavras-chave que o refletissem, como demonstrado no Quadro 3.

Quadro 3
Eixos de pesquisa e palavras-chave.

Eixo 1: priorização de projetos	Eixo 2: recursos hídricos	Eixo 3: avaliação de desempenho e apoio à tomada de decisão
“Project prioritization”; “Portfolio management”; “Project management”; “Project portfolio selection”; “Project portfolio management”; “Project selection”; “Project evaluation”; “Project screening”; “Project portfolio management performance”	“Groundwater resources”; “Sanitation compan * ”; “Urban water”; “Water distribution networks”; “Water distribution system * ”; “Water management”; “Water resources”; “Water sanitation”; “Water supply”; “Water supply system * ”; “Water treatment”	“Asset management”; “Decision making”; “Decision support”; “Multi-criteria decision aid”; “Multicriteria analysis”; “Multi-criteria decision making”; “Performance assessment”; “Performance evaluation”; “Performance indicators”; “Performance management”; “Performance measurement”; “Performance measures”

• ^*
  Na lógica boolena, o asterisco representa todos os caracteres possíveis após a última letra.
Fonte: elaborado pelos autores.

Foram realizadas combinações entre as 32 palavras-chave com o uso das expressões booleanas AND e OR, de modo que as publicações coletadas versassem sobre os três eixos de pesquisa definidos. Nesse sentido, utilizou-se a seguinte equação de pesquisa: (“Project prioritization” OR “Portfolio management” OR “Project management” OR “Project portfolio selection” OR “Project portfolio management” OR “Project selection” OR “Project evaluation” OR “Project screening” OR “Project portfolio management performance”) AND (“Groundwater resources” OR “Sanitation compan*” OR “Urban water” OR “Water distribution networks” OR “Water distribution system*” OR “Water management” OR “Water resources” OR “Water sanitation” OR “Water supply” OR “Water supply system*” OR “water treatment”) AND (“Asset management” OR “Decision making” OR “Decision support” OR “MCDA” OR “Multicriteria analysis” OR “Multi-criteria decision making” OR “Performance assessment” OR “Performance evaluation” OR “Performance indicators” OR “Performance management” OR “Performance measurement” OR “Performance measures”).

Posteriormente, determinaram-se as bases de dados para consulta seguindo os requisitos de: constar no portal de periódicos da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES); ter notoriedade nas áreas de conhecimento das Ciências Sociais Aplicadas, Engenharias e Multidisciplinar; e adequar-se ao enquadramento teórico dos eixos de pesquisa determinados. Os dados foram coletados em outubro de 2020 nas bases: American Society of Civil Engineers (ASCE); Compendex; Business Source Complete (EBSCO); ProQuest; ScienceDirect; Scopus; Web of Science; e Wiley Online Library.

Foi, então, realizada a criação de filtros (Quadro 4) para a seleção dos estudos que se enquadrariam no portfólio bibliográfico (PB) final. A primeira filtragem realizada no PB bruto está relacionada à exclusão de publicações repetidas. Posteriormente, ocorreu a análise de título, resumo, objetivo e metodologia dos estudos para verificar o alinhamento dos trabalhos com o tema investigado. Por último, ocorreu a leitura integral para averiguar o alinhamento do conteúdo com o tema investigado. O critério de elegibilidade foi a leitura integral dos estudos. Cabe ressaltar a utilização do gerenciador bibliográfico EndNote X7 para a manipulação dos dados.

Quadro 4
Filtros utilizados para a seleção dos artigos do portfólio bibliográfico.

Ordem	Filtro	Descrição
1°	Exclusão de estudos repetidos	Foram excluídos os estudos repetidos que se encontravam em mais de uma base de dados
2°	Análise dos títulos	Foi analisado se os títulos continham alguma das palavras-chave utilizadas na busca e se indicavam a priorização de projetos de recursos hídricos
	Análise dos resumos	Foi analisado se os resumos continham alguma das palavras-chave utilizadas na busca e se indicavam a priorização de projetos de recursos hídricos
	Análise do objetivo do estudo	Foi verificado se o objetivo dos estudos abrangia o tema investigado
	Análise da metodologia	Foi analisado se a metodologia dos estudos se enquadrava no tipo de estudo objeto de interesse desta pesquisa
3°	Leitura dos estudos (critério de elegibilidade)	Realizou-se leitura integral dos estudos para verificar o alinhamento do conteúdo com o tema investigado

Fonte: elaborado pelos autores.

Com a busca das palavras-chave nas bases de dados, encontrou-se um PB inicial de 7.786 publicações. É relevante salientar que não houve limitação temporal na busca, uma vez que este estudo visa analisar o estado da arte sobre o tema de aplicação de modelos de ADM na priorização de projetos de recursos hídricos. Posteriormente, verificou-se o alinhamento das publicações com o objetivo deste estudo por meio das filtragens apresentadas no Quadro 4. Com a realização desse procedimento, chegou-se a um PB final de 23 publicações. Todo o processo de seleção do PB foi feito pelos dois autores deste estudo, ou seja, os filtros foram aplicados de forma individual pelos autores, e posteriormente os resultados foram comparados, com a análise das diferenças feita pelos autores em conjunto. Esse processo encontra-se sintetizado na Figura 1, elaborada com base no fluxo de informações proposto no PRISMA.

Figura 1
Processo de seleção do portfólio bibliográfico.

Para fins de ilustração, apresenta-se o Quadro 5 com o PB final, permitindo assim avançar para a apresentação dos resultados da revisão sistemática.

Quadro 5
Portfólio bibliográfico final.

ID	Ano	Autor(es)	Título	Periódicos
1	1972	Bishop, A. B.	An approach to evaluating environmental, social, and economic factors in water resources planning	Journal of the American Water Resources Association (JAWRA)
2	1976	Neely, W. P.; North, R. M.	A portfolio approach to public water project decision making	Water Resources Research
3	1979	Znotinas, N. M.; Hipel, K. W.	Comparison of alternative engineering designs	Journal of the American Water Resources Association (JAWRA)
4	1989	Anandalingam, G.; Olsson, C. E.	Multi-stage multi-attribute decision model for project selection	European Journal of Operational Research
5	1994	Michelsen, A. M.; Bargur, J.	Developing economic performance information for water management projects in North China	Water Policy and Management: Solving the Problems (Conference)
6	1995	Barbarosoglu, G.; Pinhas, D.	Capital rationing in the public sector using the analytic hierarchy process	The Engineering Economist
7	1997	Al-Kloub, B.; Al-Shemmeri, T.; Pearman, A.	The role of weights in multi-criteria decision aid, and the ranking of water projects in Jordan	European Journal of Operational Research
8	2000	Carriaga, C. C.; Schlund, S. S.	Selection of best channel design alternative for watercourse master plan	Water Resource Engineering and Water Resources Planning and Management (Conference)
9	2003	Tran, T. X. M.; Malano, H. M.; Thompson, R. G.	Application of the analytic hierarchy process to prioritise irrigation asset renewals: The case of the La Khe irrigation scheme, Vietnam	Engineering, Construction and Architectural Management
10	2004	Karnib, A.	An approach to elaborate priority preorders of water resources projects based on multi-criteria evaluation and fuzzy sets analysis	Water Resources Management
11	2006	Aurit, S. A.	The role of decision making software in effective selection of project alternatives	Water Environment Foundation (Conference)
12	2008	Zarghami, M. et al.	Extended OWA operator for group decision making on water resources projects	Journal of Water Resources Planning and Management
13	2010	Marinoni, O.; Higgins, A.; Hajkowicz, S.	A multi-criteria knapsack solution to optimise natural resource management project selection	Multiple Criteria Decision Making (Conference)
14	2010	Toosi, S. L. R.; Samani, J. M. V.; Dezfuli, A. K.	Ranking water transfer projects using fuzzy methods	Institution of Civil Engineers: Water Management (Conference)
15	2011	Anagnostopoulos, K. P.; Petalas, C.	A fuzzy multicriteria benefit-cost approach for irrigation projects evaluation	Agricultural Water Management
16	2011	Garfì, M.; Ferrer-Martí, L.	Decision-making criteria and indicators for water and sanitation projects in developing countries	Water Science and Technology
17	2012	Toosi, S. L. R.; Samani, J. M. V.	Evaluating water transfer projects using analytic network process (ANP)	Water Resources Management
18	2017	Lahtinen, T. J.; Hamalainen, R. P.; Liesio, J.	Portfolio decision analysis methods in environmental decision making	Environmental Modelling and Software
19	2017	Wu, W. et al.	Identification of Optimal Water Supply Portfolios for a Major City	Journal of Water Resources Planning and Management
20	2018	Di Matteo, M.; Maier, H. R.; Dandy, G. C.	Many-objective portfolio optimization approach for stormwater management project selection encouraging decision maker buy-in	Environmental Modelling and Software
21	2018	Silva, W. T. P.; Souza, M. A. A.	Expert system for selecting and prioritizing projects for handling urban water supply crises	Urban Water Journal
22	2019	Gan, L. et al.	Sustainable Optimization for China's Hydropower Project Investment Portfolio Using Multiobjective Decision Analysis	Mathematical Problems in Engineering
23	2020	Campos, V. R.; Cazarini, E. W.; Campos, J. N. B.	Gerenciamento de portfólio de projetos de saneamento nos Comitês das Bacias PCJ: método multicritério para hierarquização	Engenharia Sanitária e Ambiental

• PCJ: Piracicaba, Capivari e Jundiaí; ANP: Analytic Network Process.
Fonte: elaborado pelos autores.

Contemplados todos os aspectos metodológicos adotados para a realização deste estudo, a próxima seção discorre sobre a apresentação dos resultados de pesquisa, primeiramente com a análise quantitativa da produção, mediante a técnica de Bibliometria empregada (Seção 5.1), e posteriormente com a metassíntese realizada (Seção 5.2), investigando o conteúdo dos estudos quanto à aplicação de modelos de ADM na priorização de projetos de recursos hídricos.

RESULTADOS

Nesta seção, apresentam-se os resultados da análise bibliométrica e da metassíntese do PB, que representam a aplicação de modelos de ADM na priorização de projetos de recursos hídricos na literatura.

Análise bibliométrica

Esta seção consiste em analisar o PB pelo mapeamento bibliométrico e a análise de interações entre as características das publicações, seguindo os objetivos das leis bibliométricas de Lotka (1926), Bradford (1934) e Zipf (1949). A lei de Lotka está relacionada à produtividade dos autores. Já a lei de Bradford está associada à dispersão da literatura periódica científica investigada. Por último, a lei de Zipf refere-se ao levantamento dos temas com maior relevância. A análise bibliométrica realizada está dividida em três subitens, explicitados a seguir.

Dispersão do portfólio bibliográfico

Com 23 artigos que foram publicados no período de 1972 a 2020, o PB demonstra a evolução da aplicação de modelos de ADM na priorização de projetos de recursos hídricos. Essas publicações estão divididas entre 18 artigos publicados em revistas e cinco artigos publicados em eventos.

Existem 18 diferentes origens para os artigos pertencentes ao PB, entre as quais destacam-se os periódicos: European Journal of Operational Research; Environmental Modelling and Software; Journal of the American Water Resources Association; Journal of Water Resources Planning and Management; e Water Resources Management. Isso pode ser observado no Quadro 6.

Quadro 6
Distribuição do portfólio bibliográfico quanto à origem das publicações.

Periódico	N° de publicações	JCR	SJR
Water Resources Management	2	2,924	1,01 (Q1)
Journal of Water Resources Planning and Management	2	2,406	1,06 (Q1)
Journal of the American Water Resources Association	2	2,472	0,98 (Q1)
Environmental Modelling and Software	2	4,807	1,9 (Q1)
European Journal of Operational Research	2	4,213	2,36 (Q1)
Water Science and Technology	1	1,638	0,47 (Q2)
Water Resources Research	1	4,309	1,8 (Q1)
Water Resource Engineering and Water Resources Planning and Management	1	Evento	Evento
Water Policy and Management: Solving the Problems	1	Evento	Evento
Water Environment Foundation	1	Evento	Evento
Urban Water Journal	1	1,888	0,6 (Q1)
The Engineering Economist	1	Não possui	Não possui
Mathematical Problems in Engineering	1	1,009	0,28 (Q2)
Multiple Criteria Decision Making	1	Evento	Evento
Institution of Civil Engineers: Water Management	1	Evento	Evento
Engenharia Sanitária e Ambiental	1	0,325	0,19 (Q3)
Engineering, Construction and Architectural Management	1	2,160	0,68 (Q1)
Agricultural Water Management	1	4,021	1,37 (Q1)

• JCR: Journal Citations Report; SJR: SCImago Journal & Country Rank.
Fonte: elaborado pelos autores.

No intuito de reconhecer a relevância dos periódicos, cabe verificar o foco das suas publicações, assim como o fator de impacto. Nesse sentido, consultaram-se os índices definidos pelas bases Isiknowledge, por meio do Journal Citations Report (JCR), e Scopus, por meio do SCImago Journal & Country Rank (SJR). Entre as 18 origens, seis não possuem JCR e SJR. Logo, levando-se em consideração os demais periódicos, o valor médio do JCR foi de 2,895, com desvio padrão de 1,25.

Entre os quatro periódicos mais relevantes, a European Journal of Operational Research é o único que não possui como foco de publicações a temática de recursos hídricos. Essa revista contribui para a metodologia de pesquisa operacional e para o exercício da tomada de decisão. Possui como fator de impacto os índices de 4,213 (JCR) e de 2,36 (SJR). Cabe destacar que esse periódico está no Quartil 1 de maior relevância na temática sobre ciência da computação.

O Environmental Modelling and Software publica estudos sobre modelagem ambiental e software, de forma a representar, compreender, prever ou gerir o comportamento dos sistemas ambientais em todas as escalas práticas e comunicando essas melhorias ao público científico e profissional. Esse periódico possui como fator de impacto os índices de 4,807 (JCR) e de 1,9 (SJR)

O Journal of the American Water Resources Association publica artigos caracterizados pela ampla abordagem da temática de recursos hídricos. Esse periódico possui como fator de impacto os índices de 2,472 (JCR) e de 0,98 (SJR). Encontra-se no Quartil 1, o que indica sua relevância para o tema de processos da superfície da terra.

O Journal of Water Resources Planning and Management aborda o desenvolvimento de teorias e métodos e suas aplicações em problemas sociais, administrativos, econômicos, de engenharia e de planejamento, com foco em gestão de recursos hídricos. Esse periódico possui como fator de impacto os índices de 2,406 (JCR) e de 1,06 (SJR). Salienta-se que o Journal está no Quartil 1, o que demonstra sua importância para a temática de engenharia civil e estrutural.

Já o Water Resources Management é um fórum que gera conhecimento sobre gestão de recursos hídricos. Especificamente, a revista publica artigos que versam sobre controle, desenvolvimento, conservação e avaliação de recursos hídricos, com foco em políticas e estratégias. Essa revista possui como fator de impacto os índices de 2,924 (JCR) e de 1,01 (SJR). Assim como o periódico de destaque anterior, este também se encontra no Quartil 1, o que mostra sua relevância para o tema de engenharia civil e estrutural.

Tratando-se do fator de impacto de produção, o periódico Environmental Modelling and Software foi o que obteve o maior JCR, com o valor de 4,807. Já o European Journal of Operational Research obteve o maior SJR, com o valor de 2,36. Ambos aparecem como destaques no PB.

Produtividade dos autores

Constataram-se 56 autores responsáveis pelas 23 publicações contidas no PB. A fim de analisar a sua produtividade, esses autores foram buscados no SemanticScholar, já que essa base de dados oferece informações como número de publicações, H-index, número de citações e número de citações altamente influentes (Quadro 7). O H-index indica o impacto do estudo publicado com base nas citações realizadas. Já as citações altamente influentes são aquelas que impactam outras publicações de forma significativa, permitindo o entendimento de como as publicações se baseiam e se relacionam (SEMANTIC SCHOLAR, 2020).

Quadro 7
Produtividade dos autores.

Autores	Publicações	H-index	Citações	Citações altamente influentes
Al-Kloub, B.	10	5	321	8
Al-Shemmeri, T.	36	11	759	20
Anagnostopoulos, K. P.	50	18	1.092	80
Anandalingam, G.	101	24	2447	115
Ardakanian, R.	79	12	449	24
Aurit, S. A.	7	1	4	0
Barbarosoglu, G.	14	11	1.930	146
Bargur, J.	5	3	32	0
Bishop, A. B.	84	9	344	14
Campos, J. N. B.	52	6	178	12
Campos, V. R.	23	3	30	0
Carriaga, C. C.	15	2	44	1
Cazarini, E. W.	6	1	20	1
Chen, X.	14	4	35	3
Di Matteo, M.	13	4	51	0
Dandy, G. C.	242	44	10.776	500
Dezfuli, A. K.	32	13	542	34
Ferrer-Martí, L.	45	17	911	41
Gan, L.	28	8	249	11
Garfì, M.	47	21	1.235	62
Hajkowicz, S.	76	28	3.013	191
Hamalainen, R. P.	295	41	6.252	218
Higgins, A.	84	30	2.532	91
Hipel, K. W.	454	50	9.357	340
Hu, L.	31	10	324	13
Jiang, P.	6	0	4	0
Karnib, A.	7	3	56	3
Lahtinen, T. J.	9	3	53	0
Liesio, J.	46	14	902	51
Maheepala, S.	66	14	511	22
Maier, H. R.	344	56	14.923	682
Malano, H. M.	146	21	1.752	69
Marchi, A.	49	12	500	26
Marinoni, O.	66	18	1.164	66
Memariani, A.	30	8	333	16
Michelsen, A. M.	40	10	869	38
Mirza, F.	36	11	875	25
Neely, W. P.	11	7	224	14
North, R. M.	34	7	124	1
Olsson, C. E.	27	9	615	27
Pearman, A.	58	19	1.900	105
Petalas, C.	34	15	890	45
Pinhas, D.	1	1	32	1
Samani, J. M. V.	54	9	263	15
Schlund, S. S.	2	0	0	0
Silva, W. T. P.	14	3	17	0
Souza. M. A. A.	37	3	26	0
Szidarovszky, F.	372	36	4.521	183
Thompson, R. G.	170	24	2.210	72
Toosi, S. L. R.	6	2	46	1
Tran, T. X. M.	4	3	328	11
Wu, W.	25	2	38	0
Zarghami, M.	33	9	643	48
Znotinas, N. M.	2	2	35	0

Fonte: elaborado pelos autores.

Analisando esses dados, percebe-se que o autor que mais se destaca é Holger R. Maier, por possuir o maior H-index (56) e o maior número de citações (14923) e citações altamente influentes (682). Entretanto, não é ele quem possui o maior número de publicações, mas sim o autor Keith W. Hipel, com 454 publicações registradas no SemanticScholar.

Entre os autores que têm o maior número de publicações do portfólio, destacam-se Holger R. Maier, Dandy, Graeme C., Jamal Mohammad Vali Samani e Seyedeh Leila Razavi Toosi.

Possuindo dois artigos em conjunto, os autores Holger Maier e Graeme Dandy fazem parte do corpo docente da Universidade de Adelaide, onde ministram a disciplina de Engenharia Ambiental. Ambos compartilham como interesse de pesquisa a otimização no uso de recursos naturais, principalmente de recursos hídricos, e é comum a parceria em pesquisas publicadas nas quais exista coautoria. Além dos estudos realizados sobre a temática, ressaltam-se ainda a participação de Maier na editoria do periódico Environmental Modelling and Software e a fundação e o desenvolvimento realizados por Dandy de um software transformado em consultoria, o Optimatics Pty Ltd., com foco na otimização do abastecimento de água e do saneamento básico de diversos países.

Da mesma forma, os autores Samani e Tossi escreveram dois artigos juntos. Samani é professor da Universidade Tarbiat Modares, onde leciona disciplinas de Engenharia Hídrica. Os interesses de pesquisa do autor correspondem à gestão de recursos hídricos, principalmente no que tange a modelos matemáticos para simulação e controle de inundações, além da gestão de operações em reservatórios de água. Já Toosi foi orientada por Samani durante o curso de doutorado que realizou na Universidade Tarbiat Modares, o que resultou em publicações em parceira de estudante e professor.

Dada a relevância da análise dos autores, mostra-se importante a demonstração da rede de interações das instituições dos autores que foi produzida pelo UCINET 6 em conjunto com o NetDraw (Figura 2).

Figura 2
Rede de interação entre as instituições no período de 1972–2020.

Entre as 23 publicações pertencentes ao PB, foram constatadas 32 instituições no PB, entretanto 12 instituições não apresentam interações. A Figura 2 permite perceber que a grande maioria das instituições ou não interage com nenhuma outra instituição (nó pequeno) ou interage somente com uma instituição (nó médio). Apenas quatro instituições possuem grau maior de interação (nó grande): Bu-Ali Sina University; University of Arizona; University of Tabriz; e Sharif University of Technology. Os autores pertencentes a essas instituições são, respectivamente: Mematiani, Szidarovszky, Zarghami e Ardakanian.

As instituições Bu-Ali Sina University, University of Tabriz e Sharif University of Technology estão localizadas no Irã, porém em cidades diferentes. Já a University of Arizona está localizada nos Estados Unidos. Outro ponto importante da Figura 2 é o destaque a duas outras universidades: Tarbiat Modares University e University of Adelaide. Elas estão evidenciadas por serem as instituições das quais os autores destaque do PB pertencem.

Temas relevantes

A análise das palavras-chave das publicações permite a percepção de informações importantes a respeito da evolução do tema estudado, que demonstram as principais linhas de estudo dos últimos anos ou do período analisado, possibilitando verificar a tendência de linhas de pesquisa e temas (CALAZANS, MASSON & MARIANO, 2015)

No intuito de levantar os temas de maior importância no assunto investigado, as opções “co-ocorrência” e “todas as palavras-chave” foram selecionadas no software VOSviewer para identificar as palavras-chave entre as 23 publicações (Figura 3).

Figura 3
Rede de co-ocorrênca de palavras-chave no período de 1972–2020.

Para a elaboração dessa rede, consideraram-se as palavras que ocorreram duas ou mais vezes no PB, de modo que 39 palavras-chave participaram da rede. Considerando a distribuição dessas palavras-chave na rede, observou-se a variedade de termos inseridos no PB final. No entanto, identificou-se maior foco em cinco temas: decision making (11 ocorrências e 66 links); water resources (nove ocorrências e 43 links); water management (nove ocorrências e 57 links); e water supply (sete ocorrências e 42 links).

Isso indica que existe uma relação de centralidade e, portanto, uma densidade maior entre os tópicos que apresentam maior volume de ocorrências. Consequentemente, termos mais dispersos indicam a baixa incidência de estudos sobre assuntos que são menos discutidos.

A contribuição da análise da rede de palavras-chave está na sua importância para os pesquisadores terem uma referência sobre o tema estudado, que possa ser utilizada como um guia para trabalhos futuros. Em relação à aplicação de modelos de ADM na priorização de projetos de recursos hídricos, observa-se que vêm sendo abordado os temas de tomada de decisão, recursos hídricos, gestão e abastecimento de água. Logo, essas palavras-chave, identificadas como destaques, podem ser tomadas como base para estudos futuros.

Metassíntese

Por meio da literatura de priorização de projetos e de metodologias multicritério de apoio à decisão, definiram-se parâmetros norteadores para detalhar de forma profunda e estruturada o conteúdo dos artigos do PB, provocando comparações entre eles. Os parâmetros e os achados relacionados estão apresentados nos próximos subitens.

Aplicação do modelo de priorização de projetos de recursos hídricos

Esta pesquisa analisa, na produção científica e de forma estruturada, a aplicação de modelos de ADM na priorização de projetos de recursos hídricos. Nesse sentido, o primeiro parâmetro a ser investigado na metassíntese refere-se a verificar se os modelos de priorização de projetos propostos nas publicações pertencentes ao PB foram aplicados em alguma situação, seja ela real, com dados empíricos, como em um estudo de caso, por exemplo, seja ela fictícia, como forma de ilustração. Nesta etapa também será apresentado, de forma breve, o objetivo de cada estudo, e isso servirá de base para as etapas posteriores.

• Publicações sem aplicação de modelo de priorização de projetos de recursos hídricos: das 23 publicações pertencentes ao PB, somente uma não aplicou um modelo de priorização (GARFI & FERRER-MARTÍ, 2011). Esse artigo inicialmente apresenta critérios gerais que podem ser utilizados em priorização de todos os tipos de projetos de recursos hídricos e posteriormente apresenta critérios específicos para projetos de abastecimento de água, tratamento de água e saneamento básico. Esses critérios estão apresentados e organizados de acordo com as dimensões analisadas no item 5.2.5.

• Publicações com aplicação de modelo de priorização de projetos de recursos hídricos (com dados empíricos): entre as publicações que elaboraram um modelo e o aplicaram em uma situação real, com dados empíricos e por meio de estudo de caso, encontram-se 18 artigos (NEELY & NORTH, 1976; ANANDALINGAM & OLSSON, 1989; MICHELSEN & BARGUR, 1994; BARBAROSOGLU & PINHAS, 1995; AL-KLOUB, AL-SHEMMERI & PEARMAN, 1997; CARRIAGA & SCHLUND, 2000; TRAN, MALANO & THOMPSON, 2003; AURIT, 2006; ZARGHAMI et al., 2008; MARINONI, HIGGINS & HAJKOWICZ, 2010; TOOSI, SAMANI & DEZFULI, 2010; ANAGNOSTOPOULOS & PETALAS, 2011; TOOSI & SAMANI, 2012; WU et al., 2017; DI MATTEO, MAIER & DANDY, 2018; SILVA & SOUZA, 2018; GAN et al., 2019; CAMPOS, CAZARINI & CAMPOS, 2020).

Os estudos de Neely e North (1976), Anandalingam e Olsson (1989) e Carriaga e Schlund (2000) tiveram seus modelos de priorização de projeto aplicados nos Estados Unidos. No entanto, o primeiro teve aplicação nos projetos de recursos hídricos da Tennessee Valley Authority, uma corporação de propriedade federal. O segundo utilizou seu modelo para escolher um projeto de fornecimento de água potável para a cidade de Newport News. E o terceiro teve seu modelo aplicado para o plano de curso do Middle New River, em Maricopa, Arizona, para avaliar cinco projetos de drenagem que transmitiriam com segurança as inundações.

Os autores Marinoni, Higgins e Hajkowicz (2010), Wu (2017) e Di Matteo, Maier e Dandy (2018) aplicaram seu modelo de priorização de projetos na Austrália. A publicação de 2010 apresentou um estudo de caso no sistema fluvial Swan and Canning, enquanto as de 2017 e 2018 determinaram a combinação ideal de diferentes tipos de fontes de água que forneceriam as melhores compensações entre objetivos conflitantes sob diferentes condições climáticas futuras.

Nos estudos de Zarghami et al. (2008), Toosi, Samani e Dezfuli (2010) e Toosi e Samani (2012), os autores apresentaram modelos de priorização aplicados no Irã. No entanto, o primeiro estudo referiu-se à bacia hidrográfica de Sefidrud e, nos demais, a aplicação foi feita em projetos de transferência de água nas bacias do rio Karun.

Michelsen e Bargur (1994) e Gan et al. (2019) aplicaram seus modelos de priorização de projetos na China. No estudo de 1994, os autores avaliaram o desempenho econômico dos projetos de água propostos e os impactos das alternativas de gestão de recursos para o norte da China. Já no estudo de 2019, os pesquisadores estudaram o investimento em projetos de hidrelétricas sustentáveis nos rios Nanya e Donggu.

Os estudos de Silva e Souza (2018) e Campos, Cazarini e Campos (2020) foram aplicados no Brasil. Na primeira pesquisa houve a seleção de projetos para lidar com a crise de abastecimento de água. Já no segundo estudo, ocorreu a aplicação de um modelo matemático em um portfólio de 14 empreendimentos que envolviam três bacias dos estados de São Paulo e Minas Gerais.

De forma diversa, no que diz respeito à aplicação de modelos na tentativa de solucionar problemas em diferentes partes do mundo, em 1995, Barbarosoglu e Pinhas propuseram um modelo para amenizar o problema de racionamento de capital da Administração de Água e Esgoto de Istambul (IWSA), na Turquia. No estudo de Al-Kloub, Al-Shemmeri e Pearman (1997), os autores realizaram em 1997 um estudo de caso para classificar os principais projetos de recursos hídricos na Jordânia, Ásia. Em 2003, um modelo foi aplicado para priorizar a renovação de ativos na irrigação La Khe, no Vietnã, pelos autores Tran, Malano e Thompson (2003). Em 2006, o autor Aurit avaliou no seu artigo alternativas de controle de odores em uma instalação de tratamento de efluentes. Já Anagnostopoulos e Petalas (2011) avaliaram três projetos alternativos de irrigação na parte grega da bacia hidrográfica do rio Nestos com o objetivo de satisfazer as demandas de água nas prefeituras de Kavala, Drama e Xanthi da Macedônia Trácia, na região leste da Grécia.

• Publicações com aplicação de modelo de priorização de projetos de recursos hídricos (com dados ilustrativos): somente quatro publicações do PB utilizaram dados ilustrativos para fins de aplicação do modelo de priorização (BISHOP, 1972; ZNOTINAS & HIPEL, 1979; KARNIB, 2004; LAHTINEN, HAMALAINEN & LIESIO, 2017).

A mais antiga do portfólio, de 1972, apresentou um problema exemplo com quatro alternativas de controle de inundação. Nesse estudo, o autor enfatiza as semelhanças entre a avaliação de projetos de transporte e de recursos hídricos, sugerindo a utilização de um modelo de priorização de projetos já empregado no setor de transporte para selecionar um projeto entre quatro alternativas fictícias.

Por último, de forma mais subjetiva, os autores Znotinas e Hipel, em 1979, avaliaram projetos alternativos de engenharia na gestão de recursos hídricos. No ano de 2004, o autor Karnib aplicou um modelo em um caso fictício de cinco projetos de recursos hídricos. Já na publicação de 2017, Lahtinen, Hamalainen e Liesio ilustraram um modelo de priorização descrevendo o planejamento dos serviços urbanos de água.

Métodos de priorização de projetos

Este segundo estágio da metassíntese diz respeito à identificação do método de priorização de projetos utilizado nos estudos pertencentes ao PB. Apesar de o objetivo desse estudo envolver a análise da produção científica no que diz respeito à aplicação de modelos de ADM na priorização de projetos de recursos hídricos, identificaram-se outros métodos de priorização desses tipos de projetos e mostrou-se interessante incluí-los no PB a fim de agregar maior conhecimento ao tema. A distribuição dos estudos quanto aos métodos de priorização de projetos está sintetizada na Figura 4 e é descrita de forma detalhada a seguir. Cabe salientar que foram utilizados como referência os métodos descritos anteriormente no Quadro 1.

Figura 4
Distribuição do portfólio bibliográfico quanto à utilização dos métodos de priorização de projetos.

Somente a publicação mais antiga do PB final utilizou o método de árvore de decisão (BISHOP, 1972) em um estudo ilustrativo sobre controle de inundação. Quanto ao método de programação matemática, dois foram os estudos que o utilizaram de forma isolada (CARRIAGA & SCHLUND, 2000; WU et al., 2017), e o primeiro utilizou o código otimizador GAMS-MINOS. Outro trabalho que utilizou o método foi o de Neely e North (1976), no entanto os autores o combinaram com o método financeiro, no qual se realizou a modelagem de programação linear para a maximização do valor presente líquido e a maximização da relação custo-benefício. Seguindo a linha do método financeiro, os autores Michelsen e Bargur (1994) utilizaram o modelo macroeconômico para analisar o desempenho econômico de projetos de água propostos.

Os autores Toosi, Samani e Dezfuli (2010) empregaram diferentes métodos para classificar projetos de transferência de água, quais sejam: conjuntos fuzzy de minimização e maximização; grupo TOPSIS fuzzy; método de Bonissone e o software FDM. De forma isolada, duas publicações utilizaram a lógica fuzzy (ZNOTINAS & HIPEL, 1979; KARNIB, 2004).

Os 15 artigos restantes utilizaram métodos de ADM (ANANDALINGAM & OLSSON, 1989; BARBAROSOGLU & PINHAS, 1995; AL-KLOUB, AL-SHEMMERI & PEARMAN, 1997; TRAN, MALANO & THOMPSON, 2003; AURIT, 2006; ZARGHAMI et al., 2008; MARINONI, HIGGINS e HAJKOWICZ, 2010; ANAGNOSTOPOULOS e PETALAS, 2011; GARFI & FERRER-MARTÍ, 2011; TOOSI & SAMANI, 2012; LAHTINEN, HAMALAINEN & LIESIO, 2017; DI MATTEO, MAIER & DANDY, 2018; SILVA & SOUZA, 2018; GAN et al., 2019; CAMPOS, CAZARINI & CAMPOS, 2020), algumas vezes de forma isolada, outras vezes combinados a outros métodos.

Fazendo uma abordagem mais aprofundada dessas publicações, no estudo de 1989, os autores Anandalingam e Olsson aplicaram o método de ADM utilizando funções de valores multiatributo com a aplicação da teoria da utilidade multiatribuída (MAUT). Já a pesquisa de Garfì e Ferrer-Martí (2011), que não teve um modelo de priorização aplicado, apresentou uma lista ampla e abrangente de critérios e indicadores de avaliação como diretriz para métodos de ADM sobre projetos de água e saneamento básico em pequenas comunidades rurais de países em desenvolvimento.

Nos estudos de Aurit (2006) e Lahtinen, Hamalainen e Liesio (2017), foi aplicado o método ADM com o auxílio de softwares. No primeiro foi utilizado o Criterium Decision Plus (CDP), e no segundo foi aplicado o Robust Portfolio Modeling (RPM), com o apoio do software RPM-Decisions.

Em 2008, Zarghami et al. empregaram o método de ADM, seguindo as indicações de MCDM combinado com um modelo estatístico e aplicando a média ponderada ordenada (OWA). Já no artigo de Marinoni, Higgins e Hajkowicz (2010), foi utilizado o método ADM com a aplicação do Multi-Criteria Analysis Tool (MCAT).

Quatro publicações utilizaram o ADM aplicando os métodos de comparação entre pares AHP e ANP (BARBAROSOGLU & PINHAS, 1995; TRAN, MALANO & THOMPSON, 2003; ANAGNOSTOPOULOS & PETALAS, 2011; TOOSI & SAMANI, 2012). No entanto, além desses métodos, no estudo de 1995 foi utilizado o método de programação matemática em um modelo de números inteiros mistos e, no de 2011, foi utilizada a lógica fuzzy. E o estudo de 2012 foi o que utilizou o ANP.

Já os autores Al-Kloub, Al-Shemmeri e Pearman (1997) utilizaram uma combinação de métodos ADM. No estudo, foi aplicado o Multi-Criteria Decision Aid (MCDA) em conjunto com o método de organização de ranking de preferências PROMETHEE, com o auxílio do Judgemental Analysis System (JAS).

No que concerne às quatro publicações mais recentes do PB final, no estudo de Silva e Souza (2018) foi aplicada a MCDA, associada ao Compromise Programming Method, de forma a desenvolver o modelo Urban Water Supply Crisis Expert System (UWC-ES). Também no mesmo ano, os autores Di Matteo, Maier e Dandy utilizaram o Best Management Practice (BMP) com programação meta-heurística para a realização do modelo de gestão de abastecimento de água. Já na pesquisa realizada por Gan et al. em 2019, os autores utilizaram o Multiple Objective Decision-Making (MODM) com os algoritmos Multiobjective Adaptive Particle Swarm Optimization (MOAPSO) e Particle Swarm Optimization (PSO). E por fim, em 2020, os autores Campos, Cazarini e Campos utilizaram o PROMETHEE II associado ao método GAIA e ao sistema de apoio à decisão D-Sight.

Após discorrer sobre a aplicação dos métodos de priorização de projetos utilizados em cada uma das publicações do PB, conclui-se que os métodos de ADM são os mais utilizados. Isso se deve ao fato de eles oferecerem a possibilidade de considerar diversos critérios, tanto quantitativos quanto qualitativos, para a priorização de projetos de recursos hídricos.

Interesses envolvidos

Pelo fato de a água ser um recurso limitado e os projetos de recursos hídricos demandarem um alto investimento, desperta-se o interesse de diversos grupos, entre os quais: a comunidade, as companhias de saneamento, os órgãos financiadores, o governo e questões políticas. Nesse sentido, investigou-se no PB quais os setores de interesses identificados quanto à aplicação dos modelos de priorização de projeto de recursos hídricos apresentados nas pesquisas.

Como destacado na Figura 5, em 52% das publicações, não foi citado nenhum tipo de setor de interesse. No entanto, em 11 artigos foram mencionados os tipos de setores envolvidos e interessados na aplicação da priorização dos projetos (NEELY & NORTH, 1976; MICHELSEN & BARGUR, 1994; BARBAROSOGLU & PINHAS, 1995; CARRIAGA & SCHLUND, 2000; AURIT, 2006; ZARGHAMI et al., 2008; MARINONI, HIGGINS & HAJKOWICZ, 2010; WU et al., 2017; DI MATTEO, MAIER & DANDY, 2018; SILVA & SOUZA, 2018; CAMPOS, CAZARINI & CAMPOS, 2020).

Figura 5
Distribuição do portfólio bibliográfico quanto à identificação dos grupos de interesse na priorização de projetos.

O governo foi o grupo de interesse mais citado em todas essas 11 publicações. Isso se dá pelo fato de as companhias de saneamento, em sua maioria, serem instituições governamentais. Os autores Neely e North (1976) e Barbarosoglu e Pinhas (1995), além de citarem o governo, apontaram os órgãos financiadores como um grupo de interesse, uma vez que esses órgãos estabelecem algumas regras que devem ser seguidas. Na publicação de 1995, os autores identificaram o Banco Mundial como o órgão financiador do projeto.

Outros artigos apontaram as questões políticas (NEELY & NORTH, 1976) e companhias de saneamento (AURIT, 2006; SILVA & SOUZA, 2018; CAMPOS, CAZARINI & CAMPOS, 2020) como grupos de interesse. Além desses setores, no artigo de 2006 também se destacou que os funcionários da operação e manutenção do projeto eram um grupo de bastante interesse, ressaltando a importância do envolvimento das pessoas que operarão no pós-projeto. Já no artigo de 2020, a Associação de Engenheiros, Arquitetos e Agrônomos foi citado como grupo de interesse na priorização de projetos.

Atores envolvidos na decisão e técnicas que apoiam o consenso da decisão

A utilização dos métodos de ADM, na maioria das publicações pertencentes ao PB, instigou a investigação dos atores que interferem nas decisões, os reais tomadores de decisão, assim como as técnicas aplicadas para que essas decisões ocorram. No entanto, de forma similar à análise do parâmetro anterior, a identificação dos atores, decisores e técnicas ainda ocorre de maneira tímida nas publicações, uma vez que poucos foram os artigos que apontaram essas informações.

Entre as 23 publicações, 10 foram as que identificaram os atores e/ou decisores (ANANDALINGAM & OLSSON, 1989; BARBAROSOGLU & PINHAS, 1995; AL-KLOUB, AL-SHEMMERI & PEARMAN, 1997; AURIT, 2006; ZARGHAMI et al., 2008; MARINONI, HIGGINS & HAJKOWICZ, 2010; WU et al., 2017; DI MATTEO, MAIER & DANDY, 2018; SILVA & SOUZA, 2018; CAMPOS, CAZARINI & CAMPOS, 2020) e dois apontaram a técnica utilizada para apoiar o consenso da decisão (AL-KLOUB, AL-SHEMMERI & PEARMAN, 1997; ZARGHAMI et al., 2008).

No artigo de Anandalingam e Olsson (1989), os autores apontaram o gerente da cidade de Newport News como o decisor para selecionar um projeto de fornecimento de água potável para a cidade. Já os autores Barbarosoglu e Pinhas (1995) citaram os gerentes de nível médio e superior da Administração de Água e Esgoto do Istambul (IWSA) como atores participantes do processo decisório, no entanto os principais tomadores de decisão identificados foram os gerentes dos departamentos de finanças, planejamento e de relações com o cliente da IWSA. Outro gerente apontado como ator participante da decisão, porém em outro artigo (AURIT, 2006), foi o gerente do projeto de recursos hídricos em conjunto com o proprietário da companhia responsável pela construção desse projeto.

De forma distinta, em 1997 os autores Al-Kloub, Al-Shemmeri e Pearman indicaram a existência de decisores principais, no entanto não os identificaram. Além disso, nesse artigo foi apontado um dos coautores como facilitador e as técnicas brainstorming e técnica nominal de grupo como apoiadoras do consenso da decisão. Já no estudo de Zarghami et al. (2008), foram citadas como atores influenciadores da decisão as seis autoridades de água da Bacia Hidrográfica de Sefidrud, com a aplicação dos sistemas de suporte à decisão em grupo (GDSS) como técnica apoiadora do consenso da decisão.

No estudo de Marinoni, Higgins e Hajkowicz (2010), os atores envolvidos na decisão faziam parte da equipe do Swan River Trust que gerencia o Drainage Nutrient Intervention Program (DNIP), que financia projetos na Bacia de Canicultura para remover nutrientes e sedimentos antes que eles entrem no sistema fluvial. De forma inusitada, em 2017, o autor Wu identificou um departamento como ator ativo na decisão do projeto hídrico, o Departamento de Meio Ambiente, Água e Recursos Naturais da Austrália do Sul (DEWNR).

Em Silva e Souza (2018), alguns agentes governamentais foram identificados como tomadores da decisão. Já no estudo de Di Matteo, Maier e Dandy (2018), 16 tomadores de decisão das autoridades governamentais locais e da autoridade de gestão da bacia hidrográfica fizeram parte do processo decisório. Por fim, em Campos, Cazarini e Campos (2020), os decisores representavam as seguintes entidades: sociedade civil, Comitê da Agência das Bacias dos Rios Piracicaba, Capivari e Jundiaí e área de saneamento.

Dimensões analisadas e critérios utilizados

Na literatura, sob a ótica da avaliação de desempenho no desenvolvimento sustentável, percebe-se que as dimensões que mais impactam os projetos de recursos hídricos são as dimensões ambiental, social, econômica, política e técnica (KARNIB, 2004; PIZELLA & SOUZA, 2007; IBGE, 2017). Nota-se que é com base nessas dimensões que são criados os critérios pelos quais os projetos são avaliados e selecionados. Corroborando essa afirmação, a complexidade dos projetos hídricos envolve múltiplos critérios (MELO et al., 2018).

Nesse sentido, verificou-se no PB quais dimensões e critérios (Quadro 8) foram apontados nos artigos do PB. Cabe ressaltar que se adotaram no Quadro 8 as identificações dos artigos apresentadas no Quadro 5 e que, pelo fato de as publicações de identificação 5, 7, 9, 19 e 22 não apresentarem dimensões e/ou critérios, elas não foram incluídas no quadro. Outro fator importante a ser salientado é que a classificação dos critérios em relação às dimensões foi baseada nas informações apresentadas nos artigos, o que significa que um critério específico pode ser classificado em diferentes dimensões — isso dependerá da forma como ele foi considerado no artigo.

Quadro 8
Dimensões e critérios encontrados no portfólio bibliográfico.

ID	Dimensões	Critérios
1	Ambiental	Oportunidades de recreação local.
	Social	Planejamento e instalações comunitárias; impacto comunitário.
	Econômica	Economia regional; efeito nos impostos.
2	Econômica	Valor presente líquido; relação custo benefício.
3	Ambiental	Vida selvagem.
	Social	Recreação social.
	Econômica	Custo de capital.
	Política	Abastecimento de água.
	Técnica	Agricultura; pesca.
4	Ambiental	Impacto ao meio ambiente.
	Social	Impacto social; abastecimento de água futuro.
	Econômica	Investimento; custo anual.
	Política	Confiabilidade.
6	Ambiental	Benefícios ambientais.
	Social	Satisfação dos clientes.
	Econômica	Valor presente líquido; tamanho do projeto.
	Política	Tempo de comissionamento; preferências gerenciais.
8	Econômico	Custos com escavação de canal e terraplanagem; estruturas hidráulicas; aquisição de direito de passagem e realização de drenagem; trabalho de revegetação; recuperação de água; mobilização; engenharia; contingência; operação; manutenção; reparo.
10	Ambiental	Novos recursos energéticos; novos ecossistemas.
	Social	Desenvolvimento econômico das regiões mais pobres.
	Econômica	Custo efetivo; motivação de fundos monetários.
	Técnica	Design; necessidades de terra; quantidade de água; alocação de água doméstica e de água de irrigação; emprego do setor agrícola.
11	Econômica	Questões tecnológicas (confiabilidade, desempenho, previsibilidade); construções dos redes (número de unidades de processo, dutos, implementação em fases); impactos nas operações existentes (capacidade do processo, construção, uso do gás digestor existente); operações e manutenção (preocupações com a saúde, gerenciamento de risco, complexidade operacional, operação sazonal, pessoal).
12	Ambiental	Impacto ambiental.
	Social	Participação do público; criação de emprego.
	Econômica	Custo-benefício.
	Técnica	Atribuição de água a uso prioritário; número de beneficiários; apoio a outros projetos.
13	Econômica	Redução de nitrogênio e de fósforo; oportunidades ambientais; disponibilidade de terras; restrições de locais; gestão contínua; benefícios sociais e estratégicos.
14	Ambiental	Prioridade de uso; efeitos ambientais negativos.
	Social	Emprego.
	Econômica	Custo-benefício.
	Política	Compatibilidade com os atos nacionais da água; efeitos negativos em outros projetos; gama de conflitos entre as partes interessadas.
15	Ambiental	Controle de inundação; maior recarga de águas subterrâneas; bombeamento reduzido de água subterrânea; melhoria da qualidade do solo.
	Social	Qualidade de vida; sustentabilidade para fazendas pequenas.
	Econômica	Aumento da produção; emprego; investimento pré e pós-produção.
16	Ambiental	Impacto ambiental.
	Social	Acesso e participação da comunidade local; cultura local; igualdade e migração; saúde; consciência pública; padrão de vida.
	Econômica	Custo; renda; emprego.
	Técnica	Tecnologia; gestão.
17	Ambiental	Diminuir limite de origem; danos à floresta; danos à vida selvagem; danos a aquíferos.
	Social	Danos ao patrimônio cultural; obtenção de terras; autorização; impactos ambientais; emprego; gestão de inundações; recreação e turismo; projeto de gestão
	Econômica	Fornecimento potável, industrial e agrícola; custo de refinaria; obtenção de terras; parâmetro de transferência de água industrial, de água potável e de água agrícola; desenvolvimento agrícola e industrial; emprego.
18	Ambiental	Redução na liberação de fósforo e nitrogênio; impactos nas mudanças climáticas.
	Econômica	Economia de longo prazo; custos de implementação; redução na demanda de água.
20	Ambiental	Melhora na qualidade da água; capacidade de captação de águas pluviais; vegetação urbana.
	Social	Melhoria de amenidades.
	Econômica	Custo econômico.
21	Ambiental	Temperatura no mês mais quente; temperatura média; temperatura no mês mais frio; umidade relativa no mês mais chuvoso; umidade relativa média; umidade relativa no mês mais seco; precipitação no mês mais chuvoso; precipitação média mensal; precipitação no mês mais seco; sazonalidade; abundância ou falta de abastecimento de água.
	Socioeconômica	Número médio de pessoas por família; idade do chefe da família; renda familiar bruta; patrimônio familiar; classe social familiar; atitude social da família em relação à conservação dos recursos naturais; preferência da família por determinado tipo de residência; taxa de crescimento populacional do meio urbano; densidade populacional do ambiente urbano; nível de escolaridade da população do meio urbano (indicador analfabetismo funcional em pessoas com idade igual ou superior a 15 anos); nível de industrialização.
	Gerencial	Intermitência no sistema urbano de abastecimento de água; porcentagem de medição; pressão média na rede de distribuição; perdas no sistema de distribuição; tarifa de água cobrada; política tarifária aplicada, tipo estimular a capacidade de conservação de água da tarifa de água cobrada; existência de política de recursos hídricos municipais; existência de política de incentivo à conservação da água; existência de política regulatória de consumo de água; programa de educação ambiental.
	Urbana	Função predominante do meio urbano; tamanho do ambiente urbano; taxa de cobertura da rede de coletores de esgoto; índice de desenvolvimento humano municipal; tipo de habitação predominante; tipos de equipamentos hidrossanitários por domicílio; área média de construção por residência; número médio de cômodos por domicílio; consumo médio mensal de energia do meio urbano; declividade média da área urbana.
	Cultural	Existência de hábitos de conservação de água; aceitação da população das ações de conservação de água; existência da crença de que a água é um recurso inesgotável e barato.
23	Ecológica	Benefício ambiental; demanda de eletricidade; capacidade de geração; restrição de capacidade instalada; fluxo de água.
	Social	Custo de realocação dos residentes.
	Econômica	Custo do investimento; retorno do investimento; restrição financeira; restrição de risco.

Fonte: elaborado pelos autores.

Tratando da incidência de cada uma das cinco dimensões investigadas no PB, percebe-se, no Quadro 8, que a dimensão econômica é a mais considerada quando se trata de priorização de projetos de recursos hídricos, com 17 estudos, seguida da dimensão social com 12, da dimensão ambiental com 11 e das dimensões política e técnica com cinco e quatro publicações, respectivamente. Além disso, nota-se que o estudo de identificação 21 apresenta algumas dimensões diferenciadas, como a socioeconômica, que se nota ser uma junção da dimensão social com a econômica, e as dimensões gerencial, urbana e cultural, que nos outros estudos são representadas pelas dimensões técnica, ambiental e social, respectivamente. Nesse mesmo sentido, a publicação de identificação 23 apresenta a dimensão ecológica, muito semelhante ao que é abordado pela dimensão ambiental nos outros estudos do PB.

Isso corrobora o fato de que no início da priorização dos projetos, em geral, havia maior preocupação com os custos vinculados aos mesmos. Foi no decorrer dos anos que surgiu uma maior preocupação atrelada às demais dimensões, principalmente no que diz respeito à sociedade e ao meio ambiente. Essa recente preocupação com as outras dimensões, não somente a econômica, é abordada de forma assídua em grande parte do PB.

CONCLUSÃO

O objetivo desta pesquisa — analisar, na produção científica, a aplicação de modelos de ADM na priorização de projetos de recursos hídricos — foi integralmente atingido. Foi possível identificar tanto características dos periódicos, autores e temas de maior relevância com base na bibliometria quanto atributos atrelados ao conteúdo de cada uma das publicações pertencentes ao PB com a metassíntese.

Como principais resultados, perceberam-se: i) uma carência na produção científica sobre o tema investigado, pois mesmo não ocorrendo a limitação do período de tempo investigado, encontraram-se somente 23 artigos que se enquadravam na temática; ii) a recorrente aplicação de métodos de ADM para a priorização de projetos de recursos hídricos com a utilização da lógica fuzzy, AHP, PROMETHEE; iii) a existência de diversos setores de interesse quando se trata de projetos de recursos hídricos, que recebem maior atenção do governo e das companhias de saneamento; iv) o fato de que os atores envolvidos na decisão não são muito divulgados, talvez pelo fato de se manter sigilo sobre os participantes, assim como o fato de que não é dada tanta atenção às técnicas que apoiam o consenso da decisão; e v) além da análise da dimensão econômica, outras dimensões vêm sendo consideradas na seleção desses projetos, principalmente as dimensões social e ambiental.

A contribuição deste estudo ocorre em duas vertentes: a prática e a teórica. A contribuição prática é dada pelo conhecimento gerado para as companhias e instituições que desejam realizar a priorização de projetos de recursos hídricos, uma vez que este estudo exibe diversos tipos de metodologias e técnicas que podem ser utilizadas para esse fim, além de apresentar as dimensões e critérios que vêm sendo considerados cientificamente na priorização de projetos no setor de recursos hídricos. Já a contribuição teórica é realizada por meio da apresentação de um panorama atual do tema objeto de estudo, com a exibição de um portfólio completo de estudos que realizaram a aplicação de modelos de ADM na priorização de projetos de recursos hídricos, apresentando ainda os periódicos e autores mais relevantes à temática. Além disso, a apresentação do estado da arte realizada nessa revisão sistemática permite identificar lacunas, apontando áreas em desenvolvimento para pesquisas futuras.

Por fim, com a extensa lista de palavras-chave, aponta-se como limitação o número de bases utilizadas para a coleta de dados, embora todas elas representem de forma fiel o tema estudado. Isso pode ser visto como uma oportunidade para estudos futuros, com a ampliação do campo de busca.

• Financiamento: Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) – bolsa de mestrado, modalidade Demanda Social.
• Reg. ABES: 20190259

REFERÊNCIAS

• ARAÚJO, C. A. A. Bibliometria: evolução histórica e questões atuais. Em Questão, v. 12, n. 1, p. 11-32, 2006.
• ALMEIDA, A. T. O conhecimento e o uso de métodos multicritério de apoio à decisão Recife: Editora Universitária da UFPE, 2011.
• ALMEIDA, S.; MORAIS, D. C.; ALMEIDA, A. T. Agregação de pontos de vista de stakeholders utilizando o Value-Focused Thinking associado a mapeamento cognitivo. Production, v. 24, n. 1, p. 144-159, 2014. https://doi.org/10.1590/S0103-65132013005000037
  » https://doi.org/10.1590/S0103-65132013005000037
• BARCLAY, C.; OSEI-BRYSON, K. M. Project performance development framework: an approach for developing performance criteria & measures for information systems (IS) projects. International Journal of Production Economics, v. 124, n. 1, p. 272-292, 2010. http://doi.org/10.1016/j.ijpe.2009.11.025
  » http://doi.org/10.1016/j.ijpe.2009.11.025
• BONDAS, T.; HALL, E. O. C. Challenges in approaching metasynthesis research. Qualitative Health Research, v. 17, n. 1, p. 113-21, 2007. https://doi.org/10.1177/1049732306295879
  » https://doi.org/10.1177/1049732306295879
• BORTOLUZZI, S. C.; ENSSLIN, S. R.; ENSSLIN, L. Multicriteria performance evaluation as an aid for management of companies: Implementation in a service company. Gestão e Produção, v. 18, n. 3, p. 633-650, 2011. http://doi.org/10.1590/S0104-530X2011000300014
  » http://doi.org/10.1590/S0104-530X2011000300014
• BRADFORD, S. C. Sources of information on scientific subjects. Engineering, n. 137, p. 85-86, 1934. https://doi.org/10.1177%2F016555158501000407
  » https://doi.org/10.1177%2F016555158501000407
• CAMPOS, V. R.; CAZARINI, E. W. Indicadores para a avaliação de projetos de saneamento. Revista Ibero-Americana de Ciências Ambientais, v. 8, n. 3, p. 136-150, 2017. https://doi.org/10.6008/SPC2179-6858.2017.003.0013
  » https://doi.org/10.6008/SPC2179-6858.2017.003.0013
• CAMPOS, E. A. R. D.; PAULA, I. C. D.; PAGANI, R. N.; GUARNIERI, P. Reverse logistics for the end-of-life and end-of-use products in the pharmaceutical industry: a systematic literature review. Supply Chain Management: An International Journal, v. 22, n. 4, p. 375-392, 2017. http://doi.org/10.1108/SCM-01-2017-0040
  » http://doi.org/10.1108/SCM-01-2017-0040
• CASTRO, H. G.; CARVALHO, M. M. Gerenciamento do portfólio de projetos: um estudo exploratório. Gestão & Produção, v. 17, n. 2, p. 283-296, 2010. https://doi.org/10.1590/S0104-530X2010000200006
  » https://doi.org/10.1590/S0104-530X2010000200006
• CASTRO, C. N. Gestão das águas: experiências internacional e brasileira. Texto para Discussão, Instituto de Pesquisa Econômica Aplicada (IPEA), 2012.
• CALAZANS, A. T. S; MASSON, E. T. S.; MARIANO, A. M. Uma revisão sistemática da bibliografia sobre inovação bancária utilizando o enfoque meta-analítico. Revista Espacios, v. 36, n. 15, 2015.
• CAMPOS, V. R.; CAZARINI, E. W.; CAMPOS, J. N. B. Gerenciamento de portfólio de projetos de saneamento nos Comitês das Bacias PCJ: método multicritério para hierarquização. Engenharia Sanitária e Ambiental, v. 25, n. 3, p. 457-465, 2020. https://doi.org/10.1590/S1413-4152202020190376
  » https://doi.org/10.1590/S1413-4152202020190376
• COLLIS, J.; HUSSEY, R. Pesquisa em administração: um guia prático para alunos de graduação e pós-graduação Bookman, 2005.
• COOPER, H. Applied social research methods series: Vol. 2. In: Research synthesis and meta-analysis: a step-by-step approach. 4ª ed. Thousand Oaks, CA, US: Sage Publications, Inc, 2010.
• DANESH, D.; RYAN, M. J.; ABBASI, A. Multi-criteria decision-making methods for project portfolio management: a literature review. International Journal of Management and Decision Making, v. 17, n. 1, p. 75-94, 2018. http://doi.org/10.1504/IJMDM.2018.088813
  » http://doi.org/10.1504/IJMDM.2018.088813
• DI MATTEO, M.; MAIER, H. R.; DANDY, G. C. Many-objective portfolio optimization approach for stormwater management project selection encouraging decision maker buy-in. Environmental Modelling & Software, v. 111, p. 340-355, 2019. http://doi.org/10.1016/j.envsoft.2018.09.008
  » http://doi.org/10.1016/j.envsoft.2018.09.008
• ELONEN, S.; ARTTO, K. A. Problems in managing internal development projects in multi-project environments. International Journal of Project Management, v. 21, n. 6, p. 395-402, 2003. https://doi.org/10.1016/S0263-7863(02)00097-2
  » https://doi.org/10.1016/S0263-7863(02)00097-2
• ENSSLIN, L.; GIFFHORN, E.; ENSSLIN, S. R.; VIANNA, W. B. Avaliação do Desempenho de Empresas Terceirizadas com o Uso da Metodologia Multicritério de Apoio à Decisão- Construtivista. Revista Pesquisa Operacional, v. 30, n. 1, p. 125-152, 2010. https://doi.org/10.1590/S0101-74382010000100007
  » https://doi.org/10.1590/S0101-74382010000100007
• EVANS, R. G.; SADLER, E. J. Methods and technologies to improve efficiency of water use. Water resources research, v. 44, n. 7, 2008. https://doi.org/10.1029/2007WR006200
  » https://doi.org/10.1029/2007WR006200
• FARIAS, A. P. S.; FONTANA, M. E.; MORAIS, D. C. Modelo de Sistema de Informação e Decisão para Intervenções de Reabilitação em Redes de Distribuição de Água. Revista Brasileira de Recursos Hídricos, v. 18, n. 2, p. 55-65, 2013. https://doi.org/10.21168/rbrh.v18n2.p55-65
  » https://doi.org/10.21168/rbrh.v18n2.p55-65
• FIGUEIRA, J.; GRECO, S.; EHROTT, M. Multiple Criteria Decision Analysis: State of the Art Surveys Vol. 78. Londres: Springer Science & Business Media, 2005.
• FINFGELD, D. L. Metasynthesis: the state of the art – so far. Qualitative Health Research, v. 13, n. 7, p. 893-904, 2003. https://doi.org/10.1177/1049732303253462
  » https://doi.org/10.1177/1049732303253462
• FRICKE, S. E.; SHENBAR, A. Managing multiple engineering projects in a manufacturing support environment. IEEE Transactions on Engineering Management, v. 47, n. 2, p. 258-268, 2000. https://doi.org/10.1109/17.846792
  » https://doi.org/10.1109/17.846792
• GAN, L.; JIANG, P.; CHEN, X.; HU, L. Sustainable Optimization for China's Hydropower Project Investment Portfolio Using Multiobjective Decision Analysis. Mathematical Problems in Engineering, 2019. https://doi.org/10.1155/2019/6745320
  » https://doi.org/10.1155/2019/6745320
• GOVINDAN, K.; SOLEIMANI, H. A review of reverse logistics and closed-loop supply chains: a Journal of Cleaner Production focus. Journal of Cleaner Production, v. 142, p. 371-384, 2017. https://doi.org/10.1016/j.jclepro.2016.03.126
  » https://doi.org/10.1016/j.jclepro.2016.03.126
• GOMES, L. F.; GOMES, C. F. S.; Tomada de Decisão Gerencial: um enfoque multicritério 5ª ed. São Paulo: Atlas, 2014.
• INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA (IBGE). Indicadores de desenvolvimento sustentável: Brasil 2017. Rio de Janeiro: Ministério do Planejamento, Orçamento e Gestão, v. 7, 2017.
• JORGE, D.; ALLIPRANDINI, D.; SCUR, G. Framework for prioritizing industrial projects based on portfolio management: Development and application in an automotive company. Framework, v. 38, n. 12, 2017.
• KARNIB, A. An approach to elaborate priority preorders of water resources projects based on multi-criteria evaluation and fuzzy sets analysis. Water Resources Management, v. 18, n. 1, p. 13-33, 2004. https://doi.org/10.1023/b:warm.0000015347.87047.5b
  » https://doi.org/10.1023/b:warm.0000015347.87047.5b
• LACERDA, R. T. O.; ENSSLIN, L.; ENSSLIN, S. R. A Study Case about a Software Project Management Success Metrics. In: Software Engineering Workshop (SEW), 2009 33rd Annual IEEE. IEEE, 2009. p. 45-54.
• LACERDA, R. T. O; ENSSLIN, L.; ENSSLIN, S. R. Um estudo de caso sobre gerenciamento de portfólio de projetos e apoio à decisão multicritério. Revista Gestão Industrial, v. 6, n. 1, 2010. https://doi.org/10.3895/s1808-04482010000100001
  » https://doi.org/10.3895/s1808-04482010000100001
• LIBERATI, A.; ALTMAN, D. G., TETZLAFF, J., MULROW, C.; GOTZSCHE, P. C.; LOANNIDIS, J. P. A.; CLARKE, M.; DEVEREAUX, P. J.; KLEIJNEN, J.; MOHER, D. The PRISMA statement for reporting systematic reviews and meta-analyses of studies that evaluate health care interventions: Explanation and elaboration. Annals of Internal Medicine, v. 6, n. 7, p. 1-28, 2009. https://doi.org/10.7326/0003-4819-151-4-200908180-00136
  » https://doi.org/10.7326/0003-4819-151-4-200908180-00136
• LIMA, M. T. A.; OLIVEIRA, E. C. B.; ALENCAR, L. H. Modelo de apoio à decisão para priorização de projetos em uma empresa de saneamento. Production, v. 24, n. 2, p. 351-363, 2014. https://doi.org/10.1590/s0103-65132013005000072
  » https://doi.org/10.1590/s0103-65132013005000072
• LOTKA, A. J. The frequency distribution of scientific productivity. Journal of the Washington academy of sciences, v. 16, n. 12, p. 317-323, 1926.
• MARQUES, G.; GOURC, D.; LAURAS, M. Multi-criteria performance analysis for decision making in project management. International Journal of Project Management, v. 29, n. 8, p. 1057-1069, 2011. https://doi.org/10.1016/j.ijproman.2010.10.002
  » https://doi.org/10.1016/j.ijproman.2010.10.002
• MCDM. Short MCDM history International Society on Multiple Criteria Decision Making. 2012. Disponível em: http://www.mcdmsociety.org/facts.html#Bibliom Acesso em: 12 ago. 2019.
  » http://www.mcdmsociety.org/facts.html#Bibliom
• MELO, F. L. N. B; SILVA, M. P.; SILVA, R. R.; AIRES, R. F. F. Apoio ao processo de avaliação do serviço de abastecimento de água no Rio Grande do Norte: uma abordagem multicritério. Revista de Engenharia Sanitária Ambiental, v. 23, n. 4, p. 675-686, 2018. https://doi.org/10.1590/s1413-41522018158835
  » https://doi.org/10.1590/s1413-41522018158835
• MIRANDA, A. B; TEIXEIRA, B. A. N. Indicadores para o monitoramento da sustentabilidade em sistemas urbanos de abastecimento de água e esgotamento sanitário. Rev. Engenharia Sanitária Ambiental, v. 9, n. 4, p. 269-279, 2004. https://doi.org/10.1590/s1413-41522004000400002
  » https://doi.org/10.1590/s1413-41522004000400002
• MOHER, D.; LIBERATI, A.; TETZLAFF, J.; ALTMAN, D. G. The PRISMA Group. Preferred reporting items for systematic reviews and meta-analyses: the PRISMA statement. Annals of Internal Medicine, v. 24, n. 2, p. 355-342, 2015.
• MORAIS, J. L. M.; FADUL, É.; CERQUEIRA, L. S. Limites e desafios na gestão de recursos hídricos por comitês de bacias hidrográficas: um estudo nos estados do nordeste do Brasil. Revista Eletrônica de Administração, v. 24, n. 1, p. 238-264, 2018. https://doi.org/10.1590/1413-2311.187.67528
  » https://doi.org/10.1590/1413-2311.187.67528
• NOBLIT, G. W.; HARE, R. D. Meta-ethnography: synthesizing qualitative studies Newbury Park, CA: Sage, 1988.
• OLIVEIRA, L. V.; LACERDA, R. T. O.; FIATES, G. G. S.; ENSSLIN, S. R. Avaliação de desempenho e gerenciamento de projetos: uma análise bibliométrica. Gestão e Projetos: GeP, v. 7, n. 1, p. 95-113, 2016. https://doi.org/10.5585/gep.v7i1.329
  » https://doi.org/10.5585/gep.v7i1.329
• PADOVANI, M.; CARVALHO, M. M. D.; MUSCAT, A. R. N. Seleção e alocação de recursos em portfólio de projetos: estudo de caso no setor químico. Gestão & Produção, v. 17, n. 1, p. 157-180, 2010. https://doi.org/10.1590/s0104-530x2010000100013
  » https://doi.org/10.1590/s0104-530x2010000100013
• PATANAKUL, P.; MILOSEVIC, D. The effectiveness in managing a group of multiple projects: Factors of influence and measurement criteria. International Journal of Project Management, v. 27, n. 3, p. 216-233, 2009. https://doi.org/10.1016/j.ijproman.2008.03.001
  » https://doi.org/10.1016/j.ijproman.2008.03.001
• PIZELLA, D. G.; SOUZA, M. P. Análise da sustentabilidade ambiental do sistema de classificação das águas doces superficiais brasileiras. Revista de Engenharia Sanitária e Ambiental, v. 12, n. 2, p. 139-148, 2007. https://doi.org/10.1590/s1413-41522007000200005
  » https://doi.org/10.1590/s1413-41522007000200005
• REINA, D. R. M.; ENSSLIN, S. R.; ENSSLIN, L. E.; REINA, D. Seleção e análise do perfil da produção científica sobre o tema seleção de projetos. REGE Revista de Gestão, v. 21, n. 1, p. 3-25, 2014. https://doi.org/10.5700/rege516
  » https://doi.org/10.5700/rege516
• RIBEIRO, M. C. C. R.; ALVES, A. S. O problema de seleção de portfólio de projetos de pesquisa em instituições de ensino: um estudo de caso. Gestão & Produção, v. 24, n. 1, p. 25-39, 2017. https://doi.org/10.1590/0104-530x2089-16
  » https://doi.org/10.1590/0104-530x2089-16
• ROESCH, S. M. A. Projetos de estágio e de pesquisa em Administração: guia para estágios, trabalhos de conclusão, dissertações e estudos de caso. 3ª ed. São Paulo: Atlas, 2013.
• ROY, B. Multicriteria methodology for decision aid Netherlands: Kluver Academic Publishers, 1996.
• SANDELOWSKI, M.; BARROSO, J. Writing the proposal for a qualitative research methodology project. Qualitative Health Research, v. 13, n. 6, p. 781-820, 2003. https://doi.org/10.1177/1049732303013006003
  » https://doi.org/10.1177/1049732303013006003
• SCIMAGO. SCImago journal rank (SJR). SCImago, 2017.
• SEMANTIC SCHOLAR. Frequently asked questions. Allen Institute for AI (AI2), 2020.
• SILVA, W. T. P.; SOUZA, M. A. A. Expert system for selecting and prioritizing projects for handling urban water supply crises. Urban Water Journal, v. 15, n. 6, p. 561-567, 2018. https://doi.org/10.1080/1573062x.2018.1529806
  » https://doi.org/10.1080/1573062x.2018.1529806
• THEODORO, H. D.; NASCIMENTO, N. O.; HELLER, L. Análise comparativa da gestão institucional de recursos hídricos via estudo de casos internacionais. Revista de Gestão de Água da América Latina, v. 13, n. 2, p. 110-128, 2016. https://doi.org/10.21168/rega.v13n2.p110-128
  » https://doi.org/10.21168/rega.v13n2.p110-128
• THOMSON REUTERS. Journal Citation Reports (JCR). Thomson Reuters, 2017
• THORNE, S.; JENSEN, L.; KEARNEY, M. H., NOBLIT G., SANDELOWSKI, M. Qualitative metasynthesis: reflections on methodological orientation and ideological agenda. Qualitative Health Research, v. 14, n. 10, p.1342-1365, 2004. https://doi.org/10.1177/1049732304269888
  » https://doi.org/10.1177/1049732304269888
• VALMORBIDA, S. M. I.; ENSSLIN, S. R.; ENSSLIN, L.; RIPOLL-FELIU, V. M. Rankings universitários mundiais. Que dizem os estudos internacionais? REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, v. 14, n. 2, p. 5-29, 2016. https://doi.org/10.15366/reice2016.14.2.001
  » https://doi.org/10.15366/reice2016.14.2.001
• VIDAL, L. A.; MARLE, F. Understanding project complexity: implications on project management. Kybernetes, v. 37, n. 8, p. 1094-1110, 2008. https://doi.org/10.1108/03684920810884928
  » https://doi.org/10.1108/03684920810884928
• VIDAL, L. A.; MARLE, F.; BOCQUET, J. C. Using a Delphi process and the Analytic Hierarchy Process (AHP) to evaluate the complexity of projects. Expert Systems With Applications, v. 38, n. 5, p. 5388-5405, 2011. https://doi.org/10.1016/j.eswa.2010.10.016
  » https://doi.org/10.1016/j.eswa.2010.10.016
• ZIPF, G. K. Human Behavior and the Pinciple of Least Effort Cambridge: Addison-Wesley, 1949.

Datas de Publicação

• Publicação nesta coleção
  06 Dez 2021
• Data do Fascículo
  Nov-Dec 2021

Histórico

• Recebido
  17 Nov 2018
• Aceito
  05 Jan 2021