Explorando as Particularidades do Método Orientado a Objetos na Avaliação das Previsões de Precipitação

Exploring the particularities of the method object-based in the precipitation forecast evaluation

Resumo

Os modelos de previsão de tempo baseiam-se em métodos computacionais aplicados para prever os fenômenos meteorológicos a partir da integração numérica de equações que descrevem o movimento dos elementos químicos que compõem a atmosfera. Entre as variáveis previstas por esses modelos a precipitação é uma das mais importantes, e é a mais difícil de se obter bons resultados no posicionamento, intensidade e extensão dos eventos. Uma das fontes de incerteza na qualidade dessas previsões é o próprio método de avaliação empregado, pois os métodos convencionais não avaliam adequadamente os aspectos espaciais. O presente estudo tem como objetivo principal propor e validar uma metodologia de avaliação diagnóstica orientada a objeto, empregando o algoritmo Method for Object-Based Diagnostic Evaluation (MODE), dentro do Sistema Comunitário de Avaliação de Modelos Numéricos de Previsão de Tempo e Clima (SCANTEC). Experimentos utilizando casos idealizados são apresentados, os quais permitem validar a implementação do método e demonstrar as suas vantagens com relação às métricas convencionais de avaliação. São também apresentados os resultados desse método na comparação das previsões reais de precipitação gerados por modelos utilizados rotineiramente no CPTEC, como prova de conceito, exemplificando o uso ao explorar as métricas disponíveis. Os resultados são discutidos e demostram o grande potencial da metodologia orientada a objeto para o aprimoramento e evolução dos produtos de previsão numérica de tempo.

Palavras-chave:
métodos de verificação espacial; avaliação orientada a objeto; SCANTEC; avaliação da previsão de precipitação

Abstract

Numerical Weather Prediction Models (NWPM) are based on computational methods applied to predict meteorological phenomena from the numerical integration of equations that describe the movement of the atmospheric components. Among the variables predicted by NWPM, precipitation is one of the most important, and it is also the most difficult to obtain good results in the positioning, intensity, and extension of the events. One of the sources of uncertainty in the quality of these forecasts is the evaluation method because conventional methods do not evaluate the spatial aspects appropriately. The objective of this study is to propose and validate a methodology of object-based diagnostic evaluation using Object-Based Diagnostic Evaluation (MODE) algorithm implemented in the Community System for the Evaluation of Numerical Models of Weather and Climate Prediction (SCANTEC). Experiments using idealized cases are presented, which allow validate the implementation of the method and show its advantages over conventional evaluation metrics. The results of this method are also presented in the comparison of the real precipitation forecasts generated by routinely used models in CPTEC as proof of concept, exemplifying its use to explore the available metrics. The results demonstrate the great potential of the object-based methodology for the evolution of the NWPM.

Keywords:
spatial verification methods; object-based evaluation; SCANTEC; precipitation forecast evaluation

1. Introdução

A precipitação é uma das variáveis meteorológicas mais importantes para a sociedade. Gonçalves (2003) ressalta que os fenômenos naturais relacionados com a precipitação, são os que provocam maior impacto na vida social e econômica de uma região. Segundo o Centre for Research on the Epidemiology of Disasters (CRED), por meio do banco de dados Emergency Events Database (EM-DAT), no período de 2006-2017, 75% dos desastres naturais no mundo estavam vinculados a fenômenos atmosféricos severos, os quais provocaram tempestades, inundações e deslizamentos de terra (Guha-sapir, 2017). De acordo com a mesma organização, na América do Sul (AS) os desastres naturais mais comumente relatados têm origem meteorológica ou hidrológica. Por exemplo, devido às quatro inundações em 2014, o Brasil foi o país da AS mais afetado por desastres naturais com um total de 500 mil vítimas naquele ano (Guha-sapir et al., 2014). Por essas razões, a qualidade das previsões de eventos de precipitação tem especial importância nessa região. Nesse sentido, um dos grandes desafios na modelagem numérica é produzir previsões de precipitação que minimizem os prejuízos provocados por tais eventos e, principalmente, à proteção da vida humana. Porém, a precipitação é resultante da sinergia entre processos complexos, os quais envolvem interações não lineares de diferentes fenômenos físicos em diversas escalas temporais e espaciais, desde grandes massas de ar até eventos convectivos extremadamente localizados (Ganguly e Bras, 2003). Estas características, incluindo sua descontinuidade espacial e temporal, fazem da precipitação, uma das mais difíceis variáveis meteorológicas a serem previstas (Anthes et al., 1989). Nesse contexto, tem-se um contrassenso, pois a variável atmosférica mais importante para a sociedade, também é a mais difícil de se obter previsões de qualidade através de modelos numéricos. Como tais modelos estão sempre em evolução, visando entregar melhores produtos à sociedade, uma adequada avaliação da qualidade das previsões de precipitação é crucial para contribuir para esse aprimoramento, e por essa razão esse assunto é objeto de estudo de várias investigações na busca de novos métodos de verificação (White et al., 1999; Ebert e Mcbride, 2000; Zepeda-arce et al., 2000; Mass et al., 2002; Baldwin e Lakshmivarahan, 2003; Casati et al., 2004; Nachamkin et al., 2005; Davis et al., 2006; Ahijevych et al., 2009; Davis et al., 2009).

A maioria das técnicas utilizadas na avaliação das previsões numéricas de precipitação baseia-se principalmente em verificar se uma malha de dados previstos corresponde a uma rede de observações ou um conjunto de pontos de observação. Vale salientar que nessa análise não se verifica a intensidade do valor, mas apenas a ocorrência ou não do fenômeno. A partir dessas sobreposições são determinados os casos onde as observações e as previsões concordam, e os casos em que nenhuma correspondência for encontrada, sendo obtida uma tabela de contingência contabilizando o número de sucessos e falhas, a partir da qual são calculados diferentes índices estatísticos, entre eles: a Taxa de acerto, o índice de Sucesso Crítico e o Bias. Esses índices estatísticos tradicionais representam métodos de verificação com uma abordagem orientada a medidas, propiciando uma visão geral da habilidade de um modelo de Previsão Numérica de Tempo e Clima (PNTC), porém fornecem informações incompletas sobre a qualidade das previsões porque só fazem comparações ponto a ponto e não consideramos aspectos espaciais dos eventos de precipitação. Portanto, não é possível avaliar adequadamente os erros na geometria e nos deslocamentos dos sistemas e seus pontos de máxima precipitação (Wilks, 2005; Baldwin e Kain, 2006; Casati et al., 2008; Jolliffe e Stephenson, 2012). Devido a essas deficiências, buscam-se novas técnicas denominadas como métodos de verificação espacial, cujo propósito é (a) examinar a habilidade de um modelo de PNTC em descrever a estrutura geral dos padrões meteorológicos na previsão, (b) fornecer informações sobre a escala na qual a representatividade da previsão é melhor, (c) quantificar o erro residual (diferença entre o valor estimado e o valor observado) para ter uma noção mais relevante da qualidade da previsão e (d) ponderar a coerência espacial da precipitação e dar crédito a uma previsão que não necessariamente coincide com os valores observados. A maioria das novas técnicas está agrupada em quatro categorias: vizinhança, separação da escala, orientadas a objeto e deformação do campo. Gilleland et al. (2009) realizaram um estudo dos métodos de verificação espacial destas quatro categorias e apresentaram uma comparação entre eles, baseada no tipo de informação fornecida sobre erros de localização, intensidade, estrutura, escala e a habilidade para prever a ocorrência de precipitação (Acertos, Falhas, Alarmes Falsos). Segundo os autores, o método mais utilizado, mais completo e que melhor responde a estas questões é o Method for Object-Based Diagnostic Evaluation (MODE) (Davis et al., 2009). Esse método mostra-se bastante promissor quando empregado na avaliação das previsões de precipitação sobre a América do Sul, onde metodologias similares são ainda pouco exploradas nessa função.

Atualmente, na maioria dos serviços meteorológicos do mundo, estão disponíveis operacionalmente diversos produtos de modelos de PNTC. Essa diversidade leva os meteorologistas à seguinte questão: dada a divergência das previsões numéricas de tempo disponíveis, qual é o produto mais confiável para a elaboração do prognóstico final e, principalmente, para a emissão de alertas meteorológicos quando for o caso? Como já discutido, no caso das previsões de precipitação, dada a complexidade envolvida, a convergência dos resultados dos modelos numéricos é pouco frequente, e dado o impacto dos casos severos, responder acertadamente à questão apresentada acima é imprescindível. A resposta para essa questão não é trivial, pois envolve a inter comparação de modelos, os quais apresentam características muito diferentes entre si, em especial na escala espacial, na resolução horizontal e nos processos físicos considerados. Essas características fazem com que a inter comparação de modelos, feita normalmente ponto a ponto, seja injusta e gere uma análise mal sucedida que induza conclusões equivocadas.

Visando contribuir com o tema, o presente trabalho tem por objetivo validar uma metodologia de avaliação espacial das previsões de precipitação baseada no algoritmo MODE (Davis et al., 2009) com modificações propostas por Rodríguez et al. (2016) implementada no Sistema Comunitário de Avaliação de modelos Numéricos de previsão de Tempo e Clima (SCANTEC) (Mattos e Sapucci, 2017) por Carrasco (2017). Dois diferentes conjuntos de experimentos são utilizados para explorar as particularidades disponíveis na avaliação orientada a objeto. O primeiro conjunto são campos de precipitação hipotéticos, previsto e observado, utilizados aqui para validar a implementação e comparar com métricas convencionais de avaliação. O segundo conjunto de experimentos é obtido com o uso de modelos de previsão de tempo do CPTEC, com o objetivo de mostrar a eficiência do método na correta avaliação no que se refere à identificação das áreas de chuva, considerando os possíveis erros na posição, extensão e morfologia dos eventos. Para atingir esses objetivos, o artigo está organizado da seguinte forma: na seção 2 trata da implementação do método orientado a objeto no SCANTEC, no qual as etapas em que consiste o processo são explicadas em detalhes. Na seção 3 são apresentados os resultados dos experimentos baseados em dados sintéticos e dados reais, que foram organizados para validar a implementação da metodologia no SCANTEC, os quais são devidamente discutidos. As conclusões e comentários sobre o potencial dessa metodologia na avaliação da precipitação na América do Sul são apresentados na seção 4.

2. Método de avaliação orientada a objeto no SCANTEC usando o MODE

O Sistema Comunitário de Avaliação de modelos Numéricos de previsão de Tempo e Clima (SCANTEC), é um sistema computacional projetado para realizar cálculos estatísticos deforma eficiente, com foco na inter comparação de modelos numéricos de diferentes resoluções espaciais, aplicando métricas estatísticas padronizadas e de forma adequada para que uma avaliação justa e coerente possa ser obtida. Ele é flexível para incorporar novas funcionalidades e metodologias em um processo de evolução constante. Para isso seu desenvolvimento é mantido no sistema SVN (Subversion), para o versionamento do código, e para o gerenciamento das contribuições e documentação de todo os processos é utilizado o Redmine. Essa estratégia de desenvolvimento atende apropriadamente a abordagem comunitária nesse processo, pois facilita o desenvolvimento de novas funcionalidades e otimiza o partilhamento dos benefícios obtidos com esses novos desenvolvimentos. As iniciativas de pesquisa das pós-graduações têm especial destaque, pois embora inovadoras tais pesquisas têm cronograma exíguo. Esse foi o caso dos trabalhos de Carrasco (2017) ao implementar o MODE nesse sistema, o qual é aqui detalhado.

As principais etapas no processo de avaliação usando o SCANTEC são: (a) configuração do sistema; (b) leitura dos arquivos de previsões dos modelos; (c) acesso a dados adicionais usados na avaliação; (d) aplicação de métricas estatísticas; (e) totalização dos resultados depois de finalizado todo o período e (f) disponibilização dos resultados. Cada uma dessas etapas está organizada em distintos módulos no SCANTEC, todos integrados pelo Core central, o que permite que novas funcionalidades possam ser adicionadas em cada etapa sem que haja a necessidade de modificar a estrutura principal do programa ou modificações nas outras etapas. Embora no SCANTEC haja um módulo específico para a avaliação da precipitação com métricas baseadas especificas para essa variável, o MODE sendo um pouco mais complexo do que essas métricas e como não se restringe à avaliação da precipitação, foi criado um novo módulo no Core do SCANTEC, específico para a avaliação orientada a objeto (m_mode) com 3 submódulos independentes (m_mode_objects, m_mode_singleAttrib, m_mode_pairAttrib). Cada um desses submódulos é configurado seguindo a estrutura de desenvolvimento adotada pelos desenvolvedores do sistema. Mais detalhes técnicos dessa implementação podem ser acessados em Carrasco (2017).

O algoritmo do MODE imita o que um especialista humano faria para encontrar uma região de chuva na simulação numérica e decidir se apresenta características análogas na chuva observada. Para isso o MODE identifica regiões de chuva (ou objetos) nos dois campos e compara as características geométricas dessas regiões para identificar quais se correspondem melhor entre si. O grau de semelhança entre os objetos observados e previstos fornece uma medida da qualidade das previsões. Assim, a implementação do MODE no SCANTEC é dividida em várias etapas, iniciando com o processo de identificação dos objetos no campo de chuva observada e nas previsões, depois o cálculo das propriedades geométricas de todos os objetos identificados, e posteriormente o cálculo dos atributos de todas as possíveis combinações (entre os campos de chuva observada e prevista por um ou mais modelos) de objetos, os quais são usados no processo de identificação dos pares de objetos (feições que se assemelham entre a chuva observada e cada um dos modelos em avaliação). Com esses pares de objetos identificados são calculados os índices, com os quais é realizado uma avaliação que permite de forma objetiva identificar o modelo que melhor descreve a precipitação observada. A formulação matemática de todas essas etapas usadas na implementação no SCANTEC é descrita em detalhes nas seções subsequentes.

2.1. Processo de identificação de objetos

O processo de identificação de objetos ou regiões de chuva começa com a transformação dos campos originais de previsão da precipitação e da chuva observada. A primeira parte dessa transformação é feita aplicando aos campos um filtro circular ϕ(u,v) de dimensão 3x3 através da seguinte equação segundo Davis et al., (2009):

(1) $$C\left(x,y\right)={\displaystyle \sum }_{u,v}\varphi \left(u,v\right)f\left(x-u,y-v\right)$$

em que f é o campo original, C é o campo transformado, (x,y) e (u,v) são as coordenadas da grade do campo original e do filtro ϕ, respectivamente. O filtro ϕ é definido pela função:

(2) $$\varphi \left(u,v\right)=\{ \begin{array}{ll}\frac{1}{P}\hfill & {(u-u_c)}^2+{(v-v_c)}^2\le R^2\hfill \\ \hfill & \hfill \\ 0\hfill & {(u-u_c)}^2+{(v-v_c)}^2>R^2\hfill \end{array}$$

em que P é a quantidade de pontos do filtro que se encontram dentro do círculo de raio R, centrado nos pontos (u_c,v_c). O raio é especificado em termos de unidades de grade, definido como R=d.2^-1, sendo d a dimensão do filtro circular.

Após esse processo que é chamado de convolução, a definição dos objetos se completa segundo a comparação dos valores dos campos com um determinado limiar (T) de intensidade de precipitação usando as equações:

(3) $$M\left(x,y\right)=\{\begin{array}{ll}1\hfill & C\left(x,y\right)\ge T\hfill \\ 0\hfill & C\left(x,y\right)<T\hfill \end{array}$$

(4) $$F\left(x,y\right)=M\left(x,y\right)f\left(x,y\right)$$

em que M é o campo limiarizado e F é o campo formado pelos objetos de precipitação. A identificação e classificação de cada objeto é feita por meio de um algoritmo de preenchimento desenvolvido por Sierra et al. (2016) que detecta as regiões conectadas dentro do campo F.

2.2. Cálculo dos atributos de cada um dos possíveis pares de objetos

Para cada objeto de precipitação considerado individualmente são calculadas as seguintes propriedades geométricas básicas: (a) área, definida como a quantidade de pontos de grade no interior do objeto; (b) perímetro, entendido como a quantidade de pontos de grade que compõe a fronteira do objeto e (c) centroide, são as coordenadas médias calculadas pela média dos valores das abscissas e das ordenadas dentro do objeto analisado. A partir dessas propriedades básicas outras são obtidas, tais como:

• ângulo de orientação: definido como o ângulo que o eixo mais longo do objeto faz com relação à direção da grade (a direção x), e é calculado a partir das coordenadas do centroide de cada objeto segundo o algoritmo descrito por Chaudhuri e Samal (2007).

• Razão de aspecto: definida como a razão entre a largura do objeto, dividida pelo seu comprimento (eixo menor/eixo maior). Ambos eixos dos objetos são calculados usando as equações da reta descritas em Chaudhuri e Samal (2007) e o ângulo de orientação θ.

• Complexidade do objeto: definida pela relação entre a área de um objeto e a área de seu casco convexo. O casco convexo de um conjunto de pontos no plano é o menor polígono convexo que os envolve. Desse modo, todos os pontos devem estar dentro do polígono ou sobre sua borda. Para calcular os pontos que compõem o casco convexo de cada objeto, se utilizou o algoritmo Quickhull descrito em Mount (2000). Uma vez calculado o casco convexo, a área desse polígono é definida como o total de pontos de grade no interior do mesmo.

As propriedades geométricas descritas acima são usadas na comparação entre objetos por meio do cálculo de atributos para todos os possíveis pares de objetos. Esses atributos são: (a) distância mínima entre as bordas, (b) diferença de centroide, (c) razão das áreas, (d) razão dos perímetros, (e) proporção de aspecto, (f) razão das complexidades, (g) diferença de orientação e (h) razão da área de interseção.

A distância mínima entre as bordas é definida como a distância entre os pontos mais próximos de dois objetos, a qual representa uma medida da proximidade das fronteiras dos objetos. A diferença de centroide é definida como a diferença (vetorial) entre os centroides de dois objetos. A razão das áreas é definida como a relação entre a área do objeto menor e a área do objeto maior. Ela proporciona uma medida da semelhança entre os objetos, quanto ao tamanho dos mesmos. Da mesma forma, são definidas a razão dos perímetros, a proporção de aspecto e a razão das complexidades. Todos esses atributos fornecem uma medida da semelhança entre os objetos, quanto a sua forma. A diferença de orientação é calculada como a diferença entre os ângulos de orientação dos dois objetos, a qual representa uma medida da diferença na inclinação dos eixos dos objetos. A razão da área de interseção é definida como a área que está dentro de ambos os objetos simultaneamente.

2.3. Processo de identificação de pares de objetos

O processo de identificação de pares de objetos é dividido em duas etapas: (a) agrupamento ou fusão das regiões de chuva dentro dos campos (merging) e (b) seleção dos pares de objetos de campos diferentes (matching). Ambas etapas são baseadas na comparação entre objetos usando os atributos descritos anteriormente, no cálculo de um Interesse Total (T_i) para cada par de objetos usando funções de interesse (I_i), funções de confiança (C_i) e uma função peso (w_i) segundo a equação:

(5) $$T_i\left(\alpha \right)=\frac{{{\displaystyle \sum }}_i{w}_i{C}_i\left(\alpha \right)I_i\left({\alpha }_i\right)}{{{\displaystyle \sum }}_i{w}_i{C}_i\left(\alpha \right)}$$

As funções de interesse (I_i) contêm um valor de interesse parcial para cada atributo, os quais variam entre zero (não interesse) e 1 (alto interesse). Estas funções são definidas de duas formas. Para os atributos calculados baseados nas diferenças, o interesse parcial é obtido segundo a seguinte equação:

(6) $$I_i\left({\alpha }_i\right)=\{\begin{array}{ll}1& {\alpha }_i\le l_{inf}\\ \frac{l_{sup}-{\alpha }_i}{l_{sup}-l_{inf}}& l_{inf}<{\alpha }_i<l_{sup}\\ 0& {\alpha }_i\ge l_{sup}\end{array}$$

Para os atributos baseados nas razões, o interesse parcial é calculado da seguinte forma:

(7) $$I_i\left({\alpha }_i\right)=\{\begin{array}{ll}0& {\alpha }_i\le 0\\ \frac{{\alpha }_i}{l_{sup}}& l_{inf}<{\alpha }_i<l_{sup}\\ 1& {\alpha }_i\ge l_{sup}\end{array}$$

Nas Eqs. (6) e (7), α_i representa o valor do atributo (i) para o qual está sendo calculado o interesse parcial, l_inf e l_sup representam os limites inferior e superior da função de interesse I_i. Esses limites devem ser definidos cuidadosamente para garantir um resultado correto da avaliação. A configuração escolhida para esses limites é apresentada na Tabela 1, que é a mesma adotada como padrão na versão 5.2 do Model Evaluation Tools (MET) do National Center for Atmospheric Research (NCAR)

Tabela 1
Definição dos limites inferior e superior para as funções de interesse parcial de cada atributo (grid_res refere-se à resolução da grade em km.)

Atributos	Limite Inferior	Limite superior
Distância Mínima entre as bordas	0	400 km/grid_res
Diferença de centroide	400 km/grid_res	600 km/grid_res
Razão das áreas	0	0.8
Razão dos perímetros	0	0.8
Diferença de ângulo	π/6	π/2
Razão de aspecto	0	0.8
Razão de complexidade	0	0.8
Razão da área de interseção	0	0.25

As funções de confiança (C_i) com valores entre zero (baixa confiança) e 1 (alta confiança), refletem a confiança do valor calculado de um atributo. Estas funções são ajustadas com um valor constante igual a 1 (da mesma forma que no algoritmo de Davis et al. (2009), com exceção do ângulo de orientação e da diferença de centroides. Segundo os autores, a função de confiança de um determinado atributo é menor do que a unidade se o atributo se torna muito sensível a pequenas alterações nos dados ou deixa de fornecer informações úteis sobre o erro da previsão em determinadas situações. No caso do ângulo de orientação, ele torna-se muito sensível a pequenas mudanças na forma do objeto se a relação de aspecto é quase igual à unidade. Podemos então obter grandes diferenças na orientação entre dois objetos para mudanças sutis na forma deles. Assim, a confiança de que podemos atribuir um erro relacionado ao ângulo de orientação se aproxima a zero como a relação de aspecto de qualquer objeto se aproxima à unidade. Devido a isso, a função de confiança para esse atributo é calculada como:

(8) $$C_i={\left[\frac{{(r-1)}^2}{r^2+1}\right]}^{0.3}$$

em que r é a relação de aspecto do objeto. Para derivar a confiança de um par de objetos, calcula-se a raiz quadrada do produto dos valores de confiança obtidos para cada objeto separadamente. Quando esse valor de confiança está próximo à zero, remove-se a contribuição da diferença de ângulo para o Interesse Total.

Por outro lado, se dois objetos têm uma área muito diferente, ou seja, uma pequena razão das áreas, então a diferença dos centroides é uma medida menos relevante do erro de previsão do que se os objetos (previsto e observado) tiverem um tamanho similar. Portanto, a confiança para a diferença dos centroides é definida igual à razão das áreas, de modo que, se é igual a zero, a separação dos centroides não é considerada no cálculo do Interesse Total.

A Função dos pesos (w_i) atribui um peso escalar para cada atributo, representando uma decisão empírica sobre a importância relativa desses atributos. Essa função é definida dando-se mais importância à proximidade dos objetos no espaço, o maior peso é atribuído para a mínima distância entre as bordas dos objetos porque se considera o atributo mais representativo da qualidade das previsões. Em segundo grau de importância são consideradas a distância do centroide e a área de interseção, representando a proximidade entre os objetos previstos e observados. A diferença de orientação e a razão entre as áreas são consideradas um pouco menos indicativos da qualidade da previsão, mas são suficientemente importantes para incluí-las, atribuindo um menor peso a elas. O perímetro, a razão de aspecto e a complexidade não são incluídos no cálculo do Interesse Total.

O Interesse Total calculado também assume um valor entre 0 e 1, e pode ser interpretado como a probabilidade de uma correspondência correta. Esse valor é limiarizado e os pares de objetos com um Interesse Total acima do limiar são agrupados e tratados como um mesmo objeto (se estiverem no mesmo campo) ou são selecionados como um par de objetos (se estiverem em campos diferentes).

2.4. índices estatísticos orientados a objetos

O total de objetos de precipitação identificados em cada campo e o total de pares de objetos definem os sucessos (a), alarmes falsos (b) e falhas (c) na previsão numérica da precipitação de acordo com as equações:

(9) $$a=N_{par}$$

(10) $$b=N_{prev}-N_{par}$$

(11) $$c=N_{obs}-N_{par}$$

em que N_obs é o número de objetos identificados na observação, N_prev é o número de objetos identificados na previsão e N_par é o total de pares de objetos.

Esses parâmetros são usados no cálculo de índices estatísticos para avaliar o desempenho do modelo, sendo eles o Critical Success Index (CSI), também conhecido com Threat Score (TS), a Probability Of Detection (POD), o False Alarm Ratio (FAR), o Bias e o Equitable Threat Score (ETS), todos a partir de abordagem orientada a objeto. A aplicação destes índices difere da aplicação tradicional na verificação de previsão numérica, porque aqui a avaliação é realizada para objetos e não para células da grade individualmente.

Dessa forma, os índices estatísticos orientados a objeto são definidos como:

(12) $$CSI=\frac{N_{par}}{N_{prev}+N_{obs}-N_{par}}$$

(13) $$POD=\frac{N_{par}}{N_{obs}}$$

(14) $$FAR=\frac{N_{prev}-N_{par}}{N_{prev}}$$

(15) $$Bias=\frac{N_{prev}}{N_{obs}}$$

(16) $$ETS=\frac{a-a_{acaso}}{a+b+c-a_{acaso}}$$

onde

(17) $$a_{acaso}=\frac{\left(a+c\right)\left(a+b\right)}{n}$$

Além desses índices, o máximo interesse atingido em cada objeto previsto (MIP) e o máximo interesse atingido por cada objeto observado (MIO) são usados no cálculo de uma métrica útil da qualidade da previsão. Essa métrica é chamada de Média do Máximo Interesse (MMI) e pode ser usada para comparar as previsões de vários modelos. A Tabela 2 representa de forma hipotética a matriz interesse da comparação de cada objeto previsto com todos os objetos observados (linhas) e de cada objeto observado com todos os objetos previstos (colunas). O vetor do MIP se corresponde com o máximo valor de interesse de cada linha (0.9, 0.8, 0.5) e o vetor do MIO corresponde com o máximo valor de interesse de cada coluna (0.9, 0.8). Então o MMI é definido como o valor médio dos vetores MIP e MIO que é igual a 0.78 no exemplo da Tabela 2. Entre as principais vantagens de usar essa métrica estão: não depende do limiar imposto para o Interesse Total, não depende do total de pares de objetos e leva em conta todos os atributos usados no cálculo do Interesse Total. Essa métrica é capaz de sintetizar em um único valor a capacidade de um determinado modelo (ou versão desse modelo) em prever os objetos observados, penalizando-o quando o mesmo prevê um número de casos diferente do que foi observado.

Tabela 2
Exemplo hipotético da Matriz Interesse da comparação de 3 objetos previstos com 2 objetos observados.

	Observados
Previstos	1	2
1	0.9	0.7
2	0.5	0.8
3	0.4	0.5

et al.

3. Resultados de Aplicações da Metodologia como Prova de Conceito

Para evidenciar a importância de se utilizar uma metodologia orientada a objeto na avaliação da qualidade das previsões de precipitação, nessa seção são apresentados dois experimentos distintos. O primeiro envolve dados idealizados, simulando observações de precipitação. Esse experimento tem por objetivo validar a implementação e facilitar a interpretação dos resultados ao utilizar os índices estatísticos orientados a objetos em comparação com a metodologia tradicional. O segundo experimento utiliza dados reais de precipitação prevista e observada para demostrar a eficiência e indicar as limitações do método frente à complexidade dessa avaliação. Como indica a seção anterior a quantidade dos parâmetros e métricas fornecidas pela metodologia orientada a objeto é relativamente grande com análises das características geométricas dos objetos, dos atributos dos pares de objetos, das tabelas de contingências e dos índices estatísticos associados. Na apresentação dos resultados, nessa seção procura-se explorar todas essas informações e demostrar seu potencial utilizando alternadamente diferentes índices em cada avaliação. Isso é feito para evitar repetições nas análises e consequentemente torná-las mais didáticas, pois não são conceitos convencionalmente utilizados na meteorologia.

3.1. Experimentos idealizados para a validação do MODE no SCANTEC

Como um exemplo relativamente simples para apresentar os resultados quantitativos do MODE, são considerados seis campos idealizados de padrões elípticos de precipitação (Fig. 1) seguindo o esquema usado por Ahijevych et al. (2009). Esses padrões retratam células simples de tempestade ou sistemas convectivos de meso-escala com um núcleo de alta intensidade em uma região de baixa precipitação. O núcleo de alta intensidade é deslocado para a direita do centro, dentro de cada área de chuva. Na Fig. 1, (a) simula o campo de precipitação observada; (b), (c), (d), (e) e (f) apresentam os padrões de chuva previstos pelos experimentos EXP01, EXP02, EXP03, EXP04 e EXP05, respectivamente.

Figura 1
Eventos idealizados de precipitação prevista (em vermelho) em comparação a um objeto observado (em azul) para ilustrar erros específicos levando em consideração cinco diferentes experimentos: (a) objeto idealizado observado; (b) objeto idêntico ao observado mas deslocado a direita; (c) objeto idêntico ao observado mas distante do evento observado; (d) Objeto de mesma extensão latitudinal do objeto observado mas alongado na direção longitudinal; (e) Objeto idêntico ao objeto observado mas com uma rotação de 90° e (f) objeto de mesma extensão latitudinal do objeto observado mas excessivamente alongado na direção longitudinal e o único com a intersecção com o objeto de precipitação observada não nula

A grade utilizada nesse estudo é de 1313 x 1702 pontos com um incremento espacial de 0.036º ou 4 km, sobre a região da América do Sul. A formulação exata dos campos de precipitação, baseada na equação geral da elipse, é:

(18) $$R\left(x,y\right)=\{\begin{array}{lll}0.0\mathrm{mm},& {\left(\frac{x-x_1}{a}\right)}^2+{\left(\frac{y-y_1}{b}\right)}^2\ge 1& \\ 12.0\mathrm{mm},& {\left(\frac{x-x_1}{a}\right)}^2+{\left(\frac{y-y_1}{b}\right)}^2<1& {\left(\frac{x-x_2}{0.4a}\right)}^2+{\left(\frac{y-y1}{0.4b}\right)}^2\ge 1\\ 25.0\mathrm{mm},& {\left(\frac{x-x_2}{0.4a}\right)}^2+{\left(\frac{y-y_1}{0.4b}\right)}^2<1& \end{array}$$

com y₁=884 e x₂=x₁+0.4a, em que x e y são os índices dos pontos da grade de 1313 x 1702, a controla a largura da elipse ao longo do eixo x e y controla a largura ao longo do eixo y; (x₁,y₁) é o centro da elipse de baixa intensidade, e (x₂,y₁) é o centro da elipse de alta intensidade. O valor de precipitação R é zero fora da elipse de baixa intensidade, 12.0 mm dentro da elipse de baixa intensidade, mas fora do núcleo de alta intensidade, e 25.0 mm dentro do núcleo de alta intensidade.

Observe na Fig. 1 que, além da localização, as únicas diferenças entre os padrões geométricos são a área de previsão e a relação de aspecto. As variáveis x₁, a e b são definidas na Tabela 3. O deslocamento na direção x é governado por x₁ e a relação de aspecto da elipse é a razão entre a e b.

Tabela 3
Parâmetros utilizados na Eq. 18 para definir os campos sintéticos de precipitação geométrica na Fig. 1.

Experimentos	x (1)	A	b
OBS	442	25	100
EXP01	492	25	100
EXP02	642	25	100
EXP03	567	100	100
EXP04	567	100	25
EXP05	567	200	100

Os eventos sintéticos de precipitação foram idealizados geometricamente para ilustrar quatro tipos de erros: deslocamento, orientação, bias de frequência, e relação de aspecto. Segundo Ahijevych et al. (2009) os erros de deslocamento e de relação de aspecto são difíceis de identificar com os métodos de verificação tradicionais, essa afirmação é comprovada na análise desses casos. O conhecimento desses erros pode ser útil para o desenvolvimento e melhoria dos modelos de PNTC e pode ser informativo para os usuários das previsões.

Observa-se que as previsões dos dois primeiros experimentos EXP01 e EXP02, e o caso EXP04 (Figs. 1(b), 1(c) e 1(e)) ilustram erros de deslocamento. A borda dos objetos nas previsões do EXP01 e EXP04 encontram-se deslocadas 2 pontos à direita do objeto observado, mas no caso do EXP02 a borda do objeto da previsão é deslocada muito mais para a direita (200 pontos). A previsão EXP04, além do erro de deslocamento, apresenta um erro na orientação do objeto. O EXP01 é claramente mais acertado do que os EXP02 e EXP04, mas os resultados obtidos por meio dos índices tradicionais de verificação, apresentados na Tabela 4, sugerem que eles são igualmente ruins, mostrando valores equivalentes para esses três casos. Quando a precipitação prevista não se sobrepõe às observações, os índices tradicionais como o CSI e o ETS são zero ou menor do que zero, indicando nenhuma habilidade ou habilidade negativa. Esse é o caso das previsões EXP01, EXP02, EXP03 e EXP04 (Figs. 1(b), 1(c), 1(d) e 1(e)). Mesmo que elas compartilhem características semelhantes sem sobrepor à observação, como mesmos índice de FAR, o EXP03 tem menor ETS do que os outros, porque o objeto de maior tamanho aumenta a probabilidade de produzir alarmes falsos e diminui as previsões nulas corretas.

Os objetos nas previsões EXP03 e EXP05 (Figs. 1(d) e 1(f)), diferem dos demais no formato, pois estão expandidos em ambas as dimensões x e y, sendo o último mais proeminente em x, ilustrando um Bias mais intenso. No EXP05 o Bias é maior, mas o FAR, o ETS e o CSI indicam melhores resultados do que os demais casos geométricos. Esses índices consideram apenas a sobreposição das regiões de chuva e comparando os resultados de cada um deles, alguns usuários poderiam preferir a previsão do EXP05, no entanto um maior valor do CSI não indica necessariamente que a previsão é melhor; como descrito Ahijevych et al. (2009) por esses índices podem ser enganosos e não devem ser usados isoladamente. Métricas baseadas em características espaciais podem contribuir de forma eficaz nessa avaliação. O outro tipo de erro presente nas previsões está relacionado à razão de aspecto, a largura dos objetos previstos no EXP03 e EXP05 é demasiadamente grande comparada com a largura do objeto observado. As características geométricas de cada um dos objetos são apresentadas na Tabela 5.

Tabela 4
índices de verificação tradicionais aplicados as previsões da Fig. 1.

índices tradicionais	EXP01	EXP02	EXP03	EXP04	EXP05
BIAS	1.0	1.0	4.017530	1.0	8.034421
POD	0.0	0.0	0.0	0.0	0.876136
FAR	1.0	1.0	1.0	1.0	0.890952
CSI	0.0	0.0	0.0	0.0	0.107392
ETS	-0.001750	-0.001752	-0.002808	-0.001752	0.104307

Tabela 5
Atributos dos objetos identificados nas previsões da Fig. 1.

Características Geométricas	EXP01	EXP02	EXP03	EXP04	EXP05
Distância Mínima entre bordas	2 pts	152 pts	2 pts	2 pts	0
Diferença de centroide	50 pts	200 pts	125 pts	125 pts	125 pts
Razão das áreas	1	1	0.249	1	0.1245
Razão de aspecto	1	1	0.250	1	0.5000
Diferença de orientação	0°	0°	0°	90°	90°
Razão de complexidade	1	1	0.9785	0.4340	0.4500
Razão da área de interseção	0	0	0	0	0.1074
Interesse total	0.7303	0.1859	0.5762	0.5372	0.6354

A importância dos indicadores de qualidade das previsões é modificada quando é aplicado um método orientado a objeto. O modelo com maior Interesse Total é o EXP01 (Fig. 1(b)) no qual o deslocamento da posição é pequeno e a correspondência estrutural é exata. O modelo com menor Interesse Total é o EXP02 (Fig. 1(c)) no qual o deslocamento na posição é grande, sendo que o Interesse Total (Eq. 5) é a relação entre a soma do produto de peso, confiança e interesse parcial e a soma do produto de peso e confiança. No EXP02 o deslocamento do centroide produz um valor nulo no interesse parcial afetando o numerador dessa equação e, portanto, o valor do Interesse Total é menor.

O EXP04 (Fig. 1(e) tem um valor de Interesse Total menor do que a previsão do EXP03 (Fig. 1(d)). A diferença entre esses dois casos vem da confiança atribuída à diferença na posição do centroide e à orientação das áreas de chuva. Para um objeto circular como em EXP03, não temos confiança no ângulo atribuído, portanto, o termo da diferença de ângulo é nulo tanto no numerador, quanto no denominador da expressão do Interesse Total. No EXP04 os ângulos estão bem definidos, a diferença de 90° na orientação produz um valor de interesse parcial de zero, mas o denominador ainda mantém o peso do termo da diferença de ângulo, e esse fato tende a diminuir o valor do Interesse Total comparado com EXP03.

Na previsão do EXP05 (Fig. 1(f)) como os objetos diferem muito em tamanho, a confiança atribuída para a separação do centroide é menor e a contribuição do peso desse atributo no denominador da Eq. 5 também é reduzida. Porém, ele não é o pior modelo porque o matching além de ser ponderado em relação aos erros de posição, também dá algum crédito à sobreposição entre as áreas, levando à um menor peso para a área de interseção, sendo que um maior peso para a razão das áreas teria permitido que o Interesse Total do EXP03 apresente maior valor do que do EXP05.

Os resultados discutidos aqui indicam uma das sensibilidades da técnica orientada a objeto: é o usuário do método de avaliação quem define a influência dos atributos no cálculo do Interesse Total, visando representar os aspectos da previsão que são de maior importância para ele. Contudo, os resultados do método de avaliação também ilustram maior consistência do que os resultados obtidos com as métricas convencionais de avaliação. Os parâmetros obtidos com a aplicação do método orientado a objeto, tanto os atributos dos objetos bem como as funções de interesse parcial, funções de confiança e os valores do Interesse Total em cada uma das previsões, apresentam uma semelhança com os resultados obtidos por Ahijevych et al. (2009), provando assim o correto funcionamento do método de avaliação implementado no SCANTEC.

3.2. Aplicação do MODE na avaliação de previsões reais de precipitação

Nessa seção, objetiva-se demonstrar o potencial da metodologia de avaliação de precipitação orientada a objeto nas previsões produzidas rotineiramente pelo CPTEC. Um experimento de avaliação foi organizado como prova de conceito. Para isso, foram utilizados os campos de precipitação previstos pelo modelo Brazilian Regional Atmospheric Modelling System (BRAMS) do CPTEC para compará-los com aqueles previstos pelo modelo Global Forecast System (GFS) do National Centers for Environmental Prediction (NCEP), usando-se como dados de referência as estimativas de precipitação observada do produto 3B42 proveniente do sistema Tropical Rainfall Measuring Mission (TRMM) Multisatellite Precipitation Analysis (TMPA).

Os dados de precipitação do 3B42 usados como referência têm 0.25º de espaçamento de grade, enquanto as previsões dos modelos BRAMS e GFS têm a resolução horizontal de 5 e 50 km, respectivamente. Para a aplicação do método orientado a objeto, tanto as previsões de chuva como as estimativas do 3B42, foram interpoladas para o domínio do modelo de resolução mais baixa. Um ponto que deve ser destacado nessa avaliação é que as diferenças na resolução espacial dos modelos e dos dados do 3B42 não impactam nos resultados gerados pela metodologia orientada a objeto, pois nesse processo as principais características espaciais e geométricas dos objetos são mantidas inalteradas. O que se perde é o detalhamento fino nas bordas dos modelos de mais alta resolução, o que não tem peso algum nessa avaliação. Essa característica da metodologia orientada a objeto constitui uma das vantagens mais importantes dessa técnica.

As avaliações são realizadas para o mês de janeiro de 2016. Durante este período, os maiores acumulados de precipitação sobre a América do Sul foram registrados em grande parte das regiões nordeste, centro-oeste e sudeste do Brasil. A ocorrência de precipitação nesse período foi influenciada pela atuação de vórtices ciclônicos em altos níveis da atmosfera próximos a costa da Região Nordeste do Brasil e à formação do primeiro episódio da ZCAS (Zona de Convergência do Atlântico Sul) da temporada 2015-2016. O fenômeno El Niño-Oscilação Sul (ENOS), que atingiu seu auge no mês de dezembro de 2015, teve uma diminuição gradual de sua intensidade no mês de janeiro, especialmente no setor leste do Pacífico Equatorial.

A identificação dos objetos baseou-se em um limiar de precipitação de 0.5 mm. Para obter uma avaliação do desempenho dos modelos em prever a precipitação, foram analisadas as características espaciais e geométricas das áreas de chuva identificadas nos campos da previsão, e comparadas com os objetos de precipitação detectados na referência (3B42).

A análise dos resultados é apresentada em três etapas: uma primeira em um caso de estudo com o propósito de descrever e exemplificar a análise dos resultados baseada nas estatísticas nos atributos dos pares e na tabela de contingência orientada a objeto. Na segunda etapa essa mesma análise é estendida para todo o mês de janeiro para gerar uma análise mais robusta envolvendo também um maior tempo de integração dos modelos. A terceira e última análise visa enfatizar o potencial dessa metodologia para a avaliação do desempenho dos modelos na previsão de eventos extremos de precipitação. Essas etapas são apresentadas nas próximas subseções.

3.2.1. Avaliação orientada a objeto na comparação de modelos: estudo de caso

O caso selecionado corresponde à previsão de precipitação para o dia 21 de janeiro de 2016 às 0600 UTC, após 6 horas de integração dos modelos. Esse dia foi escolhido de forma aleatória entre os dias de ocorrência significativa de precipitação visando apenas exemplificar as diferenças nas previsões geradas pelos modelos avaliados.

A Fig. 2 apresenta os acumulados de 6 horas de precipitação, válidas às 0600 UTC do 21 de janeiro de 2016 correspondente aos dados observados (3B42) e aos dados previstos pelos modelos BRAMS e GFS e a Fig. 3 apresenta os pares de objetos encontrados pelo algoritmo da lógica difusa nas previsões e na estimativa 3B42. Obviamente, nem todos os objetos na previsão coincidem com os objetos na referência e vice-versa. Cada par de objeto de precipitação é representado com a mesma cor nos dois campos, e foi atribuída a cor cinza para o resto dos objetos não pareados.

Figura 2
Valores da precipitação acumulada em uma janela de 6 horas sobre a América do Sul para às 0600 UTC do 21 de janeiro de 2016: (a) Valores observados por satélites (3B42); (b) Valores previstos pelo modelo BRAMS e (c) Valores previstos pelo modelo GFS.

Figura 3
Pareamento dos objetos observados e previstos da precipitação acumulada em uma janela de 6 horas às 0600 UTC do 21 de janeiro de 2016, para: (a) objetos observado pelo 3B42 com cores indicando o pareamento com os objetos previstos pelo BRAMS; (b) Objetos previstos pelo modelo BRAMS; (c) o mesmo que apresentado em (a) mas o pareamento feito em relação aos objetos previstos pelo GFS; (d) Objetos previstos pelo modelo GFS. As áreas de chuva coloridas iguais representam o pareamento dos objetos observados com os previstos e a cor cinza é usada para indicar objetos não pareados.

Na aplicação do algoritmo foram identificados quatro pares de objetos entre o BRAMS e 3B42, e quatro pares de objetos entre o GFS e o 3B42. Observe-se que nas Figs. 3(a) e 3(c) que há três regiões de precipitação observadas (destacadas em cinza) que não foram pareadas na previsão do BRAMS e do GFS.

Com o intuito de explorar as métricas estatísticas que o método orientado a objeto fornece ao sintetizar as informações na avaliação e comparar os resultados fornecidos pelos modelos, foram calculados os atributos para os pares de objetos pareados em ambos os modelos. Os atributos considerados foram diferenças de centroide, razão da área de interseção, razão da área, diferença de orientação e o valor do interesse total, os quais são apresentados na Tabela 6. Analisando os resultados observa-se que o BRAMS apresentou, na média, menor diferença do centroide entre os objetos, maior sobreposição dos objetos, maior razão da área e menor diferença na orientação do que o GFS. Portanto, os resultados na semelhança entre os objetos na previsão nesse dia e horário, indicam que os eventos de precipitação foram melhor representados pelo BRAMS, cuja semelhança se resume em um maior valor do interesse total. Cabe salientar que a região centrada sobre o noroeste da Argentina (região vermelha na Fig. 3(c)) não foi pareada na previsão do BRAMS, indicando uma falha desse modelo.

Tabela 6
Atributos dos três pares de objetos identificados entre as estimativas 3B42 e o BRAMS (Figs. 3(a) e 3 (b)) e entre as estimativas 3B42 e o GFS apresentados em parêntesis (Figs. 3(c) e 3(d)) para o dia 21 de janeiro de 2016 as 0600 UTC.

	Pares de objetos
Atributos	BRAMS (GFS)	BRAMS (GFS)	BRAMS (GFS)
	Azul (Azul)	Verde (Roxo)	Vermelho (Verde)
Razão das áreas	0.56 (0.38)	0.50 (0.33)	0.26 (0.23)
Diferença de centroide	2 pts (1 pts)	4 pts (5 pts)	16 pts (18 pts)
Diferença de orientação	54.2° (81.4°)	46.9° (56.5°)	47.9° (48.31°)
Razão área interseção	0.27 (0.29)	0.28 (0.14)	0.25 (0.22)
Interesse Total	0.88 (0.87)	0.87 (0.75)	0.85 (0.83)

As Tabelas 7 e 8 representam as tabelas de contingência orientadas a objeto com o total de sucessos, falhas e alarmes falsos das previsões dos modelos BRAMS e GFS, no dia 21 de janeiro de 2016 as 0600 UTC. O número de pares de objetos (sucessos) identificados nas duas previsões é igual, o qual representa 17% dos objetos observados. O BRAMS apresentou menor quantidade de regiões de chuva que não estão presentes nas observações (7 alarmes falsos) do que o GFS (14 alarmes falsos), valores que representam uma taxa de alarme falso orientada a objeto de 64% e 78%, respectivamente.

Tabela 7
Tabela de Contingência do BRAMS (Figs. 3(a) e 3(b)).

	Observado
Previsto	Sim	Não	Total
Sim	4	7	11
Não	20	-	20
Total	24	7	31

Tabela 8
Tabela de Contingência para o GFS (Figs. 3 (c) e 3(d)).

	Observado
Previsto	Sim	Não	Total
Sim	4	14	18
Não	20	-	20
Total	24	14	38

Algo que justifica essas diferenças entre o número de objetos previstos nos dois modelos é o fato de que no processo de limiarização algumas regiões consideradas como aglomerados independentes no BRAMS foram delimitadas como sendo uma mesma região nas previsões do GFS. é importante ressaltar que nessa técnica o número de objetos não é necessariamente indicativo de um erro na previsão, pois uma previsão de alta resolução pode produzir mais áreas de chuva do que uma previsão com resolução mais grossa. Por isso, a análise dos resultados da tabela de contingência deve ser acompanhada com a avaliação dos atributos no qual a razão da área e a diferença do centroide são parâmetros importantes para concluir de forma mais acertada quais são os modelos que geram as melhores previsões. Deve-se enfatizar que os tipos de erros aqui observados e analisados são baseados nos objetos previstos durante apenas um dia, podendo não representar o padrão do modelo. Assim, é importante avaliar as estatísticas obtidas sobre uma amostra razoavelmente grande de casos para que se conclua acertadamente sobre a habilidade dos modelos avaliados. Isso é feito na seção seguinte em uma análise usando dados de todo o mês.

3.2.2. Avaliação orientada a objeto na comparação de modelos: média mensal

Após a aplicação do método de avaliação às previsões de 6 horas de acumulados de precipitação do BRAMS e do GFS no mês de janeiro de 2016, os objetos de precipitação foram agrupados em pares de objetos (sucessos), falhas e alarmes falsos. Para os pares de objetos foram examinados quatro atributos geométricos chaves no cálculo do interesse total: distância do centroide, razão da área de interseção, razão da área e diferença de orientação. Como explicado na seção2.4, a avaliação da qualidade das previsões pode ser obtida na análise da métrica MMI, que sintetiza diversas informações. Em uma análise inicial os valores do MMI para todos os 31 dias do mês avaliado são comparados entre diferentes tempos de integração (06, 12, 18 e 24 h) para cada modelo separadamente. A Tabela 9 apresenta os valores médios mensais do MMI para as previsões de precipitação do BRAMS e o GFS. Considerando os valores apresentados, observa-se que, de forma geral, o BRAMS representa melhor as características espaciais e geométricas dos objetos de precipitação com 6 horas de integração, mostrando maior valor do MMI para essas previsões (MMI total de 0.52). Por outro lado, o GFS teve maior MMI para as previsões com 24 horas de integração (MMI total de 0,50), o que sugere que a semelhança com os objetos de precipitação das estimativas 3B42 de 24 horas de integração do GFS é melhor que as suas previsões de integração mais curta. O padrão apresentado pelo BRAMS indica que o desempenho das previsões tende a diminuir com a integração do modelo enquanto o GFS apresenta um comportamento contrário com previsões melhores nas integrações mais longas (24 h).

Tabela 9
Valores do MMI para as previsões de precipitação de 06, 12, 18 e 24 horas de integração do BRAMS e o GFS para janeiro de 2016.)

Tempo de integração	MMI (BRAMS)	MMI (GFS)
06h	0.5221	0.4981
12h	0.5079	0.4900
18h	0.4618	0.4602
24h	0.4905	0.5019

Uma análise dos pares de objetos identificados em relação ao número de casos observados pode ser uma forma interessante de avaliar o desempenho de ambos os modelos. Para isso, o número total de pares de objetos, alarmes falsos e falhas são mostrados nas Tabela 10. Considerando os valores apresentados com a integração de 6 h, pode-se dizer que 28% dos objetos previstos pelo BRAMS foram observados pelo 3B42, 72% foram considerados alarmes falsos e 85% dos objetos na referência não foram previstos. No caso do GFS, 19% dos objetos previstos foram identificados nas estimativas 3B42, enquanto o total de alarmes falsos representa 81% dos objetos previstos e 88% dos objetos observados não foram identificados na previsão. Esses resultados indicam que ambos os modelos erram mais por falhas do que por alarmes falsos. Para a integração de 24 h os índices apresentados são semelhantes no sucesso e alarme falso (23% e 76%, respectivamente), diferindo apenas no índice de falhas (88% do GFS contra 90% do BRAMS), sendo esse o motivo pelo qual o GFS apresenta o melhor MMI para as previsões de 24 h.

Tabela 10
Total de sucessos, falhas e alarmes falsos nas previsões de precipitação de 6 e 24 horas de integração do BRAMS e o GFS para janeiro de 2016 (valores percentuais são apresentados entre parênteses).

Modelos (horas)	Falhas	Alarmes Falsos	Sucessos	Previstos	Observados
BRAMS (6 h)	625(85%)	283(72%)	113(28%)	396	738
GFS (6 h)	646(88%)	391(81%)	92(19%)	483	738
BRAMS (24 h)	698(90%)	256(76%)	77(23%)	333	775
GFS (24 h)	683(88%)	298(76%)	92(23%)	390	775

Em uma análise adicional, foi realizado um estudo utilizando o acumulado de precipitação de 24 h e um tempo de integração dos modelos de 96 h. Nos resultados reportados nesse trabalho observou-se que não há fortes modificações nos valores desses índices em função da ampliação do tempo de integração dos modelos. Observa-se apenas uma ligeira tendência de degradação do desempenho de ambos os modelos, o que é um resultado esperado quando se trata de previsões baseadas em métodos numéricos. O padrão observado nas previsões de 24 h onde o total de alarmes falsos e de falhas é maior do que o número de sucessos é mantido nas previsões de mais longo prazo. Ambos modelos subestimam a quantidade de objetos observados. Essas informações se traduzem em baixos valores de CSI e POD, e por outro lado altas taxas de FAR, e o BIAS menor do que 1. Um menor número de falhas foi observado nos resultados do GFS, mas por outro lado apresentou índices de alarme falso e bias maiores que as previsões geradas pelo BRAMS.

3.3. Potencial do método aplicado às tempestades severas

Com o propósito de demonstrar o potencial da metodologia orientada a objeto na avaliação das previsões numéricas de precipitação, especificamente na verificação da destreza dos modelos numéricos em posicionar corretamente as áreas de ocorrência de chuva intensa, foi selecionado um caso de estudo para realizar um experimento baseado na filosofia de aplicação do SCANTEC que tem como premissa básica a inter comparação de modelos. O caso de estudo escolhido está relacionado com os acumulados significativos de chuva registrados em várias cidades do litoral de São Paulo (SP) e do litoral sul fluminense entre as 1800 UTC do dia 28 de fevereiro de 2016 e as 0000 UTC do dia 29 de fevereiro de 2016. Segundo a análise das cartas sinóticas (superfície e altitude), a ocorrência desse evento foi influenciada pela combinação da formação de uma Zona de Convergência de Umidade (ZCOU) estendendo-se a partir do oeste da Região Centro-Oeste do Brasil até o Atlântico, com a divergência em altitude, um cavado na troposfera média e a passagem de uma frente fria pelo oceano Atlântico nas proximidades do litoral de SP. Como consequência, grandes acumulados de precipitação foram registrados em um curto período de tempo, próximos a 200 mm em 6 horas em algumas cidades como Mongaguá (215 mm), Guarujá (194 mm), Praia Grande (192 mm), São Sebastião (172 mm), Bertioga (161mm), entre outras, segundo dados pluviométricos do CEMADEN do dia 28 de fevereiro (rocha e Kondraski, 2016) .

Com a aplicação do método de avaliação os objetos de precipitação implementado no SCANTEC foram identificados e delineados nas previsões e nas estimativas 3B42. Foram analisadas as características espaciais e geométricas das áreas de chuva identificadas nos campos da previsão, e comparadas com os objetos de precipitação detectados na referência, para obter uma avaliação do desempenho dos modelos para prever a precipitação.

Na aplicação do método em uma primeira análise dos campos de precipitação estimado pelo 3B42, observou-se que esse produto subestimou significativamente a intensidade de precipitação reportada pelos pluviômetros. O máximos de precipitação registrado pelo 3B42 foi de apenas 50 mm. No entanto, nesse produto os valores máximos foram colocados na região próxima do Guarujá, o que indica que embora a informação da intensidade esteve deficiente, a estrutura espacial da precipitação, mesmo que parte dela tenha sido capturada, será considerada como verdade nessa avaliação. Assim, o método foi aplicado às previsões de acumulados de precipitação de 6 horas obtidas a partir das 0000 UTC do 28 de fevereiro após 24 h de integração, sobre a região afetada, utilizando a mesma configuração dos experimentos realizados para o mês de janeiro de 2016, mudando apenas o domínio de estudo e o limiar de intensidade da chuva no processo de limiarização para eliminar os valores muito baixos de precipitação. Foi utilizado um limiar de 15 mm. Por conseguinte, após o processo de limiarização, foram definidos objetos de menor tamanho e maior intensidade. A Fig. 4 apresenta os campos de acumulados de precipitação analisados (observado e previstos pelos modelos) e os campos com os objetos de precipitação encontrados, onde cada par de objeto de precipitação é representado com a mesma cor nos dois campos. Foi atribuído a cor cinza para os objetos não pareados. Como ilustrado nas figuras, o algoritmo identificou 3 objetos de precipitação na estimativa 3B42 (Fig. 4(a)), 3 objetos na previsão do BRAMS (Fig. 4(b)) e 1 objeto na previsão do GFS (Fig. 4(c)), sendo que foram encontrados dois pares de objetos entre o BRAMS e a referência (regiões verde e azul nas Figs. 4(d) e 4(e)) e apenas um par de objetos entre o GFS e a referência (região verde nas Figs. 4(d) e 4(f)). Isso indica que o BRAMS apresentou maior número de sucessos, enquanto o GFS mostrou maior número de falhas. Esses valores transformados em estatísticas orientadas a objetos indicam que o BRAMS apresentou um CSI igual ao 0.5 e POD acima de 0.6, ambos valores maiores do que aqueles obtidos pelo GFS (valor de 0.3 em ambas as métricas).

Figura 4
Valores de precipitação acumulada na janela de 6 horas para 00UTC do dia 29 de janeiro de 2016 para: (a) observado por satélites (3B42); (b) previsão com 24 horas de integração do BRAMS; (c) o mesmo que (b) mas para previsões do GFS, bem como seus respectivos objetos de precipitação identificados em tais campos: (d) objetos identificados na precipitação observada (a); (e) objetos identificados em (b); (f) objetos identificados em (c). Os objetos de mesma cor se referem ao pareamento realizado entre a previsão e os campos observados. Os objetos de cor cinza indicam aqueles não pareados

Nesse estudo de caso, com foco no evento de precipitação intensa, o mais importante é a avaliação do posicionamento dos máximos de precipitação. Embora seja algo bastante exigente para uma avaliação de produtos baseados em métodos numéricos, o uso de métricas orientadas a objeto permite avaliar o desempenho do modelo de forma mais coerente e justa. Para isso a análise dos atributos associados às características geométricas dos pares de objetos de precipitação pode ser explorada, tais como diferença de centroide, razão da área de interseção, razão das áreas e orientação. Os valores desses atributos são apresentados na Tabela 11 e revelam que para a região de precipitação intensa observada nesse evento o BRAMS representou muito bem o posicionamento do evento e a área de precipitação, com diferença de centroide de apenas 1 ponto e razão de área de intersecção de 0.4. Em comparação com o GFS, o BRAMS apresentou melhor desempenho em todos os atributos. Note-se que o Interesse Total é muito próximo de 1 o que confirma a semelhança entre as propriedades geométricas do par. O valor do MMI também indica que o BRAMS teve melhor desempenho na representação das áreas de chuva.

Tabela 11
Atributos dos pares de objetos (verde) identificados entre as estimativas 3B42 e o BRAMS (Figs. 4(d) e 4(e)) e entre as estimativas 3B42 e o GFS apresentados em parêntesis (Figs. 4(d) e 4(f)) no dia 28 de fevereiro de 2016.

Atributos	Valor	Interesse
	BRAMS (GFS)	BRAMS (GFS)
Diferença de centroide	1 pts (5 pts)	0.97 (0.57)
Razão das áreas	0.47 (0.38)	0.58 (0.49)
Diferença de orientação	28.9° (47.9°)	0.0 (0.0)
Razão área interseção	0.40 (0.20)	1.0 (0.81)
Interesse total		0.94 (0.84)
MMI		0.78 (0.47)

4. Comentários Finais e Conclusões

O presente trabalho apresenta uma proposta para a avaliação orientada a objeto das previsões de precipitação baseada no método MODE implementado dentro do código do SCANTEC. Aplicações dessa proposta foram apresentadas como prova de conceito utilizando dados sintéticos idealizados para validar essa implementação e dados de experimentos reais de previsão usando modelos utilizados rotineiramente no CPTEC para evidenciar suas eficiências na avaliação das características espaciais dos eventos de precipitação.

Na análise dos resultados obtidos usando dados sintéticos de precipitação conclui-se que a metodologia orientada a objeto proposta e implementada no SCANTEC está correta, e esse experimento evidencia as vantagens da mesma com relação aos métodos convencionais ao explorar as características espaciais dos eventos. Explorando as funcionalidades disponíveis no SCANTEC, e seguindo a filosofia de desenvolvimento comunitário no qual esse software foi concebido e se desenvolve, o método de avaliação orientado a objeto MODE apresenta um grande potencial para o aprimoramento dos modelos de PNT ao descrever as características espaciais e geométricas das áreas de precipitação.

Ao usar dados reais de previsões de precipitação dos modelos BRAMS e GFS, observou-se que o método proposto se mostrou adequado para a avaliação justa de modelos sobre a América do Sul, permitindo de forma coerente intercompará-los considerando sua forma, extensão e localização, obtidas apenas com métodos orientados a objeto. Os resultados avaliados nesse estudo indicam que para previsões de curto prazo (6 horas de integração) o BRAMS apresentou melhores resultados do que o GFS, mas em previsões acima de 24 horas de integração o GFS apresenta melhores resultados em especial na diminuição do índice de falhas na previsão dos eventos observados.

O contínuo investimento em metodologias de avaliação e diagnóstico é um processo importante para a melhoria da modelagem numérica. O desenvolvimento e evolução do SCANTEC visando obter avaliações consistentes e unificadas entre diferentes modelos de PNTC, com a evolução da assimilação de dados, e novas parametrizações facilita essa evolução, pois um bom diagnóstico pode otimizar o impacto de tais modificações na qualidade das previsões (Sapucci et al., 2011). Além da combinação de todos esses aspectos, com a iniciativa dessa pesquisa e continuidade nessa linha de trabalho, novas métricas para a avaliação da qualidade das previsões de chuva serão incluídas no SCANTEC, visando contribuir na identificação de erros presente nas previsões quanto à ocorrência, intensidade, posição no tempo e no espaço. Com isso é possível definir as fontes de tais erros e, portanto, trabalhar diretamente nelas. Nesse contexto, alguns pontos podem ser futuramente trabalhados nos próximos passos dessa frente de pesquisa. Deve-se aprimorar o método para calcular a mediana do interesse máximo como métrica de avaliação da qualidade das previsões, e a análise da intensidade de precipitação deve ser incluída na metodologia. A filosofia de desenvolvimento comunitário em que o SCANTEC está ancorado, permite que esses desenvolvimentos sejam realizados não apenas no CPTEC, mas em universidades e demais institutos interessados, os quais são sempre bem-vindos a embarcar nessa iniciativa.

Um ponto crucial para se atingir a máxima eficiência do método orientado a objeto é a qualidade da precipitação observada. São conhecidas as deficiências dos métodos utilizados nos produtos de precipitação por satélites e os aperfeiçoamentos da base de dados devem ser explorados. Nesse aspecto, os dados de estimativas de radar podem ser muito promissores, pois suas incertezas são bem conhecidas. Essa metodologia aplicada nas atividades de previsão numérica do projeto SOS-CHUVA apresenta-se como sendo bastante pertinente, pois possui dados de radar, modelos de previsão em alta resolução, tais como o BRAMS e o WRF, e o foco desse projeto é a melhoria dos modelos em prever eventos de intensa precipitação. Portanto, um bom ambiente para explorar e aprimorar a metodologia orientada a objeto aqui proposta, em trabalhos futuros.

Agradecimentos

Os autores agradem a todos, que de forma direta ou indireta, contribuíram com o desenvolvimento desse trabalho, destacando a equipe de desenvolvedores do BRAMS e os bolsistas do CPTEC que deram sua valiosa contribuição no desenvolvimento do SCANTEC nos últimos 5 anos, em especial Lucas Amarante Avanço, entre muitos outros. Os autores agradecem também aos dois revisores anônimos pelas críticas e principalmente pelos elogios (tão escassos nesse ofício) ao projeto SCANTEC, que muito nos revigora e impulsiona no enfrentamento dos novos desafios que a avaliação de modelos tem pela frente com a modernização das técnicas e máquinas utilizadas. O presente trabalho foi realizado com apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - Brasil (CAPES) - através da bolsa de mestrado da primeira autora, e do Conselho Nacional de Desenvolvimento Científico e Tecnológico - CNPq, através de auxílio a pesquisa, processo Nº 438086/2018.

Referências

• AHIJEVYCH, D.; GILLELAND, E.; BROWN, B.G.; EBERT, E.E. Application of spatial verification methods to idealized and nwp-gridded precipitation forecasts. Weather and Forecasting, v. 24, n. 6, p. 1485-1497, 2009.
• ANTHES, R.A.; KUO, Y.H.; HSIE, E.Y.; LOW-NAM, S.; BETTGE, T.W. Estimation of skill and uncertainty in regional numerical models. Quarterly Journal of the Royal Meteorological Society, Wiley Online Library, v. 115, n. 488, p. 763-806, 1989.
• BALDWIN, M.; LAKSHMIVARAHAN, S. Development of an events-oriented verification system using data mining and image processing algorithms. preprints. In: THIRD CONF. ON ARTIFICIAL INTELLIGENCE APPLICATIONS TO ENVIRONMENTAL SCIENCE, 2003, California, USA. Proceedings… California: American Meteorological Society, 2003.
• BALDWIN, M.E.; KAIN, J.S. Sensitivity of several performance measures to displacement error, bias, and event frequency. Weather and forecasting, v. 21, n. 4, p. 636-648, 2006.
• CARRASCO, A.R. Método de avaliação orientada a objeto aplicado às previsões de precipitação sobre a América do Sul. 116 p. Dissertação de Mestrado, Instituto Nacional de Pesquisas Espaciais (INPE), São José dos Campos, 2017-03-03 2017. Disponível em: <http://urlib.net/rep/8JMKD3MGP3W34P/3NH9KMB>. Acesso em: 21 jun. 2019.
  » http://urlib.net/rep/8JMKD3MGP3W34P/3NH9KMB
• CASATI, B.; ROSS, G.; STEPHENSON, D. A new intensity-scale approach for the verification of spatial precipitation forecasts. Meteorological Applications, Cambridge Univ Press, v. 11, n. 02, p. 141-154, 2004.
• CASATI, B.; WILSON, L.; STEPHENSON, D.; NURMI, P.; GHELLI, A.; POCERNICH, M.; DAMRATH, U.; EBERT, E.; BROWN, B.; MASON, S. Forecast verification: current status and future directions. Meteorological applications, Wiley Online Library, v. 15, n. 1, p. 3-18, 2008.
• CHAUDHURI, D.; SAMAL, A. A simple method for fitting of bounding rectangle to closed regions. Pattern recognition, Elsevier, v. 40, n. 7, p. 1981-1989, 2007.
• DAVIS, C.; BROWN, B.; BULLOCK, R. Object-based verification of precipitation forecasts. part i: Methodology and application to mesoscale rain areas. Monthly Weather Review, v. 134, n. 7, p. 1772-1784, 2006.
• DAVIS, C.A.; BROWN, B.G.; BULLOCK, R.; HALLEY-GOTWAY, J. The method for object-based diagnostic evaluation (mode) applied to numerical forecasts from the 2005 nssl/spc spring program. Weather and Forecasting, v. 24, n. 5, p. 1252-1267, 2009.
• EBERT, E.; MCBRIDE, J. Verification of precipitation in weather systems: Determination of systematic errors. Journal of Hydrology, Elsevier, v. 239, n. 1-4, p. 179-202, 2000.
• GANGULY, A.R.; BRAS, R.L. Distributed quantitative precipitation forecasting using information from radar and numerical weather prediction models. Journal of Hydrometeorology, v. 4, n. 6, p. 1168-1180, 2003.
• GILLELAND, E.; AHIJEVYCH, D.; BROWN, B.G.; CASATI, B.; EBERT, E.E. Intercomparison of spatial forecast verification methods. Weather and Forecasting, v. 24, n. 5, p. 1421-1422, 2009.
• GONçALVES, N.M.S. Impactos pluviais e desorganização do espaço urbano em salvador Clima urbano, p. 69-91, 2003.
• GUHA-SAPIR, D.: Annual Disaster Statistical Review 2016. [S.l.]: The numbers and trends, Centre for Research on the Epidemiology of Disasters …, 2017.
• GUHA-SAPIR, D.; HOYOIS, P.; BELOW, R. Annual Disaster Statistical Review 2014: The Numbers and Trends [S.l.], 2014.
• JOLLIFFE, I.T.; STEPHENSON, D.B. Forecast verification: a practitioner's guide in atmospheric science [S.l.]: Wiley, 2012.
• MASS, C.F.; OVENS, D.; WESTRICK, K.; COLLE, B. A. Does increasing horizontal resolution produce more skillful forecasts? the results of two years of real-time numerical weather prediction over the pacific northwest. Bulletin of the American Meteorological Society, American Meteorological Society, v. 83, n. 3, p. 407-430, 2002.
• MATTOS, J.G.Z.; SAPUCCI, L.F. SCANTEC - Sistema Comunitário de Avaliação de modelos Numéricos de previsão de Tempo e Clima. 2017. Instituto Nacional de Pesquisas Espaciais. Disponível em: <https://www.dropbox.com/s/05bcoutyxtniann/certificado_5120170005761498228405813.pdf?dl=0>. Acesso em: 30 de janeiro 2017.
  » https://www.dropbox.com/s/05bcoutyxtniann/certificado_5120170005761498228405813.pdf?dl=0
• MOUNT, D.M. Lecture Notes for Computational Geometry Course. Dpt. Of Computer Science, University of Maryland, 2000.
• NACHAMKIN, J.E.; CHEN, S.; SCHMIDT, J. Evaluation of heavy precipitation forecasts using composite-based methods: A distributions-oriented approach. Monthly weather review, v. 133, n. 8, p. 2163-2177, 2005.
• ROCHA, F.P.d.; KONDRASKI, L. Cidades da faixa litorânea de SP sofreram com acumulados significativos de chuva entre os dias 28 e 29 de fevereiro de 2016. 2016. Instituto Nacional de Pesquisas Espaciais. Disponível em: <http://www.cptec.inpe.br/noticias/noticia/128299>. Acesso em: 13 de janeiro 2017.
  » http://www.cptec.inpe.br/noticias/noticia/128299
• RODRíGUEZ, C.F.; SIERRA, M.; FERRER, A.L. Modificación e implementación del método de evaluación espacial modemod para su uso operativo en cuba. Ciencias de la Tierra y el Espacio, v. 17, n. 1, p. 18-31, 2016.
• SAPUCCI, L.F.; MATTOS, J.G.Z.; MATTOS, A. F.; GONçALVES, L.G.G.; BASTARZ, C.; SCHUBERT, D.V. Potencialidades do scamtec (sistema de avaliação de modelos numéricos de previsão de tempo e clima) na avaliação de previsões de precipitação. In: CONGRESSO BRASILEIRO DE AGROMETEOROLOGIA, 2011, Guarapari-SP Rio de Janeiro RJ. Anais… [S.l.]: Sociedade Brasileira de Agrometeorlogia, 2011.
• SIERRA, M.L.; BORRAJERO, I.M.; HINOJOSA, M.F.; ROQUE, A.C.; RODRíGUEZ, C.F.G.; VáSQUEZ, L.P.; FERRER, A.L.H. Herramientas de detección, reporte y evaluación para las salidas de modelos de pronóstico numérico desarrollado en cuba. Revista Cubana de Meteorología, v. 22, n. 2, p. 150-163, 2016.
• WHITE, B.G.; PAEGLE, J.; STEENBURGH, W.J.; HOREL, J.D.; SWANSON, R.T.; COOK, L.K.; ONTON, D.J.; MILES, J.G. Short-term forecast validation of six models. Weather and Forecasting, v. 14, n. 1, p. 84-108, 1999.
• WILKS, D. Statistical methods in the atmospheric sciences 2nd ed. Academic Press, p. 648, 2005.
• ZEPEDA-ARCE, J.; FOUFOULA-GEORGIOU, E.; DROEGEMEIER, K.K. Space-time rainfall organization and its role in validating quantitative precipitation forecasts. Journal of Geophysical Research: Atmospheres, Wiley Online Library, v. 105, n. 8, p. 10129-10146, 2000.

Datas de Publicação

• Publicação nesta coleção
  06 Jul 2020
• Data do Fascículo
  Apr-Jun 2020

Histórico

• Recebido
  08 Ago 2019
• Revisado
  11 Nov 2019
• Aceito
  01 Dez 2019