A externalidade dos modelos no sistema elétrico brasileiro: um chamado para uma nova governança de dados e modelos

Alexandre Street e Arthur Brigatto

Departamento de Engenharia Elétrica, PUC-Rio,

LAMPS PUC-Rio

Rio de Janeiro, 26 de setembro de 2024

Resumo: O sistema elétrico brasileiro depende fortemente de modelos matemáticos complexos para determinar despachos de geração e reserva, sinais de preços, necessidade de expansão e padrões de segurança, que formam a base para os incentivos de mercado, o uso de flexibilidade e a garantia de suprimento. A necessidade de modernizar esses modelos e a governança de dados torna-se crucial à medida que o setor de energia passa por uma transformação rumo a uma eletricidade de baixo custo e baixa emissão com usinas intermitentes cuja operação é sempre mais desafiadora para o operador do sistema. Nesse sentido, este documento aborda as externalidades causadas pelas práticas de modelagem desatualizadas e defende a implementação de uma estrutura robusta de governança de dados e modelos. Especificamente, destaca o papel crítico da avaliação do custo de oportunidade de armazenamento corretamente calculados e o impacto de previsões otimistas enviesadas e da descrição do sistema nas políticas prospectivas. Defendemos uma nova estrutura de governança que traga incentivos para aumentar a eficiência das regras de despacho e precificação baseadas em dados, reduzindo custos, aumentando a confiabilidade e sinalizando os custos de oportunidade do sistema para os participantes do mercado. Dentro dessa nova governança, propomos: 1) a comparação regular dos dados e modelos oficiais com padrões independentes, 2) novos processos para internalizar regras ad hoc fora do mercado e 3) accountability baseado no monitoramento de índices de aderência e precisão dos insumos e resultados dos modelos em relação aos dados observados.

1) Modelos e simplificações

Os modelos computacionais que planejam e indicam a operação do setor elétrico são a plataforma pela qual obtemos a maioria dos elementos relevantes que definem a vida dos agentes desse setor, incluindo a programação da geração, da reserva, os sinais de preço e a segurança. É através das respostas que os modelos e seus dados nos fornecem que garantimos, ou deveríamos garantir, os incentivos de mercado para inovação, o uso ótimo da flexibilidade e a adequabilidade de suprimento no longo prazo.

Não obstante, os modelos não são uma entidade viva, com vontade própria. Não são culpados por qualquer erro, inadequação ou mesmo inconsistência de suas decisões. São programas computacionais que expressam as lógicas que nós decidimos que devem reproduzir. As leis clássicas da economia, como balanço entre oferta e demanda, e as leis físicas da eletricidade, como primeira e segunda leis de Kirchhoff, devem estar corretamente programadas junto com os limites físicos de cada recurso, como as rampa, restrições dos reservatórios etc. O realismo na descrição do sistema e suas partes é crucial para que os modelos não ultrapassem os limites do que é possível no mundo real ao buscarem planejamentos que minimizem os custos.

Assim, um princípio que deve ser sempre observado quando utilizamos ferramentas de otimização para realizar planejamento é o compromisso com uma representação do sistema com o maior nível de precisão possível. Caso não sejamos bastante realistas, ou pelos conservadores na caracterização da realidade, os algoritmos de otimização encontrarão invariavelmente soluções otimistas, que exploram ao máximo todos os recursos que o sistema descrito pode oferecer e que em última instância, possivelmente não possam nem ao menos serem implementadas na prática. E o ponto a ser observado aqui é que, no setor elétrico, a maior parte das simplificações que adotamos nos modelos é baseada na desconsideração de restrições complexas. A segunda lei de Kirchhoff é um grande exemplo disso, pois, como é difícil de modelar e como são muitas as linhas de transmissão do sistema, acabamos por ignorá-las nos modelos de planejamento de médio e longo prazo. Afinal, “estamos fazendo um planejamento energético”. Entretanto, essa decisão pode ser vista como a escolha de um modelo, um modelo onde os limites de transmissão são infinitos e as complexas restrições causadas pelos loops na rede de alta tensão, causadoras de mudanças estruturais nos perfis de despacho diário, são simplesmente ignoradas.

Os modelos de planejamento com múltiplas etapas temporais são utilizados para permitir que o operador do sistema capture o custo de oportunidade de não utilizar hoje os recursos de alto valor, porém escassos, como a água. Neste contexto, o grande mal que as simplificações que relaxam restrições (ignoram ou aumentam os limites, na linguagem de otimização) nos problemas de planejamento é o viés otimista que será implicitamente criado no custo de oportunidade de manter a água estocada (valor da água). Este viés otimista, invariavelmente, resultará numa tendência de antecipação do uso da água. Ou seja, sob a falsa certeza de que qualquer que seja o cenário projetado para o futuro a operação amanhã será mais simples, flexível e barata, o modelo de curto prazo, que contém um grau muito maior de complexidade modelada se comparado ao de planejamento, lançará mão do uso da água imediatamente. Não obstante, quando o amanhã se faz presente, nos deparamos com um mundo mais complexo e restrito em possibilidades do que o que foi projetado. E o grande problema se materializa: já utilizamos a água que agora precisamos e não temos como voltar atrás. Nos deparamos com a dura e silenciosa consequência da inconsistência entre as simplificações do planejamento e a realidade da operação.

Neste contexto, o custo marginal de operação (CMO) e o preço de liquidação de diferenças (PLD) não refletem mais com a antecedência necessária a situação de escassez até que ela seja inevitável. Nesse contexto, acabamos sendo levados a repetidos “sustos” por sermos pegos “desprevenidos” sem os recursos necessários para operarmos o sistema em situações de crise. E isso traz importantes impactos nos incentivos para os agentes, agravados ainda mais pela tendência de não internalização nos modelos das ações corretivas realizadas, que ocorrem tanto no pós-DESSEM como nos despachos fora da ordem de mérito.

É como se vivêssemos nossas vidas sempre imaginando que no mês seguinte fossemos receber um aumento salarial e nunca teríamos nenhum tipo de dificuldade, como doenças, custos de transação, impostos, etc. Naturalmente nossas decisões hoje acabariam por utilizar mais o dinheiro guardado, pois, neste contexto, as dificuldades são muito improváveis. Contudo, quando inconsistência entre a visão de futuro e realidade se materializarem em um cenário de escassez (redução salarial) e adversidade (doenças ou incidência de impostos não previstos), as ações emergenciais serão sempre mais traumáticas e custosas (como a venda de bens, redução de padrão de vida, etc.) do que aquelas que seriam possíveis se tivéssemos internalizado no nosso planejamento aspectos relevantes sobre os momentos de estresse da vida real. Voltando para a operação do sistema, uma dinâmica de operação baseada em um planejamento otimista pode produzir efeitos que vão muito além da operação. Ela tem o potencial de gerar uma cascata de impactos na disposição à resposta da demanda, nos mercados de contratos e na própria atratividade de novos investimentos.

Neste ponto, é importante fazer a mesma ressalva que fizemos no rodapé da nossa contribuição pública à chamada 121 (ver [1]). Ser conservador ou realista na representação do sistema e do futuro não é ser mais avesso a risco. São coisas bastante diferentes, que em geral são confundidas ou utilizadas como substitutas. Não adianta ser mais avesso a risco a cenários de crise hidrológica sob uma visão de mundo em que em todos os cenários não há rede, não há reservatórios individualizados, não há restrições de rampas para a tomada de carga e nem a necessidade explicita de se programar reservas, por exemplo. As decisões de despacho são estruturalmente diferentes e inviáveis na prática. Além disso, os custos de oportunidade sinalizados pelo valor da água, pelo CMO e PLD também serão afetados. Por isso, aversão a risco não substitui realismo ou conservadorismos na representação do sistema e de seus recursos.

Interessantemente, no hall de irrealismos e visões otimistas que podemos criar, também encontram-se os dados que inserimos nos modelos para descrever o futuro da disponibilidade dos recursos sistêmicos. Por exemplo, as ENAs (energia natural afluente) representam os recursos hídricos que chegam disponíveis para sistema. Sua dinâmica futura impacta em como os algoritmos vão explorar este recurso e escolher entre o uso das térmicas preventivamente ou o uso da água armazenada. Fica claro que cenários otimistas, que em média apresentam um futuro com mais ENA do que o que de fato viveremos, têm o potencial de serem igualmente explorados pelos algoritmos como uma fonte de flexibilidade e abundância de recursos futuro e justificar o uso da água hoje. Esse tema é largamente explorado em [2] e alguns de seus principais resultados serão apresentados aqui.

2) Evidências empírica do viés otimista no planejamento

O planejamento do setor elétrico brasileiro tem sido historicamente pautado por uma visão otimista sobre o futuro hidrológico. Os modelos de longo prazo, como o Newave e o Decomp, utilizam previsões de vazões que tendem a ser superiores às que de fato ocorrem. Na Figura 1, as previsões de 1 a 24 meses à frente (azul pontilhado) para a ENA do nordeste (% da MLT) são apresentadas contra a série realizada (curva contínua).

Figura 1 – Previsões (valor esperado dos cenários simulados) 24 meses à frente (linhas pontilhadas azuis) a partir da data de cada caso de PMO desde 2011 até 2024.

O viés k passos à frente da previsão é calculado como a média na janela de 2011 a 2024 entre a previsão k passos à frente e o que ocorreu na série. A previsão das ENAs aqui é calculada como o valor esperado amostral (média dentre os cenários simulados para as ENAs pelo modelo oficial, PAR-p-A) de cada caso do PMO dentro da janela supracitada. Se o viés é positivo, resulta que em média as previsões estão maiores do que o ocorrido. A Figura 2 ilustra o viés calculado para as previsões k passos à frente ao longo de 2011 a 2024 no nordeste.

Figura 2 – Viés de previsão da ENA no Nordeste k passos à frente calculado de 2011 a 2024.

Estudos realizados em [1] demonstram que existe um viés otimista de aproximadamente 15% no Sudeste para k=12 meses à frente, chegando a aproximadamente 80% para o mesmo valor de k no nordeste. A Tabela 1 apresenta mais resultados, incluindo o viés da previsão da ENA acumulado de 1 a 24 passos à frente. Isso significa que, ao longo de 2011-2024, o NW tem projetado um aporte de água significativamente maior do que o observado na realidade. A consequência direta de um viés otimista na projeção da ENAs é a subvalorização da água armazenada nos reservatórios. Em outras palavras, o viés otimista na previsão contamina a política de utilização dos recursos hídricos com uma falsa perspectiva de que o futuro será mais favorável do que a realidade.

Tabela 1 – Viés das previsões k passos à frente do PAR-p-A calculados com dados oficiais de 2011 a 2024 para as ENAs do sudeste e nordeste

K=1

K=6

K=12

K=24

Acumulado

1 a 24 passos

Sudeste

Nordeste

108

Além disso, existem diversas outras simplificações que causam um viés otimista. Por exemplo, o valor da água deveria refletir a flexibilidade futura que as hidrelétricas podem aportar ao sistema, considerando todas as 8.760 horas do ano seguinte. No entanto, a simplificação dos modelos faz com que o custo de oportunidade das rampas não chegue ao DESSEM como deveria no valor da água, prejudicando a programação das hidrelétricas e levando ao consumo de água mesmo quando seria necessário economizá-la.

3) A Política Inconsistente de Implementação dos Resultados Operativos

A política atual de implementação dos resultados operativos é caracterizada por uma inconsistência fundamental: utiliza-se um modelo otimista para o planejamento de longo prazo, mas na operação em tempo real, consideram-se todas as restrições e complexidades ignoradas anteriormente. O NW e o Decomp não incorporam adequadamente a rede de transmissão, não individualizam os reservatórios e utilizam previsões de vazões mais altas do que as que ocorrerão, entre outras simplificações.

Essa discrepância entre o planejamento e a operação real cria uma lacuna significativa entre o planejamento e a operação realizada. No planejamento, assume-se um cenário favorável, que não considera as limitações físicas e operacionais do sistema. Entretanto, na operação diária, o Operador Nacional do Sistema Elétrico (ONS) precisa lidar com restrições elétricas, limitações de transmissão, intermitência das fontes renováveis e outras complexidades não contempladas nos modelos de longo prazo. Como resultado, o sistema é operado sem a preparação adequada para enfrentar os desafios reais. A ausência de uma visão integrada e realista no planejamento impede que o valor da água reflita as condições operativas que serão encontradas, levando a decisões subótimas que comprometem a eficiência e a segurança do sistema.

Na Figura 3, as linhas azuis pontilhadas são as previsão de 1 a 24 meses à frente realizadas a partir do Newave em cada data de PMO, de 2011 a 2024. Já a linha preta contínua se refere ao armazenamento realizado. As barras vermelhas indicam o erro para k=6. Ou seja, em cada mês, calcula-se o quanto o Newave de seis meses atrás previu que seria o armazenamento e subtraí-se de do armazenamento verificado. Com isso, construímos um indicador de aderência bastante objetiva sobre a visão de futuro implícita à modelagem do Newave.

Figura 3 – Viés otimista na operação dos reservatórios: planejamento do armazenamento previsto pelo Newave versus armazenamento realizado.

Alguams perguntas importante poderiam ser feitas sob a perspectiva desses dados:

O que esperar do valor da água calculado sobre uma visão de futuro que sempre erra para o um sistema mais cheio do que acontece?
O que esperar sobre a segurança de suprimento de um sistema que utiliza implicitamente as previsões da Figura 3 para decidir se aciona as termelétricas preventivamente para, por exemplo, ultrapassar o período seco de um ano seco como o de 2021?
O que esperar sobre as garantias físicas das usinas sobre essa visão de futuro?
O que esperar sobre o despacho termétrico e sobre o PLD, bem como todos os incentivos associados, para um sistema que possui a visão de futuro como a expressa na Figura 3?

Para não ser exaustivo, fica claro que a resposta para a pergunta 1 é um valor da água enviesado negativamente. Ou seja, o valor da água sob uma visão de futuro otimista deve ser menor ou igual que o valor da água calculado com previsões mais realistas e aderentes à realidade.

Acredito que o leitor deva estar familiarizado com a interpretação de valor da água e entenda que a função de custo futuro do Decomp produz um efeito no DESSEM similar a um “custo de combustível equivalente” para a água (pelo menos em uma visinhaça suficientemente pequena). Neste contexto, podemos esperar, que o despacho térmico projetado será inferior ao que será realizado e o PLD mais baixo, por consequinte. Ou seja, sob uma visão de mundo otimista sobre os recursos hídricos, é de se esperar o valor do recurso seja mais barato do que o que realmente será. Essas hipóteses descritas acima podem ser verificadas nas figuras 4 e 5 abaixo.

Figura 4 – Viés otimista na operação das termelétricas: planejamento do despacho termelétrico previsto pelo Newave versus o realizado.

Figura 5 – Viés otimista na projeção do PLD: planejamento do PLD previsto pelo Newave versus o realizado.

4) Consequências de uma operação com planejamento otimista

Com base nas evidências de que o viés otimista é uma realidade no sistema elétrico dede o armazenamento até o PLD, a próxima pergunta relevante a se fazer seria: quais seriam a consequência deste viés otimista?

Intuitivamente, é de se esperar que a operação baseada em um planejamento que passa valores de água otimistas, ou seja, reduzidos, para o DESSEM apresente características similares às descritas na seção 1. Ou seja, é lógico esperar, pelas equações de balanço hídrico, que um valor da água sistematicamente mais baixo do que o que deveria ser leve a um deplecionamento de reservatórios, atraso no uso das termelétricas e viés de baixa no PLD.

Assim, é razoavel esperar que em situações pré-crise os alertas típicos de PLD serão mais acanhados do que deveriam. E essa falta de sinalização antecipada de crises hídricas tenderia a postergar medidas preventivas com realação às que seriam tomadas se os sinais estivessem presentes antes. Neste cenário, corremos o risco de estarmos nos colocando em uma situação tal que quando as condições adversas se materializarem, serão necessárias ações emergenciais muito mais caras dos que as preventivas que poderiam ser tomadas. Esse foi o exemplo da crise de 2021, que contou com o despacho fora da ordem de mérito de usinas térmicas caríssimas e a contratação de usinas que até hoje geram problemas judiciais e um sobrecusto enorme aos consumidores.

Vale mencionar que o esvaziamento sistemático dos reservatórios também compromete a flexibilidade do sistema para lidar com a intermitência das fontes renováveis, como eólica e solar. Sem reservas hídricas adequadas, o sistema perde capacidade de ajuste e resposta rápida a variações na geração e na demanda, aumentando o risco de interrupções no fornecimento e a necessidade de medidas corretivas de alto custo.

Do ponto de vista prático, as evidências apresentadas na seção 2 já deveriam soar todos os alertas do CMSE, MME e, obviamente, do ONS. Até porque, os valores e questões envolvidas são muito relevantes para não implicarem em uma ação imediata de reestruturação da governança para os dados e modelos seguinda de ações claras de monitoramento da aderência entre os modelos e a realidade. Na seção seguinte faremos recomendações neste sentido.

Não obstante, vale mencionar que a verificação e confirmação do impacto do viés otimista na operaçào precisa ser cuidadosamente avaliado. Ela exige um contrafactual para que possamos medir a causalidade dos esfeitos. Estudos preliminares realizados no LAMPS testaram o efeito isolado do viés das ENAs sob condições bastante conservadores sobre o seu impacto. Simulamos a operação do sistema com um software de despacho confeccionado internamente utilizando os dados públicos dos PMOs para testar, apenas, se o viés da ENA verificado no histórico teria sido capaz de influenciar no nível do armazenamento para o período entre 2011 e 2024.

Para isso, criamos uma versão desenviesada do PARp-A utilizando uma divisão simples dos cenários pelos fatores apresentados no artigo [2] (similares aos da Figura 2 e Tabela 1) e construimos duas simulações:

Política operativa inconsistente: política que imita a realidade e planeja através da PDDE uma política que é levada para um modelo que implementa sob o cenário realizado.
Política consistente: política que na etapa de planejamento utiliza na PDDE o PARp-A desenviesado e implementa a operação com o mesmo histórico considerado na política inconsistente.

Em ambos os casos, o modelo utilizado para a operação foi o mesmo. A figura 6 mostra o efeito do processo de desenviesar as previsões. É fácil ver que as previsões (linhas azuis) no gráfico da direita ficam muito mais aderentes à realidade (linha contínua preta) do que no gráfico da esqueda (original).

Figura 6 – Na esquerda, previsão do PARp-A com viés (modelo oficial). Na direita, previsões do modelo PARp-A desenviesado.

Apesar dos modelos de operação e planejamento utilizados neste teste serem muito mais simplificados que os softwares comerciais disponíveis no mercado, eles apontam para uma causalidade interessante que fornece mais evidências para a necessidade das entidades competentes passarem a realizar esse tipo de monitoramento. Na Figura 7, comparamos as duas políticas simuladas para o histórico. Fica claro que a política que utiliza o processo de planejamento desenviesado (curva preta), ou seja, que considera menos água para o futuro, gera armazenamentos mais altos do que a política que utiliza os modelos oficiais.

Figura 7 – Armazenamento simulado para o histórico levando em conta planejamento com ou sem viés na previsão das ENAs.

Figura 8 – Zoom nos armazenamentos da Figura 7 para o ano de 2021.

Se analizarmos o corte do ano de 2021, conforme podemos ver na Figura 8, veremos que previsões mais realistas teriam salvo valores relevantes de água nos reservatórios. Dessa maneira, apesar das limitaçòes dos estudos realizados nesta seção, as evidências empíricas corroboram por todos os ângulos a necessesidade de ações diretas para melhorar a acurácia dos modelos e sua aderência com a realidade.

Vale ressaltar que a inconsistência que ocorre no planejamento de longo prazo também deve ser monitorada no planejamento de curto prazo. Os potenciais efeitos deletério do viés otimista no planejamento não são prerrogativa apenas do Newave e Decomp. O DESEEM, ao não representar as restrições de unit commitment (UC) hidráulico, também cria um viés otimista no UC térmico afetando o CMO e o PLD. Esses efeitos precisam ser depois corrigidos no pós-DESSEM, onde praticamente toda a operação é refeita e não contabilizada no sinal de preço.

Esse procedimento, denominado de pós-DESSEM é um procedimento heuristico e ad hoc que conjuga leilões pay as bid, planilhas de excel e regras operativas para encontrar um soluçào viável para a operação do dia seguinte. E para isso, esses ajustes têm levado em conta o recente programa de resposta da demanda. Esse esquema já demonstra sua ineficiência, com térmicas redeclarando CVUs próximos aos custos marginais praticados no pós-DESSEM (que agora ganham notoriedade ao serem publicados no programa de resposta da demanda) e consumidores atuando com preços igualmente calibrados. Essa clássica diferença entre um sistema de preços uniforme e pay as bid se mostra claramente com as ofertas todas deixando de serem realizadas com base nos custos reais e convergindo para o custo marginal.

5) Nova governança dos softwares e dados

Diante desses desafios, é fundamental implementar formas de correção que envolvam uma nova governança dos softwares e dados utilizados no planejamento e operação do setor elétrico. Uma das propostas é conferir maior liberdade ao ONS para escolher os modelos mais adequados às necessidades operacionais, estabelecendo metas de performance claras e benchmarks periódicos com modelos existentes. A criação de modelos espelho em código aberto também pode ser uma excelente iniciativa para permitir que outras entidades aportem contribuições para o setor. O modelo espelho seria uma versão compatível em termos metodológicos ao modelo oficial. E seria atrávés dele que todas as contribuiçòes seriam realizadas.

Além disso, hoje em dia, não existe um acompanhamento da acurácia e aderência dos modelos nos horizontes utilizados nas etapas de planejamento. É crucial, portanto, estabelecer mecanismos de monitoramento da aderência das previsões dos modelos com a realidade observada. Isso inclui avaliar sistematicamente a precisão das previsões de vazões, o cumprimento das metas de armazenamento nos reservatórios e a eficácia das estratégias operacionais implementadas.

Não obstante, a liberdade de escolha do ONS deve vir acompanhada de uma maior responsabilidade com a prestação de contas formal sobre a performance da operação. Essa prestação de contas deve envolver um sistema transparente de medida de performance e de cumprimento de metas. A formação de conselhos consultivos com especialistas da academia e da indústria, com notório saber e contribuições relevantes na área de modelagem, passa a ser uma medida importante neste acompanhamento.

Por fim, uma nova governança deveria ser instaurada para internalizar nos modelos as regras hoje realizadas por fora.

Referências:

[1] Alexandre Street, “Contribuição para a consulta pública No 121 de 10 de fevereiro de 2022”, LAMPS PUC-Rio webpage, 2022. Disponível em: https://www.lamps.ind.puc-rio.br/noticia/modelgovernance/

[2] Arthur Brigatto, Alexandre Street, Senior Member, IEEE, Cristiano Fernandes, Davi Valladão, Guilherme Bodin and Joaquim Dias Garcia, “Assessing the Optimistic Bias in the Natural Inflow Forecasts: A Call for Model Monitoring in Brazil”, LAMPS PUC-Rio webpage – under review, 2024. [Disponível em PDF]