Avaliação de tecnologia (technology assessment): um instrumento auxiliar no processo decisório

ARTIGOS

Avaliação de tecnologia (technology assessment) - um instrumento auxiliar no processo decisório

Henrique Rattner

Professor do Departamento de Fundamentos Sociais e Jurídicos da Administração,- da Escola de Administração de Empresas de São Paulo, da Fundação Getúlio Vargas

1. INTRODUÇÃO

De introdução recente no país, a avaliação de tecnologia (AT.) rapidamente conquistou adeptos e ganhou notoriedade, dado sua versatilidade e eficácia na análise de inovações e de seus impactos, positivos ou negativos. Tanto o Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), quanto diversas secretarias ministeriais de tecnologia e equipes de pesquisas acadêmicas têm recorrido à AT para equacionar, dimensionar e avaliar as possíveis conseqüências de projetos públicos em grande escala e, portanto, de custos e riscos elevados.

O presente trabalho procura sintetizar algumas considerações teóricas e práticas sobre a AT, visando sua divulgação junto aos administradores de empresas privadas e públicas, e sua eventual adoção como instrumento de apoio no processo decisório.

Os administradores de empresas privadas ou públicas são freqüentemente obrigados a tomar decisões em condições de incerteza, num mundo em mudanças contínuas. A necessidade de adaptar o processo decisório às circunstâncias em transformação leva à caracterização do mesmo como uma aposta indefinida de alto risco. A característica de aposta refere-se ao alto grau e natureza probabilística dos resultados esperados, em face de expectativas e aspirações contraditórias e, muitas vezes, conflitivas, das partes envolvidas. A indefinição é decorrência de regras de jogo pouco claras ou explícitas, o que provoca, freqüentemente, alterações durante o processo, ditadas pelas relações de poder e pela influência dos indivíduos ou grupos envolvidos. Finalmente, o alto risco é devido ao fato de mesmo as melhores alternativas encerrarem freqüentemente conseqüências negativas, provocando reações violentas por parte de grupos ou classes da população, atingidos desfavoravelmente pelas decisões dos detentores do poder.

A avaliação de tecnologia representa um método de antecipação das repercussões, no meio ambiente natural e social, da aplicação de uma determinada tecnologia, objetivando a maximização de seus efeitos positivos e a neutralização dos negativos. A análise da AT pode ser feita sob duplo enfoque - o da tecnologia de per si e o de seu impacto no meio ambiente - procurando integrá-los numa visão de conjunto coerente, no qual a tecnologia está sempre subordinada ao sistema social global. Seria um exercício estéril tentar analisar e avaliar a tecnologia como fator isolado, com objetivos próprios, independentes de seu meio social. No contexto deste trabalho, a tecnologia é considerada como um meio, cujos objetivos específicos estão sempre subordinados a alvos mais gerais, de categorias sociais superiores.

A avaliação de tecnologia é, portanto, uma técnica que ajuda a identificar, levantar e aclarar problemas, mais do que resolvê-los, baseada nas seguintes premissas:

a) a implantação de uma nova tecnologia deve ser uma opção social consciente, ou seja, a decisão a respeito deve ser tomada com base nos conhecimentos acerca das implicações e impactos possíveis da inovação;

b) a administração pública que, por definição, deve visar o interesse coletivo, teria todo o interesse em administrar racionalmente a inovação, o que exige avaliação e comparação sistemáticas com soluções alternativas.

Aplicada neste sentido, a avaliação de tecnologia se distingue do raciocínio meramente intuitivo e da especulação, porque:

a) exige uma explicitação do raciocínio e das inferências, submetendo premissas e hipóteses à crítica e à verificação, de acordo com os requisitos e padrões do método científico;

b) tira os administradores da rotina e os obriga a ampliar os horizontes da reflexão e do planejamento, analisando criticamente opiniões, crenças, tradições e valores tradicionais;

c) representa uma técnica interdisciplinar e holística, cuja aplicação leva à percepção da interação entre mudanças tecnológicas e sociais;

d) indica, além de alternativas tecnológicas, possíveis impactos de sua introdução nos meios ambientes econômico, social, político e ecológico.

As condições de mercado de concorrência imperfeita e a complexidade do mundo de negócios e da administração pública têm levado à adoção quase generalizada de práticas de planejamento, no sentido de adequar os meios a fins preestabelecidos. A produção de bens e serviços em grande escala, com produtos padronizados para o consumo de massa; a indivisibilidade de instalações e equipamentos e, portanto, o elevado custo do investimento inicial levam forçosamente à programação e ao planejamento das operações, procurando reduzir, senão eliminar, os riscos de um fracasso.

Como exemplo ilustrativo, convém analisar, entre outros, os estudos sobre fontes energéticas alternativas, especificamente a de biomassas, cujas implicações devem ser analisadas não somente em termos de custo/beneficio para o investidor. As conseqüências indiretas, ou de segunda ordem, da introdução de biomassas como fontes energéticas abrangem uma ampla gama de aspectos e problemas, tais como:

- a demanda adicional por terras de alta produtividade;

- a expulsão das culturas menos rentáveis e, portanto, a expansão da fronteira agrícola;

- a eliminação das pequenas propriedades e a transformação de largas áreas em monoculturas;

- mudanças na estrutura da propriedade da terra, com a expansão de empresas agrícolas e agroindustriais;

- por outro lado, as monoculturas em grande escala e mecanizadas irão exigir:

• quantidades crescentes de equipamentos motorizados;

• quantidades maiores de fertilizantes e pesticidas, em grande parte ainda importados, onerando, portanto, o balanço de pagamentos;

- a expansão das monoculturas, às custas das culturas tradicionais, resultará em escassez de alimentos, cujos custos de produção tenderão a aumentar, devido à expansão da fronteira agrícola, os maiores custos dos insumos (mão-de-obra mais qualificada, fertilizantes importados, etc), bem como os custos adicionais de transporte e armazenamento;

- no que se refere à mão-de-obra, os impactos negativos já são verificados nos estados de são paulo e paraná, onde a expansão da agricultura capitalista tem levado à liberação trabalhadores não qualificados, antes ocupados na economia de subsistência ou em pequenas propriedades rurais. suas migrações aos núcleos urbanos mais próximos têm gerado o fenômeno dos bóias frias, problema social de difícil solução e, portanto, provocador de tensões e conflitos políticos;

- impactos indiretos da introdução de biomassas, em grande escala, serão sentidos nas áreas urbanas - pressões sobre o poder público para prover à população migrante condições de vida mínimas, sob forma de habitação, saneamento, recreação, educação, saúde e segurança pública, o que não deixará de refletir-se no desequilíbrio orçamentário e num aumento das pressões tributárias sobre a população;

- o cultivo de monoculturas, como matéria-prima para a indústria energética, terá reflexos sobre as economias regionais, pela distribuição assimétrica das usinas e destilarias no espaço econômico. Portanto, desníveis de renda individual e regional tenderão a acentuar-se, gerando um ciclo virtuoso de poupança-investimento-renda, em apenas algumas áreas privilegiadas;

- o meio ambiente ecológico sofrerá impactos das novas culturas em grande escala, devido ao uso de fertilizantes químicos e pesticidas, bem como à poluição das águas pelos resíduos do processo de destilação da matéria-prima vegetal;

- a indústria de máquinas e equipamentos passará, indubitavelmente, por uma fase de grandes negócios, decorrente de uma demanda praticamente ilimitada e líquida por novas instalações, com facilidades creditícias, proporcionadas pelo poder público.

Finalmente, convém mencionar também os diversos grupos de interesses envolvidos ou afetados pelos planos e projetos de biomassas:

- os proprietários das usinas e destilarias;

- os proprietários das terras;

- os pequenos lavradores;

- os trabalhadores rurais, sem terras;

- os industriais de máquinas e equipamentos;

- os operários dessas indústrias;

- os banqueiros e dirigentes de instituições financeiras;

- as administrações públicas, a nivel municipal, estadual e federal;

- as camadas de baixa renda da população urbana;

- as classes média e alta da população urbana, donos de automóveis particulares.

A lista acima não esgota a pauta dos impactos possíveis da introdução e da utilização de biomassas em grande escala. Sua listagem e os cruzamentos com os diversos grupos afetados devem permitir a localização dos focos de resistência e de eventuais obstáculos técnicos, econômicos ou políticos à implantação do novo sistema energético. Ademais, a organização sistemática de dados e informações sobre os impactos potenciais da nova tecnologia dará condições ao poder público para escolher as alternativas mais eficazes.

2. DEFINIÇÕES

A AT constitui uma subcategoria de análise de diretrizes (policy analysis), cujo objetivo é proporcionar aos que tomam decisões nos setores público e privado ampla e objetiva informação sobre as conseqüências potenciais de ações relacionadas com o desenvolvimento tecnológico. Praticamente, a AT é orientada para antecipar, identificar e avaliar os possíveis impactos que podem advir da introdução e utilização de uma nova tecnologia, uma nova aplicação de tecnologia existente, ou uma mudança significativa ao nível de sua utilização.

Preocupados com os efeitos, não somente os planejados e diretos em termos de custo/benefício, mas sobretudo os secundários ou não esperados, que se manifestam nos sistemas econômico, social, legal-institucional, ecológico e político, os objetivos da AT visam explorar e determinar caminhos de intervenção mais efetivos no desenvolvimento de tecnologias prospectivas.

Partindo da premissa de que o futuro não é predeterminado e, portanto, pode ser construído de acordo com opções sociais conscientes, as análises da AT procuram formular e explicitar os objetivos socialmente desejáveis, seus custos, benefícios e efeitos, positivos e negativos, a médio e longo prazos, bem como indicam os meios e diretrizes disponíveis para evitar impactos negativos, ou para melhor preparar-se para as mudanças sociais inerentes.

Ao equacionar um estudo de AT, os técnicos devem formular as seguintes indagações básicas:

a) quais serão os impactos, efeitos ou conseqüências que resultarão do uso da tecnologia, além daqueles que estão sendo utilizados para justificar seu desenvolvimento?

b) os diferentes grupos que recebem os impactos consideram-se beneficiados ou prejudicados, e em que medida?

c) o que pode ser feito para incrementar os impactos beneficiadores?

Os exercícios de AT mais bem sucedidos são aqueles que conseguem identificar e construir combinações de alternativas socio-tecnológicas capazes de modificar impactos previstos.

Líderes políticos e administradores tomam suas decisões, inevitavelmente, em um contexto de incerteza. A AT procura reduzir essa incerteza sempre que possível, oferecendo uma gama de opções, tentando antecipar as vantagens ou impactos negativos de uma escolha entre soluções alternativas. Contudo, a AT não pode substituir o processo decisório: ela constitui apenas um elemento neste processo. Pois as relações entre tecnologia e sociedade são, na melhor das hipóteses, probabilísticas, e não dispomos por ora de um modelo fidedigno e seguro da interação entre as mudanças tecnológicas e sociais.

Embora a bibliografia consultada a respeito não revele uma definição precisa e geralmente aceita do que seja a AT, é possível encontrar, entre os autores, um acordo tácito a respeito de um conjunto de elementos centrais, pressupostos básicos da própria técnica. Estes podem ser resumidos da seguinte forma:

a) o desenvolvimento tecnológico pode e deve ser racionalmente administrado, em direção a objetivos que contribuam, a longo prazo, para o bem-estar da humanidade, ou de uma sociedade em particular. A administração será facilitada por uma avaliação e comparação objetivas das alternativas disponíveis;

b) a AT procura precipuamente proporcionar subsídios ao processo decisorio e, como tal, espera-se que apresente comparações das principais vantagens e desvantagens para os grupos ou segmentos envolvidos, da população, inerentes a eventuais opções;

c) a AT representa, basicamente, um esforço interdisciplinar, exigindo a participação ativa de cientistas sociais, bem como das áreas exatas e naturais. Eventualmente, disciplinas mais recentes, como análise de sistemas, teoria das decisões, pesquisa operacional, etc, contribuem eficazmente para a realização de uma avaliação tecnológica. A crescente ênfase na característica sistêmica da AT é explicada pela interação da tecnologia e as diretrizes do poder público, constituindo um conjunto complexo de relações, potencialmente inteligível e suscetível de ser racionalmente administrado;

d) qualquer exercício de AT deve incluir, obrigatoriamente, projeções do futuro; em conseqüência, explora e analisa-deliberadamente as incertezas inerentes em tais projeções;

e) o conjunto mais geral de tecnologia abrange também o de administração ou soft technology (tecnologia social), além da conotação usual de tecnologia física ou material;

f) tendo essencialmente finalidades práticas - insumo para as decisões - os relatórios de AT podem incluir tanto informações e dados quantitativos, quanto qualitativos e mesmo juizos de valor.

Todavia, nenhuma AT pode ser considerada como resposta definitiva para o problema em pauta, porque novas informações emergem constantemente, alterando o cenário e as relações entre os elementos. Por isso, a aplicação da AT deve ser reiterada e cumulativa. A abordagem do técnico em AT deve ser do tipo exploratório, experimental e pragmático, tendo sempre presente que os impactos do desenvolvimento e da utilização de uma nova tecnologia aparecerão somente em 10, 15 ou 20 anos, sob a forma de mudanças de outras tecnologias e instituições, o que exige, por sua vez, conhecimento e utilização de técnicas de antecipação.¹

3. ASPECTOS METODOLÓGICOS

Adimitindo-se a necessidade de avaliar novos processos e produtos técnicos antes de sua aplicação em escala ampla, a fim de calcular os riscos e a extensão de potenciais disfunções, é lícito indagar sobre a pouca penetração desta técnica na indústria. Além da relativa novidade que a técnica em si representa, podemos apontar as seguintes razões prováveis para seu pouco uso ou mesmo desconhecimento por parte dos administradores:

a) a AT é considerada, geralmente, uma arte. Os impactos futuros de uma nova tecnologia envolvem sempre incerteza sobre a interação e as conseqüências de certos fatores, os quais só podem ser analisados dentro de um quadro de referências do conhecimento atual, enquanto os eventuais comentários e recomendações estejam, necessariamente, baseados em premissas e hipóteses mais ou menos prováveis. Isto significa que a solução de um problema mediante a aplicação da AT só pode proporcionar diretrizes gerais ou um quadro metodológico de referências para análise, comparação, etc, distinto, portanto, do tipo de problema bem definido que pode ser equacionado e resolvido mediante a pesquisa operacional, matriz input-output, programação linear, PERT, etc;

b) muitos problemas não podem ser descritos adequadamente, sem considerar suas relações sistêmicas com um contexto mais amplo. Problemas submetidos à AT são geralmente interativos, e a característica da interdependência dos diversos fatores deve ser incluída explicitamente nas especificações da AT. Todavia, na prática da tomada de decisões na indústria e, freqüentemente, também no governo, o desenvolvimento potencial de uma nova tecnologia e seus impactos em outras esferas são geralmente ignorados ou negligenciados como objetos de pesquisa e análise. Usa-se a premissa de ceteris paribus ou, pior ainda, a interação com o contexto mais amplo é excluída da análise. Isto não deve levar-nos a subestimar as dificuldades existentes ao nível de identificação dos impactos, bem como a sua antecipação, quantificação ou dimensionamento;

c) tendo sido concebida inicialmente como instrumento auxiliar na tomada de decisões políticas, as principais aplicações da AT encontram-se nesta área. As recomendações e as opções relacionadas com aspectos ou fatores controvertidos são freqüentemente influenciadas por pontos de vista subjetivos e percepções e valores diferentes dos diversos grupos sociais afetados pela inovação pretendida. Tais controvérsias exigiriam mais do que uma AT, o que raramente acontece. Devemos, portanto, inferir que a validação das opções e das recomendações não satisfaz necessariamente os critérios da objetividade científica, no sentido de uma verificação intersubjetiva. Uma possível saída para este dilema poderia ser encontrada na elaboração de um modelo participatório, em que os diferentes juízos de valor e as aspirações dos grupos sociais afetados pela nova tecnologia fossem analisados de forma neutra e não comprometida.

Conforme foi apontado atrás, um estudo de AT lança mão de várias técnicas diferentes, sendo que a seleção de uma em particular exige verificação cuidadosa de sua adequação e eficiência no caso específico. A técnica de construção de cenários, por exemplo, parece adequada para analisar a probabilidade de eventos futuros, as condições que possam influenciar sua gênese e os efeitos e problemas potencialmente inerentes ao emprego de uma determinada tecnologia.

Todavia, a construção de cenários apresenta certas dificuldades no campo sociopolítico, porque um sistema de valores deve ser estabelecido a fim de analisar e avaliar os impactos sociais de determinadas tecnologias, ou os obstáculos que grupos sociais possam opor à sua introdução. A necessidade de uma certa congruência entre os sistemas de valores atual e futuro exige uma antecipação de valores e preferências, na hora da introdução e aplicação de uma nova tecnologia. O desenvolvimento de um sistema adequado de indicadores sociais, que permitam identificar as áreas e os objetivos mais importantes para o bem-estar da população, pode ser um instrumento auxiliar de relevância nesta tarefa.

Em 1971, uma equipe da Mitre-Corporação, sob a direção de M. Jones, desenvolveu uma metodologia de sete passos, para a condução de uma AT. Foi enfatizado que os passos deveriam ser considerados como novas linhas de conduta e, portanto, a seqüência, de acordo com a sua ordem numérica, não seria essencial. Essa metodologia de sete passos foi desenvolvida durante a realização de seis projetos de AT, pela mesma equipe, todos referentes a tecnologias físicas. A fim de facilitar a aplicação da metodologia, cada passo foi completado por uma extensa lista de aspectos problemáticos e questões, procurando ressaltar, ao mesmo tempo, a complexidade e dificuldade da AT.

A metodologia proposta pela equipe Mitre-Jones foi ampliada posteriormente por J. Coates, do Office of Technology Assessment (OTA), do Congresso norteamericano. Embora utilizando o esquema Mitre-Jones como ponto de partida, Coates incorporou alguns elementos extraídos de sua própria experiência em AT, ampliando e aperfeiçoando consideravelmente aquela metodologia. Esses elementos ou passos - a identificação dos diferentes grupos de interesse, de alternativas macrossistêmicas e de variáveis exógenas - levaram à formulação das seis variáveis ou aspectos de interseção que afetam, de forma e intensidade variadas, cada um dos passos seqüenciais, num processo sistemático de AT.

A tabela 1 apresenta as seqüências das metodologias Mitre-Jones (sete passos) e de Joseph Coates (10 passos), para a AT.

Convém ressaltar que essas seqüências de passos não significam necessariamente sua realização de forma linear. Ademais, seus autores insistem em que mais de um roteiro será necessário para produzir uma avaliação bem sucedida.

No gráfico 1 são apresentados os elementos funcionais e de interseção para uma estratégia de AT.

Tentaremos, a seguir, descrever resumidamente cada um dos elementos funcionais e de interseção, que figuram no gráfico anterior, exemplificando algumas das técnicas que parecem melhor adequadas a essas necessidades funcionais.

3.1 Descrição e projeção de tecnologia

Ao primeiro e principal elemento funcional de qualquer AT cabe a tarefa de descrever a tecnologia (ou área problemática) a ser avaliada, e projetá-la, por caminhos alternativos, para o período de tempo futuro especificado. A descrição das alternativas tecnológicas deve permitir uma comparação adequada dos impactos e conseqüências. Por isso, a coleta de dados, a delimitação do campo de avaliação e a projeção de tecnologias alternativas constituem componentes integrantes, porém subordinados a este estágio de AT.

1. A coleta de dados referente à descrição da tecnologia é necessariamente diferente daquela exigida posteriormente para a conduta da análise dos impactos. Recomenda-se, além da pesquisa bibliográfica, contatos com especialistas e instituições especializadas, mediante entrevistas realizadas por pesquisadores experientes. A organização de conferências, simpósios, etc. também pode servir de mecanismo para a acumulação e a verificação de dados e informações. Em alguns projetos, o uso de questionários para colher opiniões de especialistas a respeito dos objetivos da AT pode substituir a entrevista pessoal.

2. A delimitação da área de A T parece um passo indispensável, tendo em vista a grande quantidade de opções e oportunidades, hipoteticamente sujeitas à inclusão no processo de avaliação. A equipe de AT deve definir as fronteiras que permitem projeções lógicas e factíveis da tecnologia analisada, em termos de tempo, recursos e, sobretudo, dos contextos ou cenários futuros, consistentes com a mesma.

A referência ao tempo procura determinar o período de projeção necessário para avaliar as principais evoluções da tecnologia considerada e que sejam consistentes com outras tendências na sociedade. A maioria dos estudos de AT já realizados limita as perspectivas a 10 anos, embora alguns projetos futurológicos estendam suas projeções a 20 ou 25 anos.

Certos projetos ou tecnologias encerram, em suas próprias definições, delimitações geográficas para sua área de aplicação (por exemplo, a produção de energia a partir de determinados tipos de biomassas).

Finalmente, a análise da estrutura institucional e das respectivas competências e poderes pode configurar as perspectivas dos limites político-legais de certas inovações, bem como das diretrizes alternativas, associadas com os impactos esperados e capazes de produzir modificações significativas.

3. A projeção de alternativas tecnológicas para um determinado período, e cujos impactos e implicações podem ser comparados, constitui o fator central no processo de AT. Sua colocação não procura, necessariamente, afirmar quais opções teriam maiores chances de ocorrência, mas entende a apresentação de uma gama de alternativas, estendendo-se desde as de desenvolvimento futuro mais provável, até aquelas que seriam - embora viáveis - menos prováveis.

São várias as tarefas e opções nesta fase da AT: a. equipe deve decidir se, e até que ponto convém prosseguir nas tendências verificadas no passado, ou se pretende definir objetivos futuros desejáveis, em direção aos quais a tecnologia em apreço deve ser desenvolvida.

Na área de negócios, a ênfase recairá geralmente nas tendências do passado, devido também ao horizonte temporal limitado dos administradores e empresários. Todavia, o enunciado e a especificação de objetivos sociais desejáveis envolve, claramente, juízos de valor e critérios subjetivos.

Outro ponto a ser observado refere-se à descrição das alternativas tecnológicas. Recomenda-se, como princípio, a apresentação de informações apenas necessárias à análise dos impactos. Na ampla descrição de cenários alternativos, pode ser útil a condição que especifique os níveis, momentos e condições de implementação da tecnologia.

A inserção do contexto social projetado será importante para aquelas alternativas desenvolvidas em função de objetivos sociais explícitos. Assim, por exemplo, uma alternativa tecnológica criada para atingir altos níveis de conservação de energia incluirá, necessariamente, atitudes sociais consistentes com o uso racional de todos os materiais e recursos naturais, o que, por sua vez, causaria impactos sociais e políticos consideráveis.

3.2 A avaliação dos impactos

Um dos principais elementos funcionais da AT consiste na avaliação comparativa de opções tecnológicas alternativas, baseada num conjunto bastante amplo de critérios, incluindo impactos e conseqüências sociais a longo prazo.

Pode-se, portanto, subdividir a avaliação dos impactos em três subcategorias:

1. Seleção dos critérios ou parâmetros dos impactos

2. Avaliação e previsão dos impactos

3. Comparação e apresentação dos impactos

1. A seleção de critérios para a avaliação de impactos constitui um passo crítico na realização da AT, pelo fato de antecipar a estrutura e o escopo da AT global. Os critérios são construídos por listas específicas de itens, utilizados para julgar, quantificar e comparar alternativas tecnológicas, enquanto os impactos medem a intensidade positiva ou negativa de um determinado critério.

Várias abordagens ou procedimentos podem ser utilizados para definir e estruturar os critérios para a avaliação dos impactos.

a) Organização segundo disciplinas científicas: experiências diversas em AT² revelam que, em casos de utilização exclusiva de critérios extraídos segundo categorias científicas - economia, sociologia, ecologia etc. -, os resultados são pouco satisfatórios, indicando falta de integração e coordenação na avaliação final, provavelmente devido à tendência, inerente aos especialistas de cada disciplina, de prosseguir em suas respectivas tarefas de AT, sem se preocuparem com as dos outros membros da equipe e com a cooperação interdisciplinar.

Por estas razões, sugere-se freqüentemente a combinação de critérios, sob forma de matriz, segundo as disciplinas científicas e os principais grupos de interesse envolvidos ou afetados pela tecnologia.

b) Organização segundo grupos de interesse: neste caso, os critérios são organizados em termos dos grupos de interesse afetados pela tecnologia. Também nesta abordagem é freqüente a combinação com pelo menos uma outra categoria, sob forma de matriz, especialmente quando a participação do público é considerada relevante.

c) Organização segundo áreas funcionais da tecnologia: aqui os critérios serão agrupados segundo fases ou categorias da própria tecnologia. Por exemplo, no caso da exploração de petróleo no mar, os impactos serão analisados segundo os seguintes elementos: exploração e perfuração, transportes e facilidades infra-estruturais em terra.

No caso das biomassas, a categorização pode abranger: plantio, irrigação e colheita; transporte e armazenamento da matéria-prima, transformação industrial, disposição dos resíduos, transporte e distribuição do produto final, etc.

d) Organização segundo categorias lógicas: estas são construídas a priori por meio de uma análise lógica do universo das possíveis áreas de impacto. Esta abordagem, conhecida também como análise morfológica, é exemplificada pelo uso de árvores de relevância dos impactos, em que determinados conceitos ou processos são desdobrados numa hierarquia de elementos lógicos, relacionados e subordinados.

Este procedimento permite aos membros da equipe visualizar todos os impactos listados, oferecendo também a possibilidade de pesquisar sistematicamente os fatores ou aspectos omitidos.

e) Exemplos do processo de seleção de critérios: esta tarefa pode ser concebida numa composição de três partes distintas:

• a listagem de todos os impactos possíveis;

• sua estruturação de forma coerente;

• a seleção, como critérios, daqueles impactos considerados significativos e relevantes para a AT.

• Uma listagem completa e detalhada de todos os critérios de impactos inclui, necessariamente, impactos primários (diretos) e de segunda ordem (indiretos). Um exame de vários estudos de AT, realizados nos EUA, mostra a elaboração de listas exaustivas de impactos, baseada em uma avaliação preliminar. Nesses casos, a interação com o público e com os representantes de grupos de interesse é enfatizada como parte essencial do processo de avaliação. Outra técnica recomendada e útil na listagem de critérios de impactos é o brainstorming criativo.

• Em alguns casos, o impacto de uma tecnologia pode ser tão difuso que torna difícil a categorização. Isto se verifica, sobretudo, naqueles estudos em que os valores sociais predominam, levando à estruturação dos mesmos em separado, por meio de árvores de relevância. Em outros, onde a coletividade parece envolvida na tecnologia, pode haver necessidade de separar e definir os grupos de interesse, afetados mediante uma matriz que os relacione com as áreas ou assuntos problemáticos.

• Mesmo nos casos em que todos os impactos tenham sido identificados, seria ainda necessário selecionar os que devem servir como critérios para a AT. A base para a seleção é constituída, geralmente, segundo opiniões e juízos da equipe sobre os impactos significativos no contexto e dentro dos pressupostos delimitativos do estudo.

2. Previsão e avaliação dos impactos: tendo selecionado as áreas consideradas as mais importantes para os critérios centrais de comparação, passa-se à elaboração de mecanismos de antecipação para estimar a intensidade daqueles impactos identificados, para cada uma das alternativas tecnológicas. Embora certas disciplinas proporcionem mecanismos razoavelmente fidedignos para projeções a curto prazo, os requisitos de uma AT, a longo prazo, combinados com uma base de informações e dados incertos tornam sua aplicação de validade duvidosa. A suposição ou estimativa arbitrária de dados', a fim de permitir a aplicação de uma técnica de antecipação - geralmente, uma fórmula matemática - invalida o principal objetivo de uma AT, que procura realizar projeções do futuro, fidedignas dos principais impactos de uma alternativa tecnológica. Um resumo rápido das respectivas vantagens e desvantagens das diferentes técnicas, em situações diferentes, pode servir como orientação para sua encolha e aplicação em projetos concretos. Novamente, essas técnicas de avaliação de impactos futuros podem ser agrupadas em três categorias:

a) disciplinas científicas;

b) técnicas interdisciplinares e futurísticas;

c) impactos sociais.

a) Algumas tarefas da avaliação de impactos são, por consenso geral, melhor realizadas por especialistas nas disciplinas científicas específicas envolvidas. Assim, por exemplo, impactos econômicos são geralmente estimados mediante análises input-output, custo/benefício, cálculo de elasticidades, multiplicadores, etc. Especialistas do meio ambiente empregam modelos de difusão do ar e da água, e os engenheiros utilizam uma variedade de técnicas para antecipar fluxos de eficiência ou de resíduos das máquinas. É indiscutível a importância dessas técnicas e disciplinas para antecipar os impactos, sobretudo aqueles relacionados com os objetivos primários e diretos da tecnologia.

b) Técnicas interdisciplinares e futurísticas: uma grande variedade de técnicas, muitas delas desenvolvidas originalmente em áreas afins, tais como futurologia, análise e pesquisa de sistemas, é utilizada preferencialmente na avaliação dos impactos. Mencionamos a seguir as principais técnicas, sem detalhá-las, remetendo o leitor a obras que desenvolvem amplamente este assunto.³

• Recursos à opinião de especialistas, cujos pareceres, se convergentes, podem tornar a AT desnecessária. Em caso de desacordo dos especialistas, a técnica de Delphos⁴ pode tornar-se um instrumento de ponderação das opiniões divergentes, embora seu emprego seja demorado e não isento de críticas.

• Analogias⁵ aplicadas de uma disciplina para outra constituem um recurso potencial, utilizado para antecipar a evolução de determinada situação. Em caso de analogias emprestadas de uma disciplina para antecipações interdisciplinares, os resultados têm sido menos satisfatórios. A antecipação de reações societárias a uma inovação tecnológica ainda não experimentada deve basear-se em analogias com experiências sociais anteriores, em situações semelhantes.

• Modelos quantitativos: esses modelos, especialmente aqueles elaborados para o uso de computadores, apresentam ampla gama de aplicações, desde um simples modelo econômico de input-output, até o sofisticado multi-loop non-linear feed back, modelo de simulação de Jay W. Forrester.⁶ Todavia, na melhor das hipóteses, eles proporcionam apenas as dimensões quantitativas dos impactos, exigindo elaboração e perspectiva qualitativas.

• Modelos conceptuais: diferentemente dos modelos para computadores, estes podem ser utilizados para representar todos os impactos, inclusive os não-quantitativos. Podem ser desenhados como diagramas de blocos, evidenciando as interfaces e interações dos vários componentes da tecnologia e os elementos do meio ambiente social, econômico, ecológico, etc. Essa abordagem é conhecida também como modelagem estrutural, afirmando-se sua contribuição à estruturação do problema em pauta, à clarificação das inter-relações e à organização da avaliação dos impactos.

• A análise das tendências pode servir para antecipar o futuro, mediante a análise das tendências atuais e sua extrapolação, especialmente para projeções a curto prazo. Estimativas probabilísticas dos impactos analisados, ou análises de regressão para fenômenos correlacionados-, são utilizadas para antecipar os impactos de mudanças ocorridas em uma variável, sobre outra.⁷

• Análise cross-impact: os impactos de um desenvolvimento tecnológico não ocorrem de forma independente, mas, obviamente, a ocorrência de um pode afetar a probabilidade de outros. A análise cross-impact representa uma técnica formal e probabilística de matriz, para analisar essas relações e determinar as variáveis críticas. Seu uso exige, todavia, quantidades relativamente grandes de recursos e tempo de computador.

• Cenários: sua construção tornou-se a técnica mais popular para considerar os impactos cruzados na AT. Apenas, em vez de analisar cada par de impactos, tal como numa análise de cross-impact, o cenário inter-relaciona e projeta todo um conjunto de variáveis.

c) Impactos sociais: embora a identificação e avaliação dos impactos sociais constituam as peças centrais da AT, sua formalização e aplicação representam um dos aspectos mais fracos e negligenciados do processo. As principais técnicas utilizadas nos estudos realizados nos EUA, nesses últimos anos, são:⁸

• Medidas quantitativas referentes ao movimento demográfico, mercado de trabalho, distribuição da riqueza social, etc, podem ser extraídas e projetadas por modelos quantitativos. Contudo, embora ajudem a definir o contexto social, pouco ensinam sobre o comportamento dos indivíduos e grupos.

• Análise morfológica refere-se ao uso de árvores de relevância para estruturar a análise dos impactos sociais.

• Opiniões de peritos, inclusive uma versão modificada de Delphos, mediante mesas redondas e debates de sociólogos, procuram responder em termos das reações prováveis do público a determinadas inovações técnicas ou sociais.

• Pesquisas de opinião pública foram utilizadas em vários estudos de AT. Seus resultados são considerados como indicadores da reação popular ao desenvolvimento tecnológico. Além dos problemas de amostragem e custos, a técnica e seus instrumentos (questionários, formulários, etc.) exigem preparação e treinamento bastante demorados e intensos dos pesquisadores.

3. Comparação e apresentação dos impactos: Dado o ceticismo da maioria dos técnicos em AT, com relação às técnicas de avaliação de impactos atrás mencionadas, parece também importante estender algumas considerações sobre a forma de organização e apresentação dos resultados da avaliação dos impactos. Uma vez antecipadas as magnitudes dos impactos, segundo os critérios selecionados, levanta-se o problema de como somar, avaliar e comparar tais impactos. A apresentação dos mesmos e sua síntese constituem, geralmente, a peça central do relatório final de AT. Convém, portanto, comentar a forma de apresentação, especialmente no que se refere às atitudes subjetivas de vários grupos de interesse e do público em geral, com relação à tecnologia e seu desenvolvimento.

Muitos impactos, sobretudo os econômicos e físicos, podem ser descritos em termos fatuais, não-subjetivos. Impactos sociais e políticos, todavia, envolvem atitudes subjetivas, impressões e opiniões de diferentes camadas da sociedade, para as quais não existem medidas diretas e objetivas. Nestes casos, recorre-se às técnicas de pesquisa e opinião pública, coleta de opinião de pessoas representativas de grupos de interesse, mediante entrevistas, bem como o julgamento dos impactos pela própria equipe de AT, que substitui os grupos ou o público, assumindo abertamente o fardo da subjetividade.

Como regra geral, a equipe de AT deve procurar caminhos de síntese, de avaliação e de comparação de todos os impactos de uma determinada tecnologia. Isto exige o dimensionamento desses impactos, segundo uma escala quantitativa comum, a fim de que possam ser facilmente agregados e comparados. Discussões menos formais e em termos qualitativos são também usadas para avaliar e sintetizar os impactos que irão constar do relatório final. A ênfase na participação do público e a inclusão de suas opiniões, atitudes e juízos tornam o relatório mais concreto e dinâmico. Em vez de listar todos os impactos no relatório final, alguns estudos de AT selecionam e organizam esses impactos ao redor dos problemas mais significativos, o que permite também a avaliação das respectivas compensações e perdas ocasionadas, ao adotar-se determinada diretriz ou programa.

Finalmente, serão também focalizados os maiores perigos, oportunidades, incertezas e problemas revelados pela AT, o que exige um esforço criativo considerável, além do processo formal de avaliação.

4. ELEMENTOS OU FATORES INTERVENIENTES

Na parte anterior, foram descritos os elementos funcionais de uma AT, em cuja realização deve ser considerada, também, uma série de fatores que interagem com, ou influem decisivamente sobre o andamento das tarefas de AT. Esses fatores, esboçados e descritos resumidamente a seguir, são:

a) Os futuros contextos sociais alternativos, em que as opções tecnológicas são inseridas, e à luz de quais juizos sobre os impactos e implicações possíveis das inovações serão formulados.

b) O contexto dos valores sociais específicos, assumidos na AT, e a forma pela qual são relacionados com as tarefas de avaliação de tecnologia.

c) A incerteza referente às projeções alternativas da tecnologia, aos impactos sociais resultantes dessas projeções e da eficácia das diretrizes alternativas propostas.

d) A interação, ou o roteiro a ser seguido, a fim de assegurar uma AT adequada.

e) A forma de interação da equipe, procurando realizar uma avaliação integrada e interdisciplinar.

f) A validação e a participação do público nas diversas fases da AT.

No gráfico 2 são relacionados os elementos funcionais e os intervenientes, sob a forma de matriz, onde os símbolos - uma a três cruzinhas - significam níveis de intensidade de interação crescentes.

A seguir, comentaremos resumidamente cada um dos elementos intervenientes:

a) Futuro da sociedade: a necessidade de elaborar contextos sociais alternativos decorre da natureza projetiva da AT. Conforme foi apontado atrás, a proje-. ção e a análise dos diferentes impactos futuros de um desenvolvimento tecnológico constituem a parte central da AT. Porém, essas considerações devem ser feitas, explícita ou implicitamente, dentro de um contexto social mais amplo. Um contexto diferente resultaria em um desenvolvimento tecnológico diferente e, eventualmente, mudaria a natureza e a gravidade dos impactos para os diferentes grupos populacionais.

A bibliografia sobre as técnicas de antecipação e projeção de futuros sociais alternativos é bastante ampla.⁹ Por. isso, comentaremos apenas rapidamente as principais premissas a elas subjacentes.

• Os sistemas sociais costumam apresentar tendências à continuidade. Mudanças de um estado para outro ocorreriam lentamente e, mesmo em períodos revolucionários ou de descontinuidade, a cultura, os papéis sociais e as instituições continuariam sem mudanças substanciais. Este princípio da continuidade constitui a base das técnicas de antecipação, que procuram projetar tendências e ciclos.¹⁰

• Os sistemas sociais tendem a demonstrar consistência em suas estruturas internas, análogas às dos sistemas orgânicos. As sociedades estáveis dispõem de mecanismos de coesão poderosos, impedindo, por muito tempo, sua fissão em correntes radicalmente antagônicas. Antecipações tecnológicas que pressupõem um desenvolvimento rigoroso e continuo de determinadas tecnologias admitem, implicitamente, o apoio dos valores e atitudes sociais a este desenvolvimento.

• Por outro lado, a divisão da sociedade em grupos de interesse antagônicos é fonte de tensões, conflitos e de potenciais mudanças. Projetar soluções alternativas para os conflitos e problemas sociais constitui um meio eficaz para gerar futuros alternativos.

• Os sistemas sociais abrangem inter-relações de tipo causa-efeito, ou evidenciam correlações que implicam processos causais. Assim, por exemplo, nas projeções econômicas, a escassez é associada à elevação dos preços, à contenção monetária-creditícia e ao desemprego. Essas supostas inter-relações de causa-efeito são bastante utilizadas na elaboração de modelos econômicos e de simulação por computadores, nos quais constituem o princípio básico, subjacente à técnica de análise de impactos cruzados (cross-input analysis).

b) Os valores sociais: na literatura contemporânea, é lugar comum focalizar o impacto da tecnologia sobre os valores sociais (por exemplo, o carro, a TV, o computador, etc). Para o processo de AT, é primordial avaliar os efeitos dos valores sociais sobre o desenvolvimento da tecnologia. A premissa da continuidade das atitudes sociais positivas, com relação ao desenvolvimento de certas tecnologias, não pode ser aceita sem restrições, à luz de movimentos conservacionistas e antinucleares, cada vez mais amplos.

Por isso, valores e atitudes devem figurar, necessariamente, na projeção de desenvolvimentos tecnológicos alternativos e, ainda mais explicitamente, na seleção de critérios ou áreas de impacto sobre os diferentes grupos de interesse. Ademais, valores e atitudes estarão atuantes na interpretação de impactos e na formulação de diretrizes para a ação do poder público, relacionada com a tecnologia avaliada.

A antecipação de valores sociais apresenta, além de problemas metodológicos, aspectos éticos. Como assumir as aspirações e comportamentos de gerações futuras? As técnicas de antecipação normalmente utilizadas - extrapolação, modelos analíticos e consultas a especialistas - apresentam sérias limitações quando aplicadas à previsão de valores. As dificuldades para avaliar atitudes da população com relação a projetos correntes já são bastante grandes. Estender essas tentativas a projeções futuras de mudaças tecnológicas, ou à introdução de, tecnologias ainda não desenvolvidas, afigura-se como praticamente impossível. Entretanto, a projeção dos principais valores sociais constitui a parte central da variável interveniente, discutida no item anterior: o futuro da sociedade. A sugestão formulada pelo documento sobre a AT, elaborada pela equipe da Universidade de Stanford,¹¹ é a de pesquisar atitudes públicas conhecidas, relacionadas a problemas e situações análogas, no passado. Por exemplo, acidentes com reatores nucleares, ou com petroleiros no mar, causando a poluição das praias e dizimando a fauna marítima, etc.

Todos os esquemas de avaliação são baseados em juízos de valor, e a única maneira dê equilibrar os pesos subjetivos é envolver, na avaliação dos impactos, uma amostra tão ampla quanto possível de representantes dos diferentes grupos da população.

c) Incerteza: a condução de um processo de AT constitui uma tentativa deliberada de delimitar e definir as fronteiras da incerteza, relacionadas com o futuro de uma determinada tecnologia. Durante a realização da AT, contudo, aparecem diferentes tipos de incerteza, de natureza mais específica, exigindo equacionamento e análise. A incerteza sobre o desenvolvimento futuro, as taxas e escalas de implementação de uma tecnologia decorrem basicamente de fatores técnicos, financeiros e "atitudinais". Avanços tecnológicos podem ou não ocorrer; certos processos podem resultar muito mais caros do que foi inicialmente orçado, e a opinião pública poderá deter ou impedir certas instalações ...

A incerteza referente à magnitude dos impactos dessa tecnologia é decorrência tanto dos aspectos técnicos, quanto de juízos de valor. As técnicas tradicionais para dimensionar a magnitude desses impactos, embora considerem limites de incerteza, não convencem na atribuição de importância ou pesos relativos a essa magnitude: Por outro lado, entrevistando grupos de interesse, sobre suas atitudes com relação aos impactos futuros, repetem o vício anteriormente apontado, ou seja, recorrem a atitudes e valores no presente, para estimar respostas e reações de grupos sociais, no futuro. O equacionamento da incerteza sobre os efeitos da aplicação de diretrizes e programas alternativos, relacionados com a tecnologia, parece dos mais difíceis - veja-se, por exemplo, a atitude dos proprietários de carros particulares, diante de um possível racionamento da gasolina! Obviamente, as atitudes e perspectivas das pessoas eventualmente consultadas a respeito irão variar tanto em função de valores diferentes, quanto a partir de percepções diferentes da realidade.

d) Iteração ou roteiro da AT: diversos autores e trabalhos metodológicos sobre a AT insistem na necessidade de percorrer o roteiro ou a estratégia de estudo, repetidas vezes, a fim de assegurar uma avaliação completa, abrangente e equilibrada.

O gráfico 3 apresenta um roteiro ilustrativo para a realização de uma AT. O programa é dimensionado em percentagem do tempo de estudo total e pretende enfatizar a importância, para a equipe, da cooperação de todos, a fim de que o roteiro possa ser cumprido. Assim, a descrição inicial da tecnologia é exigida após 20% do tempo total projetado, e o mesmo tempo é alocado para cada um dos elementos funcionais, de modo que, ao atingir 60% do tempo projetado, seja possível avaliar as fases de descrição da tecnologia, de delimitação do estudo e, aos 75%, da análise dos impactos. Os restantes 25% do tempo serão divididos entre uma repetição completa do roteiro (20%), e a elaboração e redação do relatório final (5%). Evidentemente, o roteiro apresentado não pretende ser seguido rigidamente, mas deve servir de orientação para a condução de uma AT, dentro dos limites de tempo disponível. O objetivo ideal de percorrer por duas vezes as respectivas etapas do estudo parece de difícil concretização, devido à limitação de tempo e de recursos.

e) A interação da equipe, de forma harmônica e efetiva, está sendo considerada uma meta altamente desejável, porém de difícil realização. Além das diferenças de atitudes pessoais, a estrutura organizacional, a exclusividade disciplinar e, sobretudo, o fosso que separa as disciplinas científicas humanas e físicas constituem os principais obstáculos para uma integração efetiva da equipe encarregada da AT. A presença de uma personalidade com fortes traços de liderança não assegura resultados integrados, pois constitui uma condição necessária, porém não suficiente para a interação. A formação de uma equipe nuclear de coordenação, composta por membros de formação diferente, porém conscientes da necessidade de interação, baseada em atitudes de respeito recíprocas, pode representar uma solução que, embora demorada, é segura e eficiente.

Neste caso, as responsabilidades são repartidas, e os membros do grupo são regularmente informados, em reuniões de trabalho, dos progressos realizados e dos obstáculos existentes na execução do projeto.

f) A validação e a participação do público: a principal preocupação, buscando a validação de um estudo de AT, é seu credenciamento e aceitação pelos diversos grupos envolvidos e, especialmente, os detentores do poder decisório. Procedimentos adequados para reforçar a aceitação dos resultados da AT dependem, em boa parte, dos seguintes fatores:

• a consideração e o tratamento sério e responsável atribuídos às atitudes, opiniões e respostas dos representantes dos diversos grupos de interesse afetados pela tecnologia;

• o esforço deliberado para atingir um nível de objetividade e senso crítico, sobretudo, na análise crítica das representações dos diferentes grupos de interesse;

• a documentação rigorosa de todos os passos e etapas da avaliação da tecnologia, a fim de que as conclusões possam ser verificadas ou repetidas, independentemente, enquanto eventuais omissões ou erros possam ser identificados e corrigidos.

5. CONSIDERAÇÕES FINAIS

Um dos problemas fundamentais da nossa sociedade e, também, um dos mais polêmicos, refere-se ao direito à informação. Obviamente, o problema não é apenas o de direito, mas sobretudo da qualidade da informação proporcionada. Assumindo que saber é poder, e postulando o advento de uma sociedade aberta, democrática e pluralista, caracterizada pela co-gestão e ampla participação da população nas decisões de interesse público, a AT pode constituir-se em instrumento importante de diálogo entre os diferentes grupos e camadas sociais, sob as seguintes formas:

a) A AT como base de informação, cujo objetivo seria identificar e esclarecer o problema em debate, delineando suas relações com outras áreas controvertidas e proporcionando informações que ajudem a ampliar e elevar o debate público de assuntos complexos.

b) A AT pode, também, tornar-se instrumento eficaz do planejamento, contribuindo para a escolha de tecnologias alternativas, de modo mais racional e eficiente do que técnicas rotineiras de análise custo/benefício ou input-output.

c) O processo de AT pode servir como mapeamento das alternativas futuras, que possivelmente resultem da introdução ou implementação de uma nova tecnologia, relacionada com um conjunto de diretrizes alternativas e disponíveis. Neste caso, a AT constitui a base de um debate nacional sobre os objetivos, implícitos ou explícitos, de determinadas políticas. Veja-se, por exemplo, o caso da política energética nuclear; a proposta de mudança da capital do estado de São Paulo, etc.

d) Finalmente, cumprindo com as funções assinaladas acima, a AT transforma-se em um instrumento poderoso de educação da população, abrindo uma ampla gama de alternativas, enquanto chama a atenção para os obstáculos e resistências prováveis que possam surgir da parte de grupos sociais afetados negativamente pelas conseqüências das inovações planejadas.

A aquisição de níveis de ciência mais elevados, no que diz respeito aos processos e suas implicações, leva necessariamente à formação de níveis de consciência mais elevados, em termos de cooperação, de interdependência e de reconhecimento do destino comum.

• Armostrong, J.E. & Harman, W.W. Strategies for conducting technology assessment. Stanford, Stanford University, 1977.
• Coates, J. Technology assessment: a tool kit. Chemtec, June, 1976.
• ______. Technology assessment. McGraw-Hill Yearbook on Science and Technology, New York, 1974.
• Coates, V. The Organization and management of technology assessment. Proceedings of the International Conference on TA. Monaco, 1975.
• ______. Technology assessment: new demands for information. Chemical Engeneering Progress, 70(11), 1974.
• Congress of the USA. Technology assessment in business and government: summary and analysis. Washington, D.C., OTA, 1977.
• Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq). Resumo do I Seminário sobre Avaliação de Tecnologia. Brasília, 1979.
• Encel, S. et alii. The Art of antecipation. Martin Robertson, The University of Sussex, 1975.
• Hetman, F. Society and the assessment of technology. OECD, Paris, 1973.
• Rattner, H. Estudos do futuro: introdução à antecipação tecnológica esocial. Rio, Ed. da FGV, 1979.
• Roman, D.D. Technology forecasting in the decision process. Management Journal, Washington, D.C., 1975.
• Wills, G. et alii. Technology forecasting. London, Penguin Book, 1972.

1

Veja Rattner, H.

Estudos do futuro: introdução à antecipação tecnológica e social. Rio, Ed. da FGV, 1979.

2

Armostrong, J.E. & Harman, W.W.

Strategies for conducting technology assessment. Stanford, Stanford University, 1977. p. 41.

3

Veja, entre outros, Bright, James R.

A guide to practical technological forecasting. Englewood Cliffs, Prentice-Hall, 1973, e Rattner H. op. cit.

4

Rattner, H. op. cit. p. 70.

5

Rattner, H. op. cit. p. 235.

6

Forrester, J.W.

Urban dynamics. Cambridge, The M.I.T. Press, 1969.

7

Rattner, H. op. cit. p. 34.

8

Armostrong, J.E. & Harman, W.W. op. cit. p. 52.

9

Rattner, H. op. cit. p. 275.

10

Por exemplo, H. Kahn & Wiener, A.

The Year 2000. New York, MacMillan, 1967, e Bell, D. 77ie

Coming of post-industrial society. New York, Basic Books, 1973.

11

Armostrong, J.E. & Harmän, W.W. op. cit. p. 82.

Datas de Publicação

• Publicação nesta coleção
  08 Ago 2013
• Data do Fascículo
  Dez 1979