Avaliação entre “pares” na ciência e na academia: aspectos clandestinos de um julgamento nem sempre científico, acadêmico ou “de avaliação”

Evaluación entre “pares” en la ciencia y en el academia: aspectos de un juicio clandestino no siempre científico, académico o “de evaluación”

L’évaluation entre “paires” dans un contexte scientifique et universitaire: aspects d’un essai clandestin pas toujours scientifique, universitaire ou “d’évaluation”

“Peer reviews” in science and academy: Aspects of a clandestine evaluation not always scientific, academic or “assessment”

Artigos Originais

Avaliação entre “pares” na ciência e na academia: aspectos clandestinos de um julgamento nem sempre científico, acadêmico ou “de avaliação”

“Peer reviews” in science and academy: Aspects of a clandestine evaluation not always scientific, academic or “assessment”

L’évaluation entre “paires” dans un contexte scientifique et universitaire: aspects d’un essai clandestin pas toujours scientifique, universitaire ou “d’évaluation”

Evaluación entre “pares” en la ciencia y en el academia: aspectos de un juicio clandestino no siempre científico, académico o “de evaluación”

Sílvio Paulo Botomé

Universidade Federal de Santa Catarina

RESUMO

A avaliação do trabalho acadêmico não pode ser reduzida apenas a medidas. Menos ainda reduzida a medidas de alguns aspectos. Há, porém, uma extensa “naturalização” de procedimentos que não são orientados por todos os aspectos que constituem essa “avaliação”. Um dos aspectos dessa “naturalização” tem sido a lenta e sutil substituição do debate e da crítica aos trabalhos acadêmicos pela sua simples exibição, apresentação ou publicação com exames mais burocráticos do que acadêmicos. As “avaliações entre pares” são geralmente exigência ou procedimento feito com problemas ainda não suficientemente resolvidos. Eles incluem o anonimato do avaliador com muitos “desvios” de uma avaliação acadêmica para uma avaliação política, ideológica ou pessoal. O debate, dessa forma, fica facilmente distorcido e as preferências do examinador (teóricas, ideológicas, políticas etc.) tendem a predominar e até serem perigosamente eliminatórias de trabalhos inovadores ou de uma corrente de contribuições diferente ou não popular no meio científico.

Palavras-chave: Avaliação acadêmica. Revisão por pares. Trabalho acadêmico. Qualidade do trabalho acadêmico.

ABSTRACT

The assessment of academic work cannot be reduced to the measures. But there is an extensive “naturalization” of procedures that are not driven every respect constituting this “evaluation”. One aspect of this “naturalization has been slow and subtle substitution of debate and criticism of academic studies for its simple display, publication or presentation with examination more administrative than academic. The “peer reviews” has been a requirement with problems. They include the anonymity of the appraiser and it allows many “deviations” for an assessment of political, ideological or even personal. The tendency toward hegemony of groups is one of the problems. The recent proliferation of academic societies (or scientific), academic or professional journals, the publication requirements (number of titles) as a criterion for contests, promotions, financial aid or scholarships has increased the bureaucracy to administer it with a possible prejudice to the existing distortions to the development of Science.

Keywords: Academic evaluation. Peer review. Academic work. Quality of academic work.

RÉSUMÉ

L’évaluation du travail universitaire ne se réduit pas seulement aux mesures. Un aspect de cette évaluation est la substitution lente et subtile du débat et la critique des études universitaires pour son affichage, publication ou présentation simple. Les évaluations par les pairs ont divers problèmes. Ils comprennent l’anonymat de l’évaluateur et il permet une évaluation politique, idéologique ou même personnel. Le débat devient ainsi facilement faux et les préférences théorique, idéologique, politique etc. tendent à prédominer et à être dangereusement contraire aux oeuvres qui sont innovateurs ou qui ne font part d´un flux de contributions connue ou populaire au milieu scientifique. L´hégémonie des groupes est l’un des problèmes. La prolifération des sociétés scientifiques, des revues académiques, l’obligation de publication en tant que critère pour les concours, promotions, aide financière, bourses etc. a augmenté la bureaucratie et distorsions au développement scientifique.

Mots-clés: Évaluation des travaux universitaires. Évaluation par les pairs. Travaux universitaires. Qualité du travail universitaire.

RESUMEN

La evaluación del trabajo académico no puede reducirse a medidas. Un aspecto de esta evaluación ha sido la sustitución del debate y de la crítica por su exhibición, simple publicación o presentación con una especie de examen más administrativo que académico. Las “revisiones por pares” han sido un requisito o procedimiento que se realiza con problemas. Las “evaluaciones” incluyen el anonimato del evaluador y permiten una evaluación política, ideológica o incluso personal. Las preferencias teóricas, ideológicas, políticas, etc. tienden a predominar. La hegemonía de los grupos es uno de los problemas. La reciente proliferación de sociedades científicas, revistas académicas, requisitos de publicación (cantidad) como criterio para concursos, promociones, ayuda financiera, becas, etc. ha aumentado la burocracia e contiene distorsiones que pueden llevar a un perjuicio posible por el desarrollo de la Ciencia.

Palabras-clave: Evaluación académica. Revisión por expertos. Trabajo académico. Calidad del trabajo académico.

”É covardia dar um tapa e esconder a mão”.

Há muitos procedimentos que, na Universidade, são “naturalizados” a partir de um uso extensivo ou prolongado. A ponto de, em alguns casos, predominar a falácia, apresentada como argumento: “aqui é assim... você precisa entender isso e adaptar-se”. O “argumento de inércia” (pelo uso prolongado) associa-se ao “argumento de autoridade” (aqui definida pela extensão – “todos fazem assim”). O uso de uma falácia clássica associa- se ao uso de outra que, juntas, acarretam uma sólida “impressão de verdade” apenas por esses dois referenciais. A avaliação do trabalho alheio está disseminada na Universidade de acordo com isso e é o que lhe dá uma aparência de “naturalidade”: “é assim!”. Como se a universidade houvesse retornado há alguns séculos antes de Cristo e fosse adequado considerar que a “essência dos processos”, independentemente de como ela foi construída (ou, na metáfora usual, “adquirida”), lhe desse propriedades transcendentais que não possibilitam questionamento, indagação, dúvida ou até discordância ou, no extremo, reclamação e indignação. A Ciência, no Brasil, tem transitado do debate, da crítica fundamentada e da discordância propositiva para a exposição e o exibicionismo. Duas condições nas quais o que mais importa é apresentar trabalhos em congressos e publicá-los, independentemente de sua efetiva contribuição para o desenvolvimento do conhecimento ou para o aperfeiçoamento social que esse conhecimento propicia. A discordância transformou-se em “quase ofensa”, a hegemonia (apesar do aviso de Nelson Rodrigues, esse grande dramaturgo, de que “toda hegemonia é burra”) parece ser sagrada e não pode ser questionada ou alterada. A padronização nos procedimentos da academia parece seguir a regra das grandes redes de fastfood: igualar o máximo possível. No entanto, talvez mais do que tudo, a avaliação do trabalho acadêmico precise ser revista e aprofundada, antes que nos tornemos uma miríade de seitas hegemônicas a não tolerar nada que não seja coerente com o que a “seita” preconiza. E, pior ainda, considerar que os “outros” são seitas: “nós somos a única alternativa verdadeira ou, pelo menos, melhor ou plausível”. O “parecer acadêmico”, particularmente o denominado “parecer ad hoc” das revistas periódicas e das agências de fomento ou os “pareceres internos na academia” são, por essas mesmas razões, algo que merece algum exame. Até por que “parecer” é um eufemismo para “avaliação”, que, com alguma facilidade, em certos contextos, é muito mais julgamento e até pretexto para “linchamento intelectual” do que um efetivo exame, com debate e argumentação em torno da relevância, pertinência e qualidade de um texto ou trabalho. Se isso acontecer, em lugar da densidade forte de adjetivação e “boicote”, talvez existam, mais adequadamente, efetivos e relevantes processos de “avaliação” de colegas. Sem isso, há um forte risco de orientação para uma barbárie acadêmica e não para o desenvolvimento da Ciência, do Ensino Superior e da Tecnologia relevantes para a vida na sociedade e, mesmo, na instituição acadêmica, que se pretende ser a instância de mais alto nível de preparação para a vida na sociedade. Mais do que a concentração de poder, sempre objetivo das hegemonias, a sociedade precisa de mais equilíbrio nas relações de poder. A avaliação, de qualquer tipo, pode ser um instrumento para esse equilíbrio que, mesmo instável, pode ser uma exigência para a vida, em qualquer instância de relacionamento entre as pessoas.

Em 1997 foi publicado um livro a respeito de Filosofia, Lógica e Existência (Bombassaro & Paviani, 1997) no qual há um capítulo que se refere ao “Parecer acadêmico: a lógica clandestina de uma avaliação” (Botomé, 1997). A tradicional avaliação “às cegas”, como é conhecida nas universidades, no “mundo dos cientistas” ou dos editores de revistas científicas, pode ser considerada sob essa perspectiva. Talvez ela seja um julgamento, nem sempre acadêmico ou científico. Talvez nem sequer seja uma avaliação. Pode até ser apenas um “juízo” e com fundamentos variados em grau, qualidade, profundidade ou quantidade. Até é possível que, em todos esses casos, tenha essas características no menor grau de presença necessário para um mínimo de confiabilidade ou respeitabilidade. Se isso tudo pode ocorrer, vale a pena fazer um exame cuidadoso e demorado, talvez permanente, do que possa estar envolvido com o que é conhecido por “avaliação entre pares”, “parecer acadêmico”, “laudo técnico”, “parecer ad hoc”. Ou mesmo os processos de avaliação para seleção de estudantes em programas de pós-graduação, em cursos de diferentes tipos, em bancas de pós-graduação ou mesmo de seleção de professores para ingresso na carreira acadêmica. Ou, ainda, outros procedimentos de mesma natureza realizados na academia, na Ciência como organização social e até mesmo em outros tipos de organizações e no serviço público em geral.

Muitas vezes esses procedimentos aparecem sob o nome simplificado de “parecer”, para qualquer maneira de apresentar um julgamento, mais ou menos e bem ou mal fundamentado, sobre um trabalho, a ocorrência de um problema, o teor ou as características de um documento, um procedimento, proposta ou projeto de uma pessoa ou de um grupo. Esse ou outros nomes são, com frequência, eufemismos para uma maneira de esconder ou escamotear o que é desaprovação, censura ou recusa do que alguém realiza, propõe ou submete para apreciação e avaliação coletiva em algum sistema social. Botomé (1997) cita exemplos de “eufemismos” utilizados para esse tipo de “julgamento”: “debater um trabalho, projeto ou proposta”, “participar de uma banca examinadora de qualificação para um cargo ou curso ou de uma banca de seleção para ingresso em uma organização”, “bancas de mestrado ou doutorado”, “pareceres ad hoc”, exames de artigos ou projetos de pesquisa, de cursos, de trabalhos técnicos etc. Há uma multiplicidade de situações em que aparece uma grande variedade de modalidades de julgamento do trabalho alheio, desde o informal comentário para um colega no corredor, sobre um trabalho, conduta ou problema até a opinião formalizada em documentos solicitados em qualquer instância institucional ou por qualquer pessoa que estiver ocupando um cargo em uma organização.

Independentemente dos nomes que possa receber (laudo, diagnóstico, avaliação, juízo, parecer – Ferreira, 1986), o que ocorre é medida, avaliação ou julgamento. Ou as três coisas juntas. Botomé (1977) salienta que o âmbito de realização e o grau de explicitação ou formalização disso tudo pode variar. Eles podem ser oficiais, administrativos, acadêmicos, formais, extraoficiais, pessoais, informais, escritos, orais etc. Ou podem ter um pouco de cada uma dessas características. Em qualquer caso, independentemente do nome, ou da combinação das características que tenham, sempre serão um “julgamento” de algo, em função do que acontecerá com o que for “medido, avaliado ou julgado”: poderá ser proibição, restrição ou autorização para alguém realizar algo. E, se for assim, as consequências são sérias e precisam ser determinantes da qualidade desse tipo de trabalho.

Isso tudo é feito com tal frequência nas organizações que, mais do que uma rotina, é algo “naturalizado” que dificilmente é problematizado ou questionado. Dessa forma, “pareceres” são constantemente passíveis de constituir mera aparência (“fachada”) para atos ou opiniões que podem variar de nada profissionais a manifestações sérias, técnicas e responsáveis. Só nesses últimos casos podem ser, ética e politicamente, defensáveis ou aceitáveis como procedimento de trabalho. “Pareceres”, ou mesmo “despachos administrativos” em relação a processos ou projetos de agentes de uma instituição, não devem ser opiniões pessoais sem fundamento, constituir esquiva ou fuga de responsabilidades, comentários inconsequentes, expressões de fantasias ou temores injustificados ou procedimentos para “adiar ou procrastinar” decisões e processos que precisam ser realizados para benefício de pessoas que dependem ou necessitam do que está sendo “julgado” por meio de tais procedimentos. De forma semelhante, também não devem ser comentários que mais expressam fantasias, temores ou sentimentos de quem os elabora (por exemplo, as tradicionais disposições denominadas por “raiva”, “inveja”, “ciúme” etc.). O perigo disso tudo está em que sua “naturalização” advém exatamente de existência de dados ou informações de valor, porém, insuficientes ou inadequados para sustentar, como premissas, as conclusões apresentadas como “avaliação”, “laudo”, “parecer” ou outros nomes que isso possa receber. Talvez o próprio entendimento do que sejam dados pertinentes e suficientes e sua relação com o que é afirmado possa ser uma das razões para essa “naturalização” que dá um caráter de “universalidade” que pode ser constituído simplesmente porque “sempre foi assim” ou “todo mundo faz assim”. Isso entroniza dois tipos de falácia na aceitação desses procedimentos.

É, porém, parte das responsabilidades de um profissional de Ciência, de Universidade ou egresso de um curso de nível superior, vários comportamentos relacionados a medir, avaliar, julgar, estar apto a apresentar juízos ou opiniões, decidir e tomar decisões. Tudo isso, evidentemente, fundamentado e de acordo com limites e condições que legitimem esses processos. Isso tudo exige um exame profundo ou pelo menos uma reflexão crítica a respeito das características desses tipos de comportamento e das variáveis que os determinam. O que é exatamente “avaliar o trabalho” de um colega (ou mesmo de um subalterno)? Quais as finalidades (objetivos ou razões) para isso ser feito, sejam elas “oficiais” ou “funcionais”, sejam “burocráticas” ou, mesmo, “pessoais” ou solicitadas por agências, autoridades ou profissionais que dependam de avaliações e julgamentos de “especialistas” ou de “terceiros” para fundamentar decisões em seu âmbito de atuação ou campo de responsabilidade profissional, por exemplo?

Mais do que uma opinião ou julgamento, no entanto, tais “avaliações”, sob quaisquer formas que se apresentem, não devem reduzir-se, até por uma incoerência conceitual, a uma opinião ou julgamento. Elas devem ser um auxílio – e por isso um meio e não um fim em si mesmas – para, por meio de informações analíticas e precisas, possibilitar decisões a respeito da qualidade, do mérito, da necessidade, oportunidade, relevância ou pertinência para a realização de algo. Assessores, gestores em diferentes instâncias hierárquicas, técnicos especialistas, consultores ad hoc etc., com frequência desconfortável, confundem sua preferência pessoal, suas opiniões, sua maneira de trabalhar conhecida ou costumeira, seus referenciais políticos, ideológicos ou simplesmente o que lhes é familiar e conhecido com critérios ou “fundamentos”. “Critérios ou fundamentos” que nem precisam, gostariam, conseguem ou arriscam explicitar para apresentar seus “julgamentos” a respeito do trabalho de outras pessoas. Tal “auxílio”, além de tudo, está sendo cada vez mais utilizado para autorizar a execução de projetos de trabalho, conceder financiamentos para os mesmos ou integrá-los como um trabalho de um sistema, organização ou parte da mesma. Às vezes, até a subserviência de quem submete o trabalho – seja qual for – à avaliação já é considerada suficiente para haver um “julgamento” favorável. A discordância ou a diversidade, nesses casos, passa a ser um critério de exclusão quase absoluto, a ponto de parecer erro ou “crime” para quem está na posição de “julgador”. Como se “julgar um trabalho” fosse um fim em si mesmo e não um trabalho de auxílio ou prestação de serviço para possibilitar o máximo de visibilidade sobre o que será feito e de forma a viabilizar uma avaliação cuidadosa, precisa e criteriosa para haver uma contribuição social de valor que possibilite aperfeiçoamento e desenvolvimento do trabalho em exame.

O contexto de qualquer avaliação de um trabalho é um conjunto de comportamentos humanos como quaisquer outros, seja ela um laudo pericial, um parecer técnico, uma consultoria ad hoc para uma revista científica ou para um órgão de fomento ou para qualquer outro tipo de agência ou modalidade de avaliação. E, como tal, tem múltiplos determinantes e características variadas que podem combinar-se em diferentes graus: dimensões técnicas, físicas, sociais, econômicas, éticas, financeiras, políticas etc. Envolve sempre critérios políticos e até pessoais, mesmo que inconscientes por parte de quem realiza a “avaliação”. Informações mínimas ou sutis a respeito de quem fez o trabalho ou de suas preferências filosóficas, ideológicas, políticas, teóricas e até mesmo pessoais acarretam tendências, que também podem ser sutis e inconscientes, para menosprezar certos tipos de informação e a supervalorizar outros, quando não a ignorar completamente alguns, conforme o grau ou o tipo de interesse ou de adesão que aquele que realiza a avaliação tem em relação ao trabalho ou à própria pessoa que seja “alvo” ou objeto da avaliação.

Isso é muito sério e importante, mas o é ainda mais quando quem faz o trabalho a ser avaliado precisa expor-se até em sua história pessoal e profissional, com identificação, se não absoluta, pelo menos parcial o suficiente para identificar, mesmo que precariamente, quem é alvo da “avaliação” em curso. Isso é mais evidente quando o trabalho a ser avaliado por alguém exige o exame do currículo de quem fez o trabalho como parte da avaliação a ser feita. Quem avalia, por outro lado, fica em um confortável anonimato ou com muita proteção para escapar de uma “avaliação” da própria “avaliação”, impossibilitando a identificação de quem “julga” e dificultando o próprio questionamento do “julgamento”. Essas condições, como tais, mostram um perigo ou um risco para a confiança nos pareceres e pareceristas quando têm um papel tão absoluto nessas “avaliações”.

O uso de cargos ou funções, com facilidade, pode tornar-se abusivo e quem o ocupa com a atribuição de fazer “avaliações” de trabalhos de outras pessoas pode fazer isso até sem perceber. Isso pode levar a confundir uma “avaliação fundamentada e pública” com a mera opinião ou julgamento de alguém sobre um assunto, trabalho, objeto, desempenho de alguém ou situação existente. Como se o status do cargo fosse suficiente para não haver necessidade de fundamentação suficiente e adequada para sustentar o que é afirmado sobre o que é objeto de “avaliação”. É como se, por definição, fosse impossível uma afirmação avaliativa ter suposições inadequadas ou preconceitos em relação ao que é avaliado direta ou indiretamente. Ou como se não pudesse ser, em hipótese alguma, em qualquer grau, a exibição de poder ou presunção ou um exercício de vaidade e dominação, de competição ou inveja.

E tudo isso sustentado por circunstâncias justificadoras, atenuantes, protetoras para quem avalia ou julga. Isso não facilita ou favorece comportamento irresponsável e, eventualmente, maldoso? Ou, até mesmo, criminoso? A competição por prestígio ou poder, seja pessoal, seja pela área ou grupo a que pertence quem está envolvido em tais processos, pode ser algo fortemente presente em um processo de avaliação do trabalho de outras pessoas. Ou não pode fortalecer ou contribuir para o corporativismo, de uma forma tão lesiva quanto a competição? As exigências de um processo de avaliação são muito diferentes. Elas não se referem a uma retórica “apropriada” (politicamente correta?) ou formal, com aparência de isenção e legalidade ou legitimidade, salvaguarda e proteção burocrática ou “legal”? É preciso deixar claro quais fatos sustentam o que conclui a “avaliação” ou o “parecer”. E na quantidade suficiente e de natureza apropriada não só à conclusão apresentada como às consequências que se seguirão à “avaliação” ou ao “parecer”, em diferentes amplitudes de abrangência de seus efeitos. A ideia de “julgamento” como núcleo de uma “avaliação” ou “parecer” aumenta a probabilidade de quem realiza isso ficar longe do compromisso ou responsabilidade de explicitar informações claras, completas, bem fundamentadas e orientadoras para quem pede o parecer e para quem faz o trabalho, a pessoa ou o processo “avaliado” e que é objeto da solicitação de “avaliação”.

Os processos de “avaliação” ou de “julgamento” nas instituições, particularmente naquelas de ensino superior, costumam formalizar-se em variados tipos de “pareceres”, “laudos”, “apreciações” ou outras modalidades de documentos que as configuram em documentos ou “decisões oficiais”. A elas está reservado um poder que somente com muita dificuldade os que são seus alvos conseguem defender-se ou escapar das imposições que elas delimitam. Botomé (1997) destaca que tais procedimentos (só aparentemente “processos naturais ou necessários”) exigem esclarecimentos e complementações que deixem claros seus significados e as decorrências deles. Eles são comportamentos humanos que, como quaisquer outros, ocorrem sob a influência de determinadas variáveis que, no mínimo, devem ser conhecidas e públicas o máximo possível, tanto para as agências e executores quanto para os que sofrem suas consequências em extensões variadas na quantidade, no tempo ou no espaço. As perguntas desse autor são indicativas do que ele considera importante levar em conta. Que características deve ter um “parecer”, além daquelas que dizem respeito a critérios e procedimentos burocráticos ou relativos aos instrumentos e meios (como programas de computador, por exemplo) utilizados pela agência que solicita “avaliação” (parecer ou laudo)? O que levar em conta ao elaborá-lo, além das exigências burocráticas e administrativas? Quais as decorrências a considerar, evitar ou procurar obter com sua elaboração para a sociedade, para quem é “avaliado”, para quem solicita a avaliação, em diferentes prazos para todos, inclusive para as próximas gerações na sociedade? De que forma apresentá-lo, considerando correção, estética, respeito aos envolvidos, responsabilidade pelo que ele acarretará etc.? Qual o grau de sigilo que deve ter cada aspecto nele considerado? É correto ou ético dar um parecer no anonimato ou protegido por ele? Em resumo: que condições deve ter uma “avaliação” para que seja “aceitável” em relação aos aspectos que tais perguntas indicam?

O mesmo autor ainda insiste que uma “avaliação” ou um “parecer” equivale a uma conclusão: exige a explicitação do conjunto de dados (ou premissas) em que se baseia uma decisão, um juízo, uma opinião ou uma afirmação. Por sua vez, uma conclusão inclui não apenas indicar as características do que acontece – trabalho, documento, procedimento, pessoa, objeto ou atividade – mas, também, das circunstâncias em que o trabalho ocorreu e que fazem com que o juízo emitido (em qualquer modalidade ou grau) possa ter peso ou valor diferente. Pelo menos, do que teria se não houvesse a explicitação das condições que podem relativizá-lo, atribuindo valor ou “peso” diferente às premissas relacionadas ao objeto em avaliação ou às circunstâncias burocráticas ou administrativas da agência que solicita a “avaliação” ou dos documentos que ela criou para “normatizar” as “avaliações” que solicita.

Um trabalho – seja um projeto, relatório, objeto, procedimento – de pesquisa, por exemplo, pode ser proposto ou desenvolvido por um pesquisador veterano sozinho, em grupo com pesquisadores de várias áreas, com alunos de iniciação científica, com mestrandos, doutorandos ou pósdoutorandos. Pode ser feito no contexto de um curso ou como um trabalho isolado. Pode ser proposto em uma universidade localizada em um grande centro urbano e acadêmico ou em uma instituição isolada em um local distante de recursos para facilitar o desenvolvimento de um bom trabalho científico. Em qualquer dessas situações – e elas podem combinar- se entre si e com outras ainda –, a avaliação de um trabalho necessita de mais considerações do que apenas as que dizem respeito a suas características técnicas ou ao grau em que atende a normas burocráticas, administrativas ou regras impostas por programas de computador, protocolos ou critérios que são utilizados pela agência que solicita a “avaliação”. Considerar as circunstâncias em que o trabalho é realizado pode relativizar o que alguém pensa (julga, conclui, opina, considera, “diagnostica”, avalia ou “dá parecer”) sobre ele (Botomé, 1997, p. 408).

Em relação a grandes referenciais, como os que predominam na sociedade em uma ou outra época, região, localidade ou grupo que tem alguma hegemonia no processo de avaliação de trabalhos de outras pessoas (administrações, governos, grupos com muito tempo em cargos de gerência ou direção em organizações, por exemplo), há também aspectos a considerar. Bertrand Russell (2001), em um livro escrito em 1917 e só publicado em 1960, dez anos antes de sua morte, destaca que é possível distinguir, na sociedade humana, dois tipos de bens e respectivas tendências de comportamento correspondentes a eles ou aos seus processos de produção. Existem os bens passíveis de posse individual e os que devem ser compartilhados por todos. A comida e a roupa de um ser humano não são a comida e a roupa de outro ser humano; se a oferta é insuficiente, aquilo que um possui é obtido a expensas de outros. Isso se aplica em geral aos bens materiais e, por conseguinte, à maior parte da vida econômica do mundo atual. Os bens que não são materiais, por outro lado, não pertencem a um ser humano em prejuízo de outros. Um ser humano conhecer uma disciplina científica não impede que outros também a conheçam; ao contrário, o ajudam a desenvolvê-la. Ser um grande artista ou poeta não impede que outros pintem quadros ou escrevam poemas, ajuda a criar condições propícias nas quais essas atividades são possíveis ou mais prováveis. Apresentar boa vontade para com alguns não significa que reste menos boa vontade para ser compartilhada com outros; quanto mais boa vontade tenha uma pessoa, com mais probabilidade ela a criará entre os outros. Em tais situações não existe “posse”, por que não existe uma quantidade determinada a ser dividida; qualquer acréscimo em qualquer lugar tende a produzir outros em todos os lugares (Russell, 2001, p. 11).

Os mesmos “grandes referenciais” examinados por Russell (2001) também parecem úteis para avaliar outras amplas classes de comportamentos humanos. O autor salienta que existem duas grandes tendências de comportamentos humanos em relação aos dois tipos de bens que destaca. As tendências de “comportamentos possessivos” (de possuir) que se relacionam com a aquisição ou conservação de bens privados que não podem ser compartilhados e que são considerados como “propriedades” e as tendências de “comportamentos criativos ou construtivos”, que são relativos a oferecer ao mundo ou tornar disponível para uso aqueles bens para os quais não podem existir privacidade ou posse por parte de alguém.

Os mesmos referenciais podem ser aplicados à terra, às águas, ao ar, ao ambiente ou a tudo que é ou precisa ser público. A distinção entre privado e público ou a falta dessa distinção é algo que cria problemas e dificuldades em todos os setores da vida humana. É óbvio que a propriedade se justifica na medida em que algo é necessário para a vida e para a proteção de alguém. Mas o absoluto do referencial de posse ou de propriedade, generalizada para todos os tipos de bens ou serviços (ou comportamentos humanos), engendra ou provoca competição, dominação, submissão, inveja e crueldade. Russell salienta que, em especial, tal predominância de referencial (de posse ou de propriedade) generalizado conduz ao uso predatório da força ou a “comportamentos de força” (com resultados também predatórios e igualmente não necessariamente físicos ou imediatos). Comportamentos desse tipo contaminam todos os tipos de atividades humanas, especialmente aquelas que, na linguagem de Bertrand Russell, deveriam ser de “referencial criativo”. Alguém que fez uma descoberta valiosa pode sentir inveja de um descobridor rival. Alguém que descobre a cura de uma doença ou de um conceito importante para a vida humana pode mais se comprazer com o status que isso lhe proporciona do que com o benefício que isso pode acarretar para as pessoas. Nesses casos, insiste Russell, em vez de aspirar ao conhecimento por seus benefícios para a humanidade, o homem o deseja como meio de adquirir reputação.

No âmbito da “avaliação” de um trabalho acadêmico, por exemplo, isso também pode acontecer da maneira como Bertrand Russell examina. Se não houver a consideração e o exame cuidadoso das circunstâncias em que o trabalho (ou comportamento) em exame ocorre, há um alto risco de haver equívocos na avaliação (em qualquer forma que seja formalizada) feita. Não por cometer um engano técnico no que é examinado, mas por não levar em conta as circunstâncias em que o objeto de exame ou avaliação ocorre como acontece em muitos casos no âmbito da saúde: examina o problema no organismo e não as circunstâncias em que ele teve origem ou que o mantêm (Pires Júnior, 1987).

Um aspecto importante em qualquer avaliação é exatamente que, além de ser técnica (o objeto em avaliação precisa ser considerado em suas peculiaridades específicas), também envolve outras dimensões, como as sociais, as políticas, as éticas, as administrativas, econômicas, psicológicas etc. Por outro lado, não basta uma experiência de senso comum ou superficial ou uma percepção administrativa ou burocrática para realizar uma avaliação de um trabalho, especialmente no âmbito do trabalho científico ou acadêmico. Isso tudo, porém, pode ser descuidado e, para quem elabora uma avaliação ou “parecer”, pode haver muito mais influência de “prazos”, “interesse da administração”, “recursos existentes”, “inclusão nos planos ou programas da agência que solicita a avaliação”, “regras regimentais ou normas reguladoras” etc. As convenções podem pesar mais do que os benefícios e a avaliação é realizada mais como se fosse “uma propriedade” do avaliador do que um benefício que ele deve oferecer a alguém. Identificar quem será beneficiado, de fato, com a avaliação e quem será prejudicado por ela quase nunca é uma tarefa (ou um comportamento) fácil, simples ou superficial. Exige o estabelecimento de relações complexas com múltiplas variáveis de forma a produzir o melhor benefício para todos os envolvidos e não apenas para atender a necessidades internas do sistema em que se localiza o avaliador ou o solicitante da avaliação.

Talvez um dos aspectos que pode auxiliar na superação dos problemas apontados até agora seja ter clara a necessidade de distinguir entre “necessidades internas” do sistema em que esteja o avaliador, o avaliado e o solicitante da avaliação e as “necessidades externas” a esse sistema, aquelas que dizem respeito aos beneficiários do trabalho a ser avaliado (Kaufman, 1977). Para conseguir fazer isso, é fundamental considerar e tornar público – mesmo que parcialmente ou para si próprio – a razão de ser (o objetivo) da emissão de um “parecer” ou “realização de uma avaliação” a respeito do trabalho de alguém. O que é mais relevante produzir com tal avaliação? Quem emite um parecer (laudo, avaliação, diagnóstico, opinião, juízo etc.) pode ter objetivos variados e nem sempre congruentes com aqueles de quem solicitou o parecer ou de quem realizou ou realizará o trabalho que é alvo da avaliação que se expressará nesse “parecer”. Pode, inclusive, ser incongruente com os benefícios sociais que tal avaliação deveria produzir. Decidir e explicitar o objetivo que orientará a avaliação é fundamental e isso exige uma clareza não só a respeito do que é um “objetivo” de tal tipo de trabalho como também sobre como formulá-lo considerando que há muitas dimensões em jogo. Como resolver se os objetivos dos vários agentes envolvidos forem diversos e até opostos? Holland (1973, 1978) e Botomé (1981, 1996, 1997) examinaram o que podem significar as discrepâncias de orientação, necessidades ou interesses entre um “cliente” e um “paciente”, estabelecendo, por meio de uma analogia com o campo da saúde, uma importante diferença entre os vários tipos de “clientes” e de “pacientes” de um trabalho profissional. Quem solicita, paga e controla o trabalho de quem avalia não necessariamente é o avaliado nem os que precisam de seu trabalho em primeira instância. E isso talvez tenha que ser alterado para alterar uma possível influência inadequada desses três tipos de influência que atuam sobre o comportamento de quem avalia um trabalho de outra pessoa.

Não é aceitável apenas ignorar que, no caso de uma avaliação de um trabalho alheio, esse conflito exista. Mesmo que o seja de forma sutil ou em graus atenuados por parte de qualquer um dos tipos de influência. Fugir dele, ignorá-lo ou negá-lo apenas o escamoteia. Principalmente nos casos em que um “parecer” ou avaliação de um trabalho tem, como decorrência, verbas, poder, oportunidades, benefícios ou status para quem realiza o trabalho. Isso se torna ainda mais sério se, pelas circunstâncias, o avaliador for, de alguma forma, um concorrente, adversário, colega ou amigo que pode ficar em uma situação aversiva ou ser também beneficiado conforme o resultado da avaliação. Produzir prejuízos para outros ou impedir outros de obterem benefícios é tão lesivo quanto apenas buscar o próprio benefício.

Os conflitos relativos a essas exigências ainda têm outros aspectos a examinar. Sem esquecer que o contexto de vida, de trabalho e de “formação” e capacitação de quem realiza ou elabora um trabalho pode ser variado desde as ótimas condições de grandes centros culturais até lugares com muitas limitações de condições para o trabalho, e isso precisa ser considerado junto com as diferenças de qualidade nos projetos ou trabalhos em avaliação. Condições para realizar um trabalho também são determinantes de aspectos que precisam ser considerados como parte do valor desse trabalho. O esforço e a capacidade de trabalho e de esforço de uns e outros são diferentes e, do ponto de vista de investimento para o desenvolvimento da Ciência no país, eles representam dados muito diferentes para compor uma avaliação da “qualidade” de um trabalho que nunca é feito por alguém em um “vácuo” de condições ambientais, sociais, culturais etc.

No caso específico de avaliação (julgamento da qualidade e do mérito) de trabalhos acadêmicos (projetos de pesquisa, de extensão, de bolsas de diferentes tipos, de auxílio para apresentar ou participar de congressos científicos etc.) há mais aspectos e exigências ainda a serem considerados. Um deles refere-se ao próprio sistema de classificação das diferentes agências de fomento existentes no país. As assim chamadas “áreas”, “subáreas”, “campos” ou outras categorias de inclusão dos projetos, trabalhos ou solicitações a serem avaliados nem sempre correspondem ao que efetivamente seria um bom enquadramento (localização) dos trabalhos em avaliação. A decorrência disso é serem encaminhados para pareceres ad hoc de maneira nem sempre precisa ou apropriada considerando no que o parecerista é expert e a natureza ou características do trabalho em avaliação.

Tal organização e nomenclatura das categorias para inclusão dos trabalhos em avaliação, aliados à diversidade de critérios e, quase sempre, junto com a existência de um corpo limitado de especialistas à disposição ou conhecidos pode levar a encaminhamentos inadequados para possíveis avaliadores. Isso acarretará, fatalmente, julgamentos ou avaliações com distorções pelo grau variado de familiaridade com o trabalho em julgamento. Isso é especialmente grave quando se trata de pesquisas ou trabalhos que não são comuns ou difundidos em certo grau na literatura disponível ou acessível, particularmente a quem avalia ou julga o mérito e a qualidade do trabalho. Um exemplo disso foi um trabalho de solicitação de bolsa de pesquisador que recebeu uma recusa por parte de um parecerista porque não citava em suas referências dois artigos recém- colocados na internet. Os dois artigos não eram essenciais, sendo periféricos ao núcleo do trabalho apresentado, embora utilizassem as mesmas palavras (e não os mesmos conceitos) do trabalho em exame. Na região em que o trabalho estava sendo realizado havia apenas dois ou três pesquisadores na mesma (grande área) e escassez de recursos mínimos para administrar o custeio da pesquisa e das pesquisas de mais de uma dezena de orientandos. A própria instituição (uma universidade federal) não fornecia recursos suficientes para a realização dos trabalhos de pesquisa (papel, tinta para impressora, consertos rápidos de equipamentos etc.). Isso é, efetivamente, uma avaliação relevante, precisa, apropriada de um trabalho de alguém que trabalhe há vários anos por meio de uma modalidade de investigação não comum, com dezenas de orientandos nessa modalidade de pesquisa, além de um trabalho de várias semanas para elaborar, conferir e atender às exigências de burocracia para ter uma recusa de um pedido de bolsa que não é mais do que para custeio para as atividades para as quais a própria instituição não oferece recursos. Não seria mais adequado apenas indicar as duas referências como algo a ser examinado e avaliado pelo pesquisador? O pior é o mérito do trabalho não ser sequer comentado, ficando como se fosse irrelevante. Que avaliação é essa? Não é apenas submissão a uma burocracia que muitas vezes tem sua função ou papel desconhecidos ou mal examinados?

A expressão “avaliação por pares” foi consagrada, naturalizada e vulgarizada. Como se bastasse ser apenas “colega” (em que âmbito?) para ser considerado “par”. Não precisamos aperfeiçoar os procedimentos e critérios de decisão e escolha de quem está apto a “dar parecer” (julgar ou avaliar) ao trabalho de outro profissional pesquisador ou cientista em qualquer modalidade de trabalho que venha a ser objeto de avaliação? Ou tudo se reduzirá a técnicos ou burocratas encaminharem projetos para avaliação por simples enquadramento de “possíveis pareceristas” nas categorias? Categorias, aliás, já avaliadas como incompletas ou inadequadas para incluir a variedade de trabalhos em realização por tais “pareceristas”.

A própria noção do que seja um “parecer” (acadêmico ou não) tem em seu núcleo o conceito de avaliação. Tal conceito vai além de mera medida com qualquer instrumento, critério ou impressão de alguém. O conceito de avaliação inclui o que precisa ser realizado após a medida ter sido feita, desde que de maneira apropriada, completa, fidedigna e fundamentada. Isso inclui fornecer as informações que dão sustentação à medida tomada, incluindo o procedimento utilizado por quem faz a medida (ou, se for um processo mais completo, a avaliação). Se a diferença entre medida e avaliação não for considerada (Botomé & Rizzon, 1997) há um sério risco de classificar o trabalho de alguém ou de examinar o que foi feito considerando critérios sem explicitá-los ou considerar sua pertinência e relevância para o caso em exame. Ou, com outro procedimento, considerar e explicitar os critérios e indicar alternativas para superar as dificuldades para valorizar ou destacar aspectos importantes que o trabalho contém ou pode ter com as alternativas de aperfeiçoamento sugeridas. Nesse último procedimento aconteceria o que Matus considera uma aproximação de “processar problemas” (exame das variáveis que constituem e das que interferem com o que está acontecendo) em oposição ao tradicional conceito de “diagnóstico” que enfatiza a localização de suas características (ou “sintomas”) em categorias preexistentes que já “incluem os determinantes” do que acontece e o procedimento (ou “remédio”) a ser utilizado como solução ao problema “diagnosticado” (Huertas, 1996; Matus, 1996). Apenas medir um fenômeno, processo ou objeto, independentemente do nível de mensuração utilizado (nominal, ordinal, intervalar ou “de razão”) não orienta o comportamento por si mesmo. É necessário ter clareza sobre as decorrências necessárias, relevantes ou pertinentes às medidas tomadas e realizá-las como parte de um processo de avaliação.

Há vários graus em que um “parecer acadêmico” pode estar localizado entre uma “medida” (ou “classificação”) e uma efetiva “avaliação” e isso acarreta implicações de vários tipos para os procedimentos de editores, escritores, pareceristas (quiçá avaliadores). Isso pode acontecer em múltiplos contextos no trabalho profissional de psicólogos: laudos, pareceres relativos a artigos, a projetos de pesquisa, a pedidos de bolsa, a respeito de trabalhos ou resumos apresentados em congressos, como exames ou “avaliações psicológicas” etc. Isso é importante na proporção em que há uma ênfase (e muita confusão) a respeito de a noção de avaliação ser reduzida a medida ou classificação de algo, sem a realização de um “exame cuidadoso e orientador” (para todos os envolvidos no que estiver sendo examinado). Isso vale para um artigo a ser publicado, para um debate a respeito de um trabalho examinado em um congresso científico, em um ou mais testes feitos por alguém em uma organização ou como solicitação de ajuda profissional, em uma supervisão de terapia, no julgamento de documentos oficiais (projetos, pedidos etc.) para bolsas de pesquisa, para participação em congressos, para o desenvolvimento de diferentes tipos de trabalhos acadêmicos ou profissionais etc. conforme já foi considerado (Barlow, Hayes, & Nelson, 1986; Botomé, 1981; Botomé, & Rizzon, 1997; Cortegoso, Ronca, & Botomé, 1996; Nóbrega, 1996; Senge, Ross, Smith, Roberts, & Kleiner, 1995)

Cada vez mais parece haver a necessidade, em qualquer trabalho profissional, de uma consideração das exigências do método científico no trabalho profissional. O que, outrora, era apenas uma exigência de “controle das variáveis que interferiam com o fenômeno em exame” passou a ser uma exigência maior: o controle, ou pelo menos a explicitação, das variáveis que interferem com o processo de conhecer (Botomé, 1993), pelo menos, considerando a obra de Sidman (1986), que deixou claro que o comportamento do cientista (o que inclui seu repertório) faz parte das variáveis que interferem com o que é investigado pelo próprio cientista. Isso traz, como decorrência, uma exigência muito grande para os processos de observação, exame, medida e avaliação de qualquer tipo de objeto, tanto um documento acadêmico quanto um comportamento de um sujeito em qualquer tipo ou grau de circunstância profissional. Em muitos casos, até pessoais ou desligadas de contextos profissionais ou não. A explicitação de critérios, instrumentos e procedimentos utilizados é, por isso, algo muito importante como parte inerente de um “parecer acadêmico”. Sem isso, há decorrências que tornam os “avaliadores” eleitos pelos órgãos ou agentes do sistema existente, pessoas “acima de qualquer suspeita”. E, nesses casos, os “avaliados” não têm como identificar o que exatamente precisam superar para seu desenvolvimento. E não basta considerar que isso tudo é “óbvio ou ético”. Isso também precisa ser esclarecido, aprendido, aperfeiçoado e desenvolvido até a melhor qualidade possível para garantir um equilíbrio nas relações de poder que constituem o sistema em que qualquer avaliação dessas é feita. A sutileza e a fragilidade das relações de poder entre “avaliado” e “avaliador”, nesses casos, têm exigências éticas que precisam ser explicitadas, conhecidas e garantidas no âmbito desse tipo de relação entre pessoas, particularmente em um contexto profissional.

Uma das atuais características mais difundida e utilizada no sistema existente de “avaliação por pares” é a de anonimato dos avaliadores. Isso ainda é injusto para com os avaliados. Nele, suas possibilidades de defesa ficam muito limitadas no caso de injustiças ou enganos. Mesmo quando há “avaliação às cegas”, em que não há identificação explícita ou formal do autor do trabalho em “avaliação”, há possibilidades, por diferentes aspectos do trabalho, de que o examinador identifique (ou tenha possibilidade de acesso a uma identificação) quem é o autor do trabalho que está “avaliando” para dar um “parecer”. Talvez as revistas científicas e as agências de fomento tenham que rever e aperfeiçoar seus procedimentos de avaliação dos trabalhos que lhe são apresentados ou submetidos para publicação ou obtenção de auxílio ou fomento. Imaginar-se no lugar de quem recebe um parecer pode auxiliar a identificar que tipo de informação seria útil e importante do ponto de vista profissional e da perspectiva das consequências sociais da realização ou existência do trabalho a que se refere o parecer, pelo menos para quem o recebe. É óbvio que não se trata de aceitar cumplicidade ou desonestidade nesse processo no qual a fidedignidade aos acontecimentos a que se refere o trabalho e sua avaliação é fundamental.

As próprias características da apresentação de um parecer podem auxiliar na avaliação de sua relevância e pertinência. O grau e a pertinência do detalhamento e da fundamentação das informações, a correção e a precisão da redação (ou da “linguagem”), a organização e a estruturação das informações são aspectos também importantes. Até porque é um tipo de texto em que as considerações, indicações e razões misturam- se como demonstração de no que e por que o texto (trabalho ou desempenho) deve ser considerado de uma forma ou de outra, além das indicações do que pode ser feito a partir do que é apresentado sobre o mesmo. Fundamentar em graus variados de detalhamento não deve ser uma indicação de detalhismo, sempre desnecessário. Mas também não deve haver fuga ou evitamento da responsabilidade de fundamentar o que é apresentado. Assim como também não deve haver cumplicidade ou subserviência a procedimentos meramente burocráticos. Não se trata também, é óbvio, de apresentar desculpas, justificativas e atenuantes para isentar os emitentes dos “pareceres” de culpas ou responsabilidades. Isso ainda é mais importante quando há formulários específicos a preencher com a opinião do “parecerista”. Nem sempre eles são compatíveis com os critérios que estão sendo examinados ou que importam para maximizar a qualidade do documento que servirá para orientar decisões a respeito do trabalho de alguém que talvez não tenha outra oportunidade para examinar ou aperfeiçoar seu trabalho a partir do “parecer” realizado a respeito dele.

Botomé (1997) ressalta que as dimensões éticas de um parecer são importantes para caracterizá-lo coerentemente com suas consequências sociais. As consequências do que é feito (escrito ou falado) sob esse nome (ou equivalentes) são sérias e não isentam quem as emite da responsabilidade por elas, embora os procedimentos utilizados pelas agências sociais (e seus agentes responsáveis) nem sempre sejam coerentes com essas exigências. Pode-se ou não gostar disso, mas é algo que precisa ser considerado nesse tipo de trabalho profissional. Talvez seja para evitar tal responsabilidade (ou as decorrências dela) que pareceres, em geral, são mantidos em anonimato. Isso facilita não apenas proteger o emitente de pressões, mas também de ter que responder pelas consequências de sua “avaliação” ou de ser questionado pelo que ela contém. Avaliar ou comentar o trabalho (ou algum tipo de seu registro) de alguém não deve ser considerado como um palpite sem consequências. É algo sério e precisa ser feito com o cuidado correspondente. Afinal, ser profissional exige envolver-se com a solução e com o desenvolvimento dos processos em realização de forma a superar problemas e dificuldades e não escamoteá-los, fugir deles ou adiar indefinidamente o seu exame e sua resolução.

A instituição do anonimato no sistema acadêmico do Brasil, como algo já “naturalizado”, precisa de revisão e aperfeiçoamento. As possibilidades de contestação para quem é objeto de avaliação e os cuidados na escolha de pareceristas em cada caso podem ser muito melhorados. Não pode haver a mera suposição de que qualquer pesquisador pode avaliar o trabalho de qualquer outro. A própria experiência e maturidade em uma área de conhecimento, por exemplo, é difícil de avaliar, uma vez que as próprias categorias de inclusão dos trabalhos e dos pesquisadores nas categorias existentes já têm falhas que dificultam esse trabalho. Abolir o anonimato tem consequências, assim como tem consequências a pouca (ou, mesmo, a ausência) existência de critérios de avaliação que não sejam burocráticos, administrativos ou genéricos demais. Isso pode e precisa ser aperfeiçoado continuamente para melhorar o sistema de publicações e de desenvolvimento do conhecimento e do trabalho acadêmico e profissional no país.

Em síntese, emitir um “parecer” exige clareza a respeito do que levar em conta para decidir os termos e a forma que deve conter a sua apresentação, assim como os objetivos, critérios, procedimentos de exame e contexto de realização do trabalho a que se refere o parecer. É preciso insistir que “emitir um parecer” é também uma tarefa profissional a respeito do trabalho ou características de outra pessoa e das condições em que se encontra para fazê-lo ou exercê-las. Esse conjunto pode orientar melhor o que avaliar e indicar a respeito do trabalho ou pessoa em exame. O cuidado, a seriedade e a profundidade com que “a emissão de um parecer” for feita recaem, em curto prazo, sobre quem é “avaliado” com esse parecer; mas, também, recaem, em médio e longo prazos, sobre quem emite o parecer. Principalmente quando a principal influência da emissão do parecer for o que ajudará a resolver e superar as dificuldades e não o que facilita fugir, evitar ou esconder o que pode acontecer como decorrência do “parecer emitido”. Não é útil esquecer que o “parecer”, desde o disfarçado comentário de corredor até o preenchimento dos formulários das agências de fomento, é um grande instrumento de poder, exercido no anonimato na quase totalidade das vezes em que é utilizado. Isso não é pouco. Nem pode ser considerado como “naturalmente benéfico” para a sociedade, para a Ciência, para a Universidade ou para outras instituições. Pode haver uma lógica perversa camuflada na “naturalidade” dos processos e procedimentos que recebem o nome, muitas vezes eufemístico, de “parecer”, como se não houvesse interesses ou dimensões outras que não apenas as técnicas, as burocráticas, administrativas, essas publicamente confessáveis e, talvez, extensamente justificadoras para o que, em vários casos, não seja tão justificável. Retomar ou manter sempre o debate sobre os mais diferentes trabalhos científicos, acadêmicos, administrativos e profissionais e a crítica necessária ao seu desenvolvimento precisa ser uma das prioridades do século XXI, no qual a homogeneização, para facilitar o consumo e a hegemonia de ideias, para facilitar o controle social, vão em direção contrária à diversidade e ao equilíbrio das relações de poder. Sem esse equilíbrio, a tendência, mesmo no meio acadêmico e científico, será, pelo menos em alguns aspectos, voltar a relações que poderiam ser qualificadas como “barbárie social”.

Recebido em: 03/02/2011

Aceito em: 21/03/2011

Sílvio Paulo Botomé, Professor Titular do Departamento de Psicologia da Universidade Federal de Santa Catarina e pesquisador do CNPq. Endereço para correspondência: Rua das Acácias, 464, Carvoeira, CEP: 88040-560, Florianópolis, SC. Endereço eletrônico: [e-mail]

• Barlow, D. H., Hayes, S. C., & Nelson, R. O. (1986). The scientist practitioner research and accountability in clinical and educational settings New York: Pergamon.
• Bombassaro, L. C., & Paviani, J. (Orgs.). (1997). Filosofia, lógica e existęncia Caxias do Sul, RS: Ed. da Universidade de Caxias do Sul.
• Botomé, S. P. (1981). Objetivos comportamentais no ensino: a contribuiçăo da análise experimental do comportamento Tese de Doutorado, Instituto de Psicologia, Universidade de Săo Paulo. Săo Paulo, SP.
• Botomé, S. P. (1993). Metodologia de pesquisa: a lucidez orientando a açăo. In T. R. S. Dias, F. E. Denari & O. M. Kubo, Temas em Educaçăo Especial 2 (pp. 311-324). Săo Carlos, SP: Ed. da UFSCar.
• Botomé, S. P. (1996). Serviço ŕ populaçăo ou submissăo ao poder: o exercício do controle na intervençăo social do psicólogo. Estudos de Psicologia, 1(2), 173- 201.
• Botomé, S. P. (1997). Parecer acadęmico: a lógica clandestina de uma avaliaçăo. In L. C. Bombassaro & J. Paviani (Orgs.), Filosofia, lógica e existęncia (pp. 405- 418). Caxias do Sul, RS: Ed. da Universidade de Caxias do Sul.
• Botomé, S. P. (2010). A quem, nós psicólogos, servimos, de fato? In O. H. Yamamoto & A. L. F. Costa, Escritos sobre a profissăo de psicólogo no Brasil (pp. 169-201). Natal: Ed. da Universidade Federal do Rio Grande do Norte.
• Botomé, S. P., & Rizzon, L. A. (1997). Medida de desempenho ou avaliaçăo da aprendizagem em um processo de ensino: práticas usuais e possibilidades de renovaçăo. Chronos, 30(1), 7-34.
• Cortegoso, A. L., Ronca, A. C. C., & Botomé, S. P. (1996). Integraçăo dos processos comportamentais de intervir em situaçőes e de produzir conhecimento como objeto de estudo e como objetivo de intervençăo profissional. Chronos, 30(1), 70-102.
• Ferreira, A. B. H. (1986). Novo dicionário da língua portuguesa Rio de Janeiro: Nova Fronteira.
• Holland, J. G. (1973). Servirán los principios conductuales para los revolucionarios? In F. S. Keller & E. R. Ińesta, Modificación de conduta: aplicaciones a la educación (pp. 265-281). México: Trillas.
• Holland, J. G. (1978). Behaviorism: Part of the problem or part of the solution? Journal of Applied Behavior Analysis, 11, 163-174.
• Huertas, F. (1996). Entrevista com Matus: o método PES (Planejameno estratégico situacional). Săo Paulo: FUNDAP
• Kaufman, R. A. (1977). Evaluaciones de necesidades: internas y externas. Revista de Tecnologia Educativa, 1(3), 84-91.
• Matus, C. (1996). Adeus, senhor presidente: governantes governados Săo Paulo: FUNDAP
• Nóbrega, C. (1996). Em busca da empresa quântica: analogia entre o mundo da Cięncia e o mundo dos negócios Rio de Janeiro: Ediouro.
• Pires Junior, H. (1987). Diagnóstico de deficięncia mental no ensino da Educaçăo Especial Dissertaçăo de Mestrado, Programa de Pós-graduaçăo em Educaçăo Especial, Universidade Federal de Săo Carlos, Săo Carlos, SP.
• Russell, B. (2001). Ideais políticos Rio de Janeiro: Bertrand Brasil.
• Senge, P., Ross, R., Smith, B., Roberts, C., & Kleiner, A. (1995). A quinta disciplina: estratégias e ferramentas para construir uma organizaçăo que aprende Rio de Janeiro: Qualitymark.
• Sidman, M. (1986). Táticas da pesquisa científica: avaliaçăo dos dados experimentais em Psicologia Săo Paulo: Brasiliense.

Datas de Publicação

• Publicação nesta coleção
  10 Jun 2011
• Data do Fascículo
  Jun 2011

Histórico

• Recebido
  03 Fev 2011
• Aceito
  21 Mar 2011