Autor artykułu zwykle zna swoje badanie znacznie lepiej niż osoba, która otrzymuje tekst do oceny. Pamięta przyczyny podejmowanych decyzji, trudności związane z dostępem do materiału i dyskusje towarzyszące interpretacji wyników. Redaktor i recenzent widzą przede wszystkim to, co zostało napisane. Jeśli ważne uzasadnienie pozostało wyłącznie w notatkach autora, nie może stanowić podstawy pozytywnej oceny. Ta różnica perspektyw wyjaśnia wiele rozczarowań związanych z publikowaniem. Tekst może być rezultatem dużego wysiłku, a jednocześnie nie przedstawiać jasno wartości wykonanej pracy. Ocena artykułu dotyczy zarówno samego badania, jak i sposobu jego zakomunikowania, przy czym niedostatki jednego obszaru nie zawsze można naprawić zaletami drugiego.
Trzeba również odróżnić zadania redaktora od zadań recenzenta. Redaktor prowadzący rozpatruje tekst w kontekście profilu i kryteriów czasopisma, organizuje ocenę oraz podejmuje decyzję wydawniczą zgodnie z przyjętą procedurą. Recenzent dostarcza specjalistycznej opinii, która pomaga tę decyzję uzasadnić. Jego rekomendacja ma duże znaczenie, ale nie jest automatycznie decyzją o publikacji. Przykładowo proces opisany przez PLOS One rozdziela wstępne sprawdzenie zgłoszenia, ocenę redakcyjną, recenzowanie i decyzję redaktora. Autor powinien więc czytać nie tylko same recenzje, lecz także list redakcyjny, który wskazuje, czego oczekuje czasopismo i jakie działania są potrzebne na kolejnym etapie.
Pierwsze pytanie redaktora może dotyczyć dopasowania artykułu do czasopisma. Nawet rzetelne opracowanie nie musi odpowiadać jego zakresowi tematycznemu, grupie odbiorców lub przyjmowanym rodzajom publikacji. Tekst opisujący bardzo szczegółowe rozwiązanie techniczne może wymagać innego miejsca niż artykuł analizujący społeczne konsekwencje zastosowania tej technologii. Znaczenie ma także to, czy zgłoszenie jest artykułem badawczym, przeglądem, komunikatem, analizą teoretyczną czy inną formą. Odrzucenie na wstępnym etapie nie zawsze oznacza stwierdzenie niskiej wartości naukowej. Może wskazywać, że autor wybrał niewłaściwego odbiorcę. Dlatego uzasadnienie decyzji należy czytać dokładnie, zamiast sprowadzać każdy przypadek odmowy do jednego komunikatu o jakości tekstu.
Redaktor ocenia również, czy artykuł ma rozpoznawalny przedmiot i wyraźny wkład. Już tytuł, streszczenie i wprowadzenie powinny pozwalać ustalić, czego dotyczy opracowanie oraz co czytelnik otrzyma po jego lekturze. Ogólne zapewnienia o aktualności tematu nie wystarczają. Potrzebna jest konkretna informacja: czy autor przedstawia nowe dane, porównuje konkurencyjne wyjaśnienia, rozwija argument, sprawdza wcześniejsze ustalenia w uzasadnionym kontekście, czy proponuje rozwiązanie określonego problemu. Wymagania dotyczące znaczenia i nowatorstwa różnią się między czasopismami. PLOS One deklaruje na przykład ocenę opartą na poprawności naukowej, metodologii i standardach etycznych, bez uzależniania publikacji od przewidywanej doniosłości wyników. Nie należy więc zakładać, że wszystkie redakcje stosują identyczną hierarchię kryteriów.
Przy artykułach powstałych na podstawie prac dyplomowych częstym problemem jest brak rzeczywistej zmiany formy. Autor skraca kolejne rozdziały, lecz zachowuje konstrukcję podporządkowaną innemu zadaniu. Powstaje miniaturowa wersja pracy, zawierająca rozbudowane definicje, ogólne wprowadzenie i niewiele miejsca na zasadniczą analizę. Z perspektywy redakcji ważniejsze jest pytanie, czy artykuł przedstawia spójny, samodzielny komunikat. Nie musi obejmować wszystkich ustaleń zawartych w dyplomie. Powinien natomiast jasno pokazywać wybrany problem i uzasadnioną odpowiedź. Tekst kierowany do specjalistycznego czasopisma wymaga też innego poziomu objaśnień niż praca przygotowana jako potwierdzenie opanowania określonego zakresu wiedzy.
Recenzent rozpoczyna ocenę merytoryczną od sprawdzenia, czy pytanie, materiał i sposób postępowania pozostają ze sobą zgodne. Jeśli artykuł zapowiada wyjaśnienie przyczyn, a przedstawia jedynie deklaracje uczestników, pojawia się zasadnicza rozbieżność. Podobnie porównanie wymaga odpowiednio dobranych przypadków i wspólnej podstawy zestawienia. Nie wystarczy opisać dwóch organizacji w sąsiednich podrozdziałach. Recenzent powinien ustalić, czy zastosowane rozwiązanie pozwala osiągnąć deklarowany cel, a nie tylko sprawdzić obecność rozdziału zatytułowanego „Metody”. W artykule teoretycznym analogiczne znaczenie mają założenia rozumowania, sposób definiowania pojęć i poprawność przejść między przesłankami a wnioskiem.
Duże znaczenie ma kompletność opisu postępowania. Niekiedy badanie zostało wykonane właściwie, lecz artykuł nie zawiera informacji pozwalających to ocenić. Brakuje kryteriów doboru materiału, wyjaśnienia wyłączeń albo zasad interpretowania odpowiedzi. Recenzent nie powinien automatycznie zakładać najkorzystniejszego wariantu. Może poprosić o doprecyzowanie, ale autor musi liczyć się z tym, że niejasność utrudnia ocenę wiarygodności wyników. Warto odróżnić brak opisu od wady samego projektu. Pierwszy problem można czasem usunąć przez uzupełnienie tekstu. Drugi może wymagać ponownej analizy, dodatkowego materiału albo ograniczenia deklaracji. Dobra redakcja językowa nie naprawi badania, które nie pozwala odpowiedzieć na postawione pytanie.
Następnie ocenie podlega zgodność wyników z wnioskami. Recenzent sprawdza, czy autor nie rozszerza ustaleń poza zakres materiału, nie przedstawia współwystępowania jako przyczynowości i nie pomija obserwacji niepasujących do przyjętej interpretacji. Ważne jest także rozróżnienie znaczenia liczbowego, praktycznego i teoretycznego. Niewielka różnica może wymagać ostrożnego omówienia, nawet jeśli została wykryta odpowiednią procedurą statystyczną. Z kolei brak jednoznacznego rozstrzygnięcia nie powinien być ukrywany pod stanowczym językiem. Autor nie zyskuje wiarygodności przez używanie mocniejszych czasowników. Zyskuje ją wtedy, gdy czytelnik może prześledzić podstawę każdego istotnego wniosku i zobaczyć, jakie alternatywne wyjaśnienia zostały rozważone.
W artykułach jakościowych ocena nie powinna polegać na mechanicznym przenoszeniu kryteriów właściwych dla badań ilościowych. Mała liczba uczestników nie przesądza sama w sobie o wartości projektu, podobnie jak duża liczba ankiet nie gwarantuje jakości analizy statystycznej. Recenzent powinien oceniać rozwiązania w kontekście przyjętego podejścia. Może sprawdzać przejrzystość interpretacji, sposób pracy z kategoriami, uwzględnienie kontekstu i relację między cytowanym materiałem a przedstawionym wnioskiem. W przeglądzie literatury ważny będzie z kolei sposób doboru publikacji i zakres deklarowanej kompletności. Każdy rodzaj artykułu wymaga adekwatnych pytań kontrolnych. Ocenianie wszystkiego według jednego szablonu może prowadzić do nietrafnych zarzutów.
Literatura jest oceniana pod względem funkcji, a nie tylko liczby pozycji. Recenzent może zwrócić uwagę na pominięcie ważnego stanowiska, oparcie zasadniczego argumentu na źródle wtórnym lub wybiórcze przedstawienie wcześniejszych ustaleń. Bibliografia zawierająca wiele nowych publikacji nadal może nie uwzględniać podstawowego opracowania dla danego problemu. Również starsze źródło nie jest automatycznie nieprzydatne, jeśli ma znaczenie historyczne lub teoretyczne. Istotne jest to, czy autor rozumie stan wiedzy i potrafi umiejscowić własną analizę. Sam przegląd nazwisk nie pokazuje jeszcze, jakie stanowiska są zgodne, gdzie występują rozbieżności i co z tego wynika dla przedstawianego artykułu.
Dyskusja wyników pozwala ocenić dojrzałość interpretacji. Powinna wyjaśniać, jak ustalenia odnoszą się do wcześniejszej wiedzy, co pomagają zrozumieć i jakie pytania pozostają otwarte. Powtórzenie tabel innymi słowami nie spełnia tej funkcji. Z drugiej strony rozbudowane spekulacje, które nie mają oparcia w materiale, mogą osłabić artykuł. Szczególnie ważne jest konkretne przedstawienie ograniczeń. Zdanie „badanie miało pewne ograniczenia” nie pomaga w ocenie. Trzeba wskazać, które cechy projektu wpływają na interpretację i jak zawężają możliwość uogólnienia. Uczciwe ograniczenie wniosku bywa lepszym rozwiązaniem niż obrona szerokiej deklaracji za wszelką cenę.
Redaktor i recenzent zwracają również uwagę na czytelność. Nie oznacza to oceniania talentu literackiego autora. Chodzi o możliwość zrozumienia argumentacji bez odgadywania znaczeń i uzupełniania brakujących przejść. Niejednoznaczne pojęcia, sprzeczne liczby i nieczytelne ilustracje utrudniają ocenę merytoryczną. Szczególnie problematyczna jest sytuacja, w której streszczenie obiecuje inne ustalenia niż zasadniczy tekst. Warto także rozróżnić błędy językowe możliwe do poprawienia od chaosu wskazującego na nieuporządkowane rozumowanie. Recenzent nie jest zobowiązany do przepisywania artykułu za autora. Powinien jednak wskazać, gdzie problem komunikacyjny uniemożliwia ocenę konkretnego elementu, zamiast ograniczać się do ogólnego stwierdzenia o słabym stylu.
Rzetelność procesu zależy także od postępowania osoby oceniającej. Recenzent powinien podejmować zadanie w granicach własnych kompetencji, ujawniać istotne konflikty interesów i respektować poufność materiału. Uwagi powinny dotyczyć tekstu oraz badania, a nie cech osobistych autora. COPE wskazuje potrzebę obiektywnej, konstruktywnej informacji zwrotnej, która pomaga poprawić opracowanie. Oznacza to również konieczność uzasadniania poważnych zastrzeżeń. Stwierdzenie „metoda jest niewłaściwa” wymaga wyjaśnienia, na czym polega problem i jaki ma wpływ na ustalenia. Recenzja może być zdecydowana, a nawet rekomendować odrzucenie, pozostając rzeczowa i profesjonalna.
Przydatna opinia odróżnia uwagi zasadnicze od drobnych. Błąd podważający główny wniosek ma inną wagę niż niejednolity zapis tytułów w bibliografii. Dobrze również rozdzielać zmiany konieczne do oceny artykułu od propozycji, które jedynie poszerzyłyby jego zakres. Recenzent może dostrzegać interesującą możliwość dodatkowej analizy, lecz nie każda taka możliwość musi stać się warunkiem publikacji. Redaktor powinien rozpatrywać rekomendacje w odniesieniu do kryteriów czasopisma. Gdy opinie są rozbieżne, nie wystarczy policzyć głosów za przyjęciem i odrzuceniem. Istotne jest, jakie argumenty przedstawiono i czy dotyczą one tych samych aspektów pracy.
Dla autora najważniejszym dokumentem po recenzji jest konkretna decyzja wraz z uzasadnieniem. Prośba o poprawki nie oznacza jeszcze przyjęcia artykułu, a rozbudowana lista uwag nie musi oznaczać jego definitywnego odrzucenia. Odpowiedź warto przygotować punkt po punkcie, wskazując wprowadzone zmiany i ich miejsce w tekście. Jeśli autor nie zgadza się z sugestią, powinien przedstawić rzeczowe uzasadnienie, a nie przemilczeć uwagę. Bywa też, że nieporozumienie recenzenta ujawnia rzeczywistą niejasność artykułu. Nawet gdy pierwotna intencja była poprawna, tekst może wymagać doprecyzowania. Celem odpowiedzi jest ułatwienie ponownej oceny, a nie wykazanie, że każda uwaga była niesłuszna.
Perspektywa redaktora i recenzenta jest przydatna jeszcze przed wysłaniem publikacji. Warto przeczytać własny tekst tak, jakby nie znało się całej historii jego powstania. Czy z artykułu wynika, po co przeprowadzono analizę? Czy można ocenić sposób postępowania? Czy najważniejsze wnioski mają widoczną podstawę, a ograniczenia zostały nazwane? Czy tekst odpowiada odbiorcom wybranego czasopisma? Takie sprawdzenie nie gwarantuje publikacji, ale pozwala usunąć wiele problemów, które niepotrzebnie przesłaniają wartość badania. Dobrze przygotowany artykuł umożliwia specjalistyczną dyskusję o ustaleniach, zamiast zmuszać oceniających do odtwarzania brakujących informacji i domyślania się zamiaru autora.