高质量研究和分析的标准

兰德公司是一家致力于通过研究与分析来改善政策制定和决策的非营利性研究机构。兰德公司专注研究一些关键性的政策问题,例如卫生、教育、国家安全、国际事务、法务和商业、环境、等等。兰德公司的高质量研究及其对客户和资助单位、乃至公共利益的重要贡献,让兰德公司声誉斐然。

成立六十多年以来,兰德公司的工作情况发生了许多变化。政策问题日益复杂和棘手。兰德公司的研究范围逐步扩大。客户和资助单位,连同他们所需要的研究产品和服务也变得更加多元化。研究方法和技术不断进步。数据和信息成倍增加。然而,经历六十年的变迁,兰德公司研究工作中的一个元素却从未改变——那就是对高质量和客观性的孜孜以求。兰德公司的每一份报告、文章、数据库和简报,在公开发表前都经过审慎的同行评审。兰德公司还定期安排外部和内部人士对其研究产品进行整体评审。

成立六十多年以来,兰德公司所处的大环境发生了许多变化: 例如,政策问题日益变得复杂和棘手 而兰德公司的研究范围也因此逐步扩大; 客户和资助单位,连同他们所需要的研究产品和服务也变得更加多元化;研究方法和技术不断进步;数据和信息成倍增加, 等。然而,虽然经历了六十年的变迁,我们工作中的一个要素却从未改变——那就是对高质量和客观性的追求。兰德公司的每一份报告、文章、数据库和简报,在公开发表前都经过审慎的同行评审。兰德公司还定期安排外部和内部人士对其研究产品进行整体评审。

兰德公司对高质量研究和分析的标准化,承载着其长期以来对高质量研究的特点的理念和价值观。这个标准化对于参与执行、管理和评估兰德研究工作的相关各方——研究团队、研究经理和同行评审人,是个十分重要的工具;而对于兰德公司在决策和研究群体中的客户也有重要意义,因为他们自然对研究质量和如何保证质量也深感兴趣。

兰德公司质量标准如下。

合理界定问题,明确研究目的。

界定问题是兰德公司研究风格中的一大长处。旨在解决实际问题的研究必须尽可能全面地界定有关问题,以避免得出不理想、不成熟或不可行的答案。只要问题是可以解决的,更加周全的研究可能更有益、更有价值,或许更经得住检验。更好地界定问题,可以带来重大的研究成果。

为使研究取得成功,必须以确保解决问题(至少是有效处理)的方式界定问题,并确立衡量进展的实质指标。为了判断研究是否成功和应用研究成果,至关重要的是要清晰地理解欲达成的目标,即研究目的。

精心设计和执行研究方法。

研究方法的选择必须要适合所研究的问题和目的。对于某些类型的研究而言,既有的正规方法是适用的,例如,回归分析、模型验证、或问卷调查方案。如果没有明显的正规方法可用,则应对所采用的分析方法做出仔细描述;这样一来,若分析方法过于新颖或引发争议,就可以有理有据。不论是引用一种新方法,结合使用多种方法,还是采用现有方法以解决新的问题类型,研究团队都有义务解释所选方法的合理性及其相比其他方法的优势所在。

只凭巧妙的设计方案,还不能确保高质量的研究。研究和分析的实施过程中还需要严谨态度、技术实力和创造力等因素。

研究者应了解其他相关的研究项目。

高质量研究在知识结构上是无法孤立存在的:它必定以大量的研究和分析为基础,其本身也需要做大量的研究和分析。当前研究应该与过往研究形成紧密而清晰的关系。研究团队对过往研究的理解应明显体现于研究工作的各个方面,包括界定问题和设法解决问题的方式,乃至于探讨研究结果及其意义。研究团队尤其要解释其研究认同、不认同过往研究,或者与过往研究有什么明显不同。当前研究不论有什么可取之处,若未能论证对过往研究的理解,将使其质量大打折扣。

使用最优的可得数据和信息。

数据和其他信息是研究和分析的关键投入要素。数据生成方法和数据集应有明确规定,而有关数据应经过适当筛选和处理。研究团队应说明可用数据的质量限制。此外,作为事实呈列的信息应该准确并经得住检验。

假设应做到明确且合理。

研究假设可以掩盖影响研究结果有效性和建议可行性的各种不确定因素。研究所基于的主要假设必须明确认定,并加以论证。高质量研究经常通过改变假设来分析不同情形,以此增强研究结果的说服力。

研究结果应推动知识进步,针对重要的政策问题有的放矢。

研究结果代表了必须与现有知识相结合的新知识。

对于分析师而言,研究结果具有科学价值,丰富了已知知识。研究结果可能会揭示研究方法的局限性或表明适用范围,也可能指出某个理论的可信度增加,或者需要改进,甚或是完全不成立。

对于决策者而言,高质量的研究结果可能会对特定的决策或协商过程起到重要作用,或者就悬而未决的争论提出观点,在政策层面帮助设计讨论框架或诉诸讨论。

研究的意义和建议应合乎逻辑,有研究结果为证,解释透彻,并相应作出适当的警告说明。

研究团队根据其研究结果提出相关的启示意义和建议。

高质量研究会深入探讨其研究结果的启示意义,检验新知识与旧知识在哪些方面是一致的或不一致的,说明现有理论和概念框架是否得到加强,还是必须加以修改。

提出行动方针是研究人员责任重大的一个步骤。鉴于兰德公司的使命,决策者依据我们的研究所推行的措施可能会对千千万万的人——乃至整个国家或地区的资源或福祉造成影响。为此,我们的建议从逻辑上必须与研究结果和启示意义一脉相承,并以研究结果和启示意义作为有力支撑。

尤其是在提出行动方针的时候,高质量研究必须包括警告说明,以确保行动方针不被应用于不当情况或抱有不切实际的期望。

研究文献应当表达准确、通俗易读、结构清晰、语调平和。

质量标准也适用于研究的记载方式。研究文献包括纸质文件、口头报告、以及网络文档。文献标准适用于文字和图形元素。

准确性作为衡量研究质量和可信度的初步指标,尤为重要。对于存在颇多变数或不确定性的情况,研究要表明所陈述内容准确性的置信水平,这一点非常重要。

高质量文献应确保研究对于其目标受众而言易于理解。文字论述应该直白而精确。必要的技术词汇应给予界定和解释。为了帮助解释复杂和新颖的观点,研究文献应当图文并茂,在文字论述中穿插图表作为补充。

高质量的研究文献应以平和的语调叙述。行文既不应过于平淡,显得漠不关心;也不应带有浓厚的感情色彩,显得有失偏颇。几乎所有的兰德研究工作都与以下两种相互关联的讨论有关:一种讨论是介于分析师之间;另一种则介于决策者之间。平和的语调最适合这两种群体,也适合更广泛的受众,例如一般公众。

研究要引人注目,有使用价值,关乎利益相关者和决策者。

高质量研究令人印象深刻,肃然起敬,相关研究领域的人员也无法视而不见或置之不理。

兰德公司从事注重现实问题和实际问题的政策研究。因此,高质量研究不仅要有趣,还要有使用价值,关键是必须符合兰德公司致力通过研究与分析来改善政策和决策的宗旨。

兰德公司作为一个无党派组织,以独立运营、不受政商两界左右而备受尊重。兰德公司的研究风格涉及与其客户和资助单位频繁交流,并将客户和资助单位看作重要的专业知识来源;但由于兰德公司的研究着眼于公众利益,高质量研究还要涉及政策领域的其他利益相关者。与各方利益相关者展开交流,有助于确保研究的相关性和建议的实用性。

研究应该客观、独立和公平。

兰德公司的研究工作受到客户和资助单位以及一般公众的信赖,部分原因在于兰德研究的客观性备受尊重。客观性作为分析能否成立的要素,在科学上深受重视,常常有助于提高研究被采用的可能性。在很多时候,正是得益于兰德公司素来客观的声誉,加上其他质量因素,其研究成果变得具有影响力。

独立性是指知识上的独立,而非经济上独立。兰德公司制定有严格的政策和机制来确保其知识的独立性,一定程度上是为了避免因为与研究客户或资助单位的关系而被认为有失偏颇。兰德公司有严格的研究质量保证程序,其研究人员致力于寻求和运用严谨的标准来评价各个阶段的工作,而且照例兰德公司会把其经过同行评审的研究发布于公有领域。

兰德公司的所有研究都面临着一个挑战,那就是既要在科学上站得住脚,又要政策上做到可行而有效。兰德公司的研究试图通过公平对待、准确描述和权衡利弊的方式,在相互竞争的立场之间取得平衡。