논문 리뷰 : 정보 기술의 수익성 측정
Kohli, Rajiv, and Sarv Devaraj.(2003)
Measuring Information Technology Payoff: A Meta-Analysis of Structural Variables in Firm-Level Empirical Research
Kohli, Rajiv, and Sarv Devaraj. "Measuring information technology payoff: A meta-analysis of structural variables in firm-level empirical research." Information systems research 14.2 (2003): 127-145.
https://www.proquest.com/openview/50d250293ba7a1b475556e1ef4d9a86d/1?pq-origsite=gscholar&cbl=29794
Abstracts
Payoffs from information technology (IT) continue to generate interest and debate both among academicians and practitioners.
정보 기술(IT)에서의 수익성은 학계와 실무자들 사이에서 여전히 큰 관심과 논쟁을 불러일으키고 있다.
The extant literature cites inadequate sample size, lack of process orientation, and analysis methods among the reasons some studies have shown mixed results in establishing a relationship between IT investment and firm performance.
기존 문헌에서는 IT 투자와 기업 성과 간의 관계를 확립하는 데 있어 일부 연구에서 혼재된 결과가 나타난 이유로, 표본 크기의 부족, 프로세스 지향성 결여, 분석 방법의 문제를 지적하고 있다.
In this paper we examine the structural variables that affect IT payoff through a meta-analysis of 66 firm-level empirical studies between 1990 and 2000.
이 논문에서는 1990년부터 2000년까지의 66개의 기업 수준 실증 연구에 대한 메타 분석을 통해 IT 수익성에 영향을 미치는 구조적 변수를 검토한다.
Employing logistic regression and discriminant analyses, we present statistical evidence of the characteristics that discriminate between IT payoff studies that observed a positive effect and those that did not.
로지스틱 회귀 분석과 판별 분석을 사용하여, IT 수익성 연구에서 긍정적인 효과를 관찰한 연구와 그렇지 않은 연구를 구별하는 특성에 대한 통계적 증거를 제시한다.
In addition, we conduct ordinary least squares (OLS) regression on a continuous measure of IT payoff to examine the influence of structural variables on the result of IT payoff studies.
또한, IT 수익성의 연속적인 측정에 대해 최소자승법(OLS) 회귀 분석을 수행하여 구조적 변수가 IT 수익성 연구 결과에 미치는 영향을 조사한다.
The results indicate that the sample size, data source (firm-level or secondary), and industry in which the study is conducted influence the likelihood of the study finding greater improvements on firm performance.
결과는 표본 크기, 데이터 출처(기업 수준 또는 2차 데이터), 연구가 수행된 산업이 기업 성과의 개선 여부를 발견하는 데 영향을 미친다는 것을 보여준다.
The choice of the dependent variable(s) also appears to influence the outcome (although we did not find support for process-oriented measurement), the type of statistical analysis conducted, and whether the study adopted a cross-sectional or longitudinal design.
종속 변수 선택 역시 결과에 영향을 미치는 것으로 나타났으며(비록 프로세스 지향적 측정에 대한 지지는 찾지 못했지만), 사용된 통계 분석의 종류와 연구가 단면 연구인지 종단 연구인지에 따라서도 결과가 달라지는 것으로 보인다.
Finally, we present implications of the findings and recommendations for future research.
마지막으로, 연구 결과의 함의와 향후 연구를 위한 제언을 제시한다.
Keywords : Meta-Analysis; Information Technology Payoff; Business Value IT; Firm-Level; Discriminant Analysis; Logistic Regression; Process-Orientation
1. Introduction
Researchers and business managers consider information technology (IT) investment as an enabler for improved organizational efficiency and competitiveness.
연구자들과 비즈니스 관리자들은 정보 기술(IT) 투자를 조직의 효율성과 경쟁력을 향상시키는 촉진 요인으로 간주한다.
Measurable performance improvements resulting from IT investment can help sustain investment in future IT initiatives.
IT 투자로 인한 성과 향상은 미래의 IT 프로젝트에 대한 투자를 지속하는 데 도움을 줄 수 있다.
However, as demand for IT investment increases, the assumed payoff is likely to come under scrutiny.
그러나 IT 투자의 수요가 증가함에 따라 기대되는 수익성은 검토의 대상이 될 가능성이 크다.
Although the much talked about “productivity paradox” (Ahituv and Giladi 1993, Roach 1987, Strassmann 1985) has largely been put to rest by recent studies (Brynjolfsson and Hitt 2000, Jorgenson 2001, Jorgenson and Stiroh 2000, Kraemer and Dedrick 2001, Oliner and Sichel 2000), not all studies have demonstrated clear payoff from IT investment.
많이 논의된 “생산성 역설”(Ahituv and Giladi 1993, Roach 1987, Strassmann 1985)은 최근 연구들(Brynjolfsson and Hitt 2000, Jorgenson 2001, Jorgenson and Stiroh 2000, Kraemer and Dedrick 2001, Oliner and Sichel 2000)에 의해 대부분 해결되었지만, 모든 연구가 IT 투자에서 명확한 수익성을 보여준 것은 아니다.
Among the reasons attributed to equivocal results of past studies are structural issues such as inadequate measurement and analysis methodologies (Brynjolfsson 1993, Robey and Boudreau 1999) and time lags in measuring payoff (Devaraj and Kohli 2000a).
과거 연구에서 불명확한 결과가 나타난 이유 중에는 측정과 분석 방법론의 부적절함(Brynjolfsson 1993, Robey and Boudreau 1999), 그리고 수익성 측정 시 시간 지연(Devaraj and Kohli 2000a)과 같은 구조적 문제가 있다.
Suggestions to examine IT payoffs include improving the quality of data and the analytical rigor (Robey and Boudreau 1999), examining valuation and conversion barriers (Chircu and Kauffman 2000, Davern and Kauffman 2000), applying improved modeling techniques (Hitt and Brynjolfsson 1996), and examining intermediate and context-related variables (Barua et al. 1996, Barua and Mukhopadhyay 2000).
IT 수익성을 조사하기 위한 제안으로는 데이터 품질과 분석의 엄밀성을 향상시키는 것(Robey and Boudreau 1999), 평가 및 변환 장벽을 조사하는 것(Chircu and Kauffman 2000, Davern and Kauffman 2000), 개선된 모델링 기법을 적용하는 것(Hitt and Brynjolfsson 1996), 그리고 중간 변수 및 상황과 관련된 변수를 조사하는 것(Barua et al. 1996, Barua and Mukhopadhyay 2000)이 있다.
Similar calls for improving execution of payoff studies and to improve reliability of results have been made by past review papers and syntheses of IT payoff studies (Brynjolfsson and Yang 1996, Mahmood et al. 1999, Sircar et al. 1998).
IT 수익성 연구의 실행을 개선하고 결과의 신뢰성을 높이기 위한 유사한 요구가 과거의 리뷰 논문 및 IT 수익성 연구의 종합 분석(Brynjolfsson and Yang 1996, Mahmood et al. 1999, Sircar et al. 1998)에서도 제기되었다.
Therefore, there is need for a systematic analysis to understand the structural characteristics of past IT payoff studies and how they affect their outcomes.
따라서 과거 IT 수익성 연구의 구조적 특성을 이해하고 이러한 특성이 결과에 어떻게 영향을 미치는지 체계적으로 분석할 필요가 있다.
Such findings will not only help critically view results of past studies, they will also serve as a guide for future research.
이러한 발견은 과거 연구의 결과를 비판적으로 검토하는 데 도움을 줄 뿐만 아니라 향후 연구의 지침이 될 것이다.
We report a meta-analysis of firm-level IT payoff studies to catalog the extant literature, examine variables that influence the findings, and provide suggestions for conducting future studies.
우리는 기업 수준의 IT 수익성 연구에 대한 메타 분석을 보고하여 기존 문헌을 정리하고, 결과에 영향을 미치는 변수를 검토하며, 향후 연구 수행에 대한 제안을 제시한다.
In conducting this meta-analysis, we examine the structural dimensions along which IT payoff studies differ.
이 메타 분석을 수행하면서 우리는 IT 수익성 연구들이 달라지는 구조적 차원을 분석한다.
The analysis attempts to observe a pattern, if any, which discriminates between studies that result in positive IT payoff and those that do not.
분석은 IT 수익성의 긍정적인 결과를 보이는 연구와 그렇지 않은 연구 간에 차이를 만드는 패턴을 찾아내려고 시도한다.
Furthermore, we investigate the extent of payoff resulting from such structural dimensions.
더 나아가 이러한 구조적 차원으로부터 발생하는 수익성의 정도를 조사한다.
The paper is organized as follows. In §2, we briefly review the meta-analysis studies in the IT payoff literature and present a literature-guided framework to review the IT payoff studies.
이 논문은 다음과 같은 순서로 구성되어 있다. 제2장에서는 IT 수익성 문헌에서 메타 분석 연구를 간략히 검토하고, IT 수익성 연구를 검토하기 위한 문헌 기반의 프레임워크를 제시한다.
In §3, we present details of the procedure adopted for the meta-analysis. In §4, we present results of the statistical analysis of IT payoff studies.
제3장에서는 메타 분석을 위해 채택된 절차의 세부 사항을 설명하고, 제4장에서는 IT 수익성 연구에 대한 통계 분석 결과를 제시한다.
Finally, §5 presents our findings of the influence of structural variables, followed by limitations, contributions, and areas for future research.
마지막으로, 제5장에서는 구조적 변수의 영향에 대한 우리의 연구 결과를 제시하며, 이어서 제한점, 기여점, 그리고 향후 연구 방향에 대해 논의한다.
2. Review of Literature
2.1. Review of IT Payoff Literature
Past firm-level studies of IT payoff can be viewed as addressing three general questions—What is measured, how is it measured, and where is it measured? (Banker et al. 1993, Berger et al. 1988, Mahmood and Szewczak 1999).
과거 기업 수준의 IT 수익성 연구는 세 가지 일반적인 질문을 다룬다고 볼 수 있다. 무엇이 측정되는가, 어떻게 측정되는가, 그리고 어디서 측정되는가? (Banker et al., 1993; Berger et al., 1988; Mahmood and Szewczak, 1999).
In what is measured, past studies propose that IT performance is associated with variables that transcend traditional measures and include measures of productivity, in addition to profitability (Mahmood and Mann 2000).
무엇이 측정되는가에 있어, 과거 연구들은 IT 성과가 전통적인 측정을 넘어서는 변수들과 관련이 있으며, 수익성뿐만 아니라 생산성 측정도 포함된다고 제안한다 (Mahmood and Mann, 2000).
Although there is not a consistent set of performance variables, even when measurement variables are identified, the quality and completeness of data and the subsequent robustness of the analysis appear to impact the outcome of the IT payoff studies (Brynjolfsson and Yang 1996, Mahmood et al. 1999).
일관된 성과 변수 세트가 존재하지 않으며, 측정 변수가 식별되었을 때도 데이터의 품질과 완전성, 그리고 이후 분석의 견고성이 IT 수익성 연구의 결과에 영향을 미치는 것으로 보인다 (Brynjolfsson and Yang, 1996; Mahmood et al., 1999).
In other words, the data source and analysis approach have a bearing on the IT payoff result.
즉, 데이터 소스와 분석 방법이 IT 수익성 결과에 영향을 미친다.
Study characteristics, such as duration of data collection and the process of IT investment, describe how the data are gathered.
데이터 수집 기간과 IT 투자 과정과 같은 연구 특성은 데이터가 어떻게 수집되는지를 설명한다.
The duration of studies, combined with the number of firms, determines the sample size or data points captured in a study.
연구 기간은 기업의 수와 결합되어 연구에서 수집된 샘플 크기 또는 데이터 포인트를 결정한다.
The process of IT investment can be examined to assess if appropriate IT assets and impacts were measured (Soh and Markus 1995).
IT 투자 과정을 분석함으로써 적절한 IT 자산과 그 영향을 측정했는지 평가할 수 있다 (Soh and Markus, 1995).
This process measurement view proposes that IT expenditures have to be converted into appropriate IT assets.
이 과정 측정 관점은 IT 지출이 적절한 IT 자산으로 전환되어야 한다고 제안한다.
The appropriate use of IT assets leads to IT impacts, and IT impacts when positioned competitively, lead to impacts on organizational performance (Lucas 1993, Mooney et al. 1996, Soh and Markus 1995).
IT 자산의 적절한 사용은 IT 영향을 초래하며, IT 영향이 경쟁력 있게 배치되면 조직 성과에 영향을 미친다 (Lucas, 1993; Mooney et al., 1996; Soh and Markus, 1995).
Even when IT spending is shown to improve intermediate variables of organizational productivity, such as improved communication leading to the need for reduced inventories (Dudley and Lasserre 1989), it does not necessarily lead to improvements in productivity (Barua et al. 1991).
IT 지출이 조직 생산성의 중간 변수를 개선한 것으로 나타나더라도, 예를 들어 개선된 커뮤니케이션이 재고 감소 필요성을 유도하는 경우 (Dudley and Lasserre, 1989), 이는 반드시 생산성 향상으로 이어지지는 않는다 (Barua et al., 1991).
On the question of where measurements for IT payoff should occur, prior studies indicate that payoff has been harder to measure in some industries than others.
IT 수익성 측정을 어디에서 해야 하는가에 대한 질문에서, 이전 연구들은 특정 산업에서 수익성을 측정하는 것이 다른 산업에 비해 더 어렵다고 지적하고 있다.
Furthermore, studies that use firms as the data source are likely to show a positive relationship between IT investment and firm performance because of the completeness and availability of required variables (Hitt and Brynjolfsson 1996, Sircar et al. 1998).
게다가, 기업을 데이터 소스로 사용하는 연구들은 필요한 변수의 완전성과 가용성 때문에 IT 투자와 기업 성과 사이의 긍정적인 관계를 보일 가능성이 높다 (Hitt and Brynjolfsson, 1996; Sircar et al., 1998).
Although greater payoffs among firm-level studies are generally expected (Brynjolfsson and Yang 1996, Devaraj and Kohli 2000a, Sircar et al. 1998), our review of the literature finds prevalent differences in the contexts, characteristics, data sources, and variables employed in firm-level studies.
기업 수준 연구에서 더 큰 수익성이 일반적으로 예상되지만 (Brynjolfsson and Yang, 1996; Devaraj and Kohli, 2000a; Sircar et al., 1998), 우리는 문헌 검토를 통해 기업 수준 연구에서 사용된 맥락, 특성, 데이터 소스, 및 변수들에서 뚜렷한 차이가 있음을 발견했다.
To examine the differences in the execution of IT payoff studies, we derive a set of structural variables to develop a framework along which studies vary (Figure 1).
IT 수익성 연구의 실행 차이를 분석하기 위해 우리는 연구들이 다르게 실행되는 틀을 구성하는 일련의 구조적 변수를 도출했다 (그림 1 참조).
Figure 1 A Framework for the Structural Categories Influencing IT PayoffThe categories with the relevant literature are cited in Table 1 and are discussed thereafter. Appendix A provides the codes assigned to each of the dimensions in our meta-analysis.
관련 문헌이 있는 카테고리는 표 1에 인용되어 있으며, 그 후에 논의된다. 부록 A는 메타 분석에서 각 차원에 할당된 코드를 제공한다.
Table 1 Categories, Subcategories, and Dimensions in IT Payoff StudiesThe categories and subcategories in our framework expand past work that recommends taking into account research designs and the process of conversion of IT expenditure into benefits in examining IT payoff (McKeen and Smith 1993).
우리의 틀에 있는 카테고리와 하위 카테고리는 IT 수익성을 조사할 때 연구 설계와 IT 지출을 이익으로 전환하는 과정을 고려할 것을 권장한 과거 연구들을 확장한 것이다 (McKeen and Smith, 1993).
Resulting from the discussion of categories of structural variables in the framework, we present propositions to examine the influence of each structural variable on IT payoff.
틀에서 구조적 변수 카테고리에 대한 논의에서 나온 결과로, 우리는 각 구조적 변수가 IT 수익성에 미치는 영향을 조사하는 명제를 제시한다.
To assist future IT payoff studies, we present a summary of studies with their dimensions data source, method, and dependent variables selected in Appendix B.
향후 IT 수익성 연구를 돕기 위해 부록 B에 데이터 소스, 방법, 그리고 선택된 종속 변수 차원이 있는 연구 요약을 제공한다.
2.2. Structural Variables and Propositions
2.2.1. Context.
Industry sector studies can differ by the type of industry of the IT investment and subsequent payoff measurement. IT’s role and intensity are often affected by the competitive nature of the industry.
산업 부문 연구는 IT 투자와 그에 따른 수익성 측정의 산업 유형에 따라 달라질 수 있다. IT의 역할과 강도는 종종 산업의 경쟁적 성격에 영향을 받는다.
Furthermore, technology applied in manufacturing, for instance, computer-aided design and computer-aided manufacturing (CAD/CAM) or electronic data interchange (EDI), can yield tangible and measurable efficiency outcomes (Mukhopadhyay et al. 1995b).
게다가 제조업에서 적용되는 기술, 예를 들어 컴퓨터 지원 설계 및 제조(CAD/CAM) 또는 전자 데이터 교환(EDI)은 실질적이고 측정 가능한 효율성을 가져올 수 있다 (Mukhopadhyay et al., 1995b).
The measurable impact of such outcomes is significantly different from IT investment in healthcare services, for instance, to detect drug interactions through a clinical information system, which are less tangible.
이러한 결과의 측정 가능한 영향은, 예를 들어 임상 정보 시스템을 통해 약물 상호작용을 감지하기 위한 의료 서비스에서의 IT 투자와는 현저히 다르며, 덜 실체적이다.
The issue of measurement can also become complicated when the industry type is a state or federal government where traditional profitability measures may not apply.
측정의 문제는 전통적인 수익성 측정이 적용되지 않는 주 또는 연방 정부와 같은 산업 유형일 경우 복잡해질 수 있다.
Consequently, studies in different industries, even when measured for similar IT systems, can lead to different results (Irani et al. 1997, Kelley 1994, Sohal et al. 2001).
따라서, 유사한 IT 시스템을 측정할 때에도 서로 다른 산업에서의 연구는 다른 결과를 초래할 수 있다 (Irani et al., 1997; Kelley, 1994; Sohal et al., 2001).
Proposition 1. IT payoff will differ among the industry sectors of the firms.
명제 1. IT 수익성은 기업의 산업 부문에 따라 다를 것이다.
2.2.2. Study Characteristics.
The studies reviewed in this paper have varying levels of data aggregation, namely, month, quarter, or year. Similarly, the studies cover varying periods over which data are collected.
이 논문에서 검토한 연구들은 월별, 분기별, 연도별로 데이터를 집계하는 다양한 수준을 보인다. 이와 마찬가지로 연구들은 데이터가 수집되는 기간도 다양하게 다룬다.
Most firm-level studies use aggregation of data at the annual level. It can be hypothesized that aggregation at the quarterly or monthly level may better locate the payoff (Kohli and Devaraj 2000), as opposed to annual aggregation where gains in part of a year can be offset by low-gain months in the same year.
대부분의 기업 수준 연구는 연간 데이터를 집계하는데, 분기별 또는 월별 집계가 더 나은 수익성을 발견할 수 있을 것이라고 가정할 수 있다 (Kohli and Devaraj, 2000), 이는 연간 집계가 동일한 해의 낮은 수익률이 있는 달에 의해 일부 이익이 상쇄될 수 있기 때문이다.
From an analysis standpoint, more frequent data helps in identifying appropriate time lags to detect the payoff from investments.
분석 관점에서 볼 때, 더 빈번한 데이터는 투자로부터 수익성을 탐지하기 위한 적절한 시간 지연을 식별하는 데 도움이 된다.
The duration for which studies capture and analyze data also varies widely. About half of the studies in our meta-analysis have collected data for less than a five-year period.
연구들이 데이터를 수집하고 분석하는 기간도 매우 다양하다. 우리의 메타 분석에서 약 절반의 연구는 5년 미만의 기간 동안 데이터를 수집했다.
Finally, studies may simply vary in the number of firms that were included in the analysis. We created a variable sample size to capture the number of observations as well as to account for the aggregation and duration of the study when it was longitudinal or panel.
마지막으로, 연구들은 분석에 포함된 기업 수가 다를 수 있다. 우리는 관찰 수를 포착하고 연구가 종단적 또는 패널 연구일 때 집계와 기간을 고려하기 위해 변수로 샘플 크기를 만들었다.
A small sample size increases standard errors and thus makes it more difficult to isolate the effects of IT investment from random noise.
작은 샘플 크기는 표준 오차를 증가시키며, 따라서 IT 투자 효과를 무작위 잡음으로부터 분리하기 어렵게 만든다.
Further, a small number of data points may not be sufficient for establishing a trend for IT payoff, especially when there are lag effects resulting from IT investment and measurable payoff (Mukhopadhyay et al. 1997a).
또한 소수의 데이터 포인트는 IT 투자와 측정 가능한 수익성의 결과로 발생하는 지연 효과가 있을 때, IT 수익성 추세를 설정하기에 충분하지 않을 수 있다 (Mukhopadhyay et al., 1997a).
Proposition 2. Studies using larger sample sizes will show greater IT payoff.
명제 2. 더 큰 샘플 크기를 사용하는 연구는 더 큰 IT 수익성을 보일 것이다.
2.2.3. Data Source.
The accuracy of IT payoff studies is contingent upon the quality of data utilized. Therefore, the source of data is critical to the IT payoff analysis.
IT 수익성 연구의 정확성은 사용된 데이터의 품질에 달려 있다. 따라서 데이터 출처는 IT 수익성 분석에 매우 중요하다.
Data gathered from secondary sources is easier to obtain and generally objective. In addition, secondary sources can provide access to a greater number of firms and thus improve the generalizability of conclusions.
2차 출처에서 수집된 데이터는 얻기가 더 쉽고 일반적으로 객관적이다. 또한, 2차 출처는 더 많은 기업에 접근할 수 있도록 하여 결론의 일반화를 개선할 수 있다.
Such wider access to data also allows researchers to replicate and verify past results by using novel analytical approaches.
이러한 더 넓은 데이터 접근은 연구자들이 새로운 분석 방법을 사용하여 과거의 결과를 복제하고 검증할 수 있게 한다.
On the other hand, secondary or public data sources may be limited in detail and may not include data considered competitor-sensitive by contributing organizations.
반면, 2차 또는 공개 데이터 출처는 세부 사항이 제한될 수 있으며, 기여하는 조직들이 경쟁 민감한 것으로 간주하는 데이터를 포함하지 않을 수 있다.
Further, data fields in commercial databases are predetermined and may not match the exact needs of the researcher.
또한 상업 데이터베이스의 데이터 필드는 미리 정해져 있으며 연구자의 정확한 요구와 일치하지 않을 수 있다.
Data from the firms can overcome several of the above limitations by providing greater access, additional detail, and supplementary variables for triangulation of results.
기업들로부터의 데이터는 더 많은 접근성, 추가적인 세부사항 및 결과의 삼각 측정을 위한 보충 변수를 제공함으로써 위에서 언급한 몇 가지 제한을 극복할 수 있다.
When data are accurate, they exhibit fewer errors in variable bias. Although it may be difficult to determine the direction of the bias, in practice accurate data tend to bias coefficients toward zero.
데이터가 정확할 때, 변수 편향에서 오류가 적다. 비록 편향의 방향을 결정하기는 어렵지만, 실제로는 정확한 데이터가 계수를 0에 가깝게 편향시키는 경향이 있다.
Thus, from an estimation perspective, it is always desirable to have as accurate data as possible.
따라서 추정 관점에서 가능한 한 정확한 데이터를 확보하는 것이 항상 바람직하다.
In addition, it can be difficult to conduct a consistent analysis across firms without uniform data definitions.
게다가 일관된 데이터 정의가 없으면 기업 간에 일관된 분석을 수행하기가 어렵다.
Firm-level contexts also provide greater detail through access to contextual variables (Brynjolfsson and Hitt 1998, Devaraj and Kohli 2000a, Harris and Katz 1991, Morrison and Berndt 1991).
기업 수준의 맥락 또한 맥락적 변수를 통해 더 많은 세부 정보를 제공한다 (Brynjolfsson and Hitt, 1998; Devaraj and Kohli, 2000a; Harris and Katz, 1991; Morrison and Berndt, 1991).
Proposition 3. Studies using primary data sources will show greater IT payoff than those using secondary data sources.
명제 3. 1차 데이터 출처를 사용하는 연구는 2차 데이터 출처를 사용하는 연구보다 더 큰 IT 수익성을 보여줄 것이다.
2.2.4. Dependent Variables Employed.
Past studies have employed various types of dependent variables in examining firm performance. The most commonly used dependent variables are financial, such as return on investment (ROI) and return on assets (ROA) (Barua et al. 1995, Byrd and Marshall 1997, Lai and Mahapatra 1997, Mahmood and Mann 1993b, Rai and Patnayakuni 1997, Tam 1998a) and revenue (Lichtenberg 1995).
과거 연구에서는 기업 성과를 조사할 때 다양한 유형의 종속 변수를 사용했다. 가장 일반적으로 사용된 종속 변수는 ROI(투자수익률)와 ROA(자산수익률) 같은 재무적 지표와 매출이다 (Barua et al., 1995; Byrd and Marshall, 1997; Lai and Mahapatra, 1997; Mahmood and Mann, 1993b; Rai and Patnayakuni, 1997; Tam, 1998a; Lichtenberg, 1995).
Productivity- or output-based measures captured as dependent variables include management output (Prattipati and Mensah 1997), milk production (Van Asseldonk et al. 1988), and total mail sorted (Mukhopadhyay et al. 1997a).
종속 변수로 포착된 생산성 또는 출력 기반의 측정치는 관리 성과 (Prattipati and Mensah, 1997), 우유 생산량 (Van Asseldonk et al., 1988), 총 정렬된 우편물 (Mukhopadhyay et al., 1997a) 등이 있다.
Some researchers have used expense-based measures, such as labor hours (Mukhopadhyay et al. 1997a), expenses (Francalanci and Galal 1998), capacity utilization (Barua et al. 1995), and inventory turnover (Mukhopadhyay et al. 1995a).
일부 연구자들은 노동 시간 (Mukhopadhyay et al., 1997a), 비용 (Francalanci and Galal, 1998), 설비 가동률 (Barua et al., 1995), 재고 회전율 (Mukhopadhyay et al., 1995a) 등 비용 기반의 측정치를 사용했다.
Given the wide distribution of measures, we created a classification scheme to capture whether the study measured productivity, profitability, or both as dependent measures of firm performance.
다양한 측정치의 분포를 고려하여 우리는 연구가 기업 성과의 종속 측정치로 생산성, 수익성, 또는 두 가지 모두를 측정했는지를 포착하는 분류 체계를 만들었다.
The following proposition aims to assess if outcomes varied depending upon the type of dependent measure utilized.
다음 명제는 사용된 종속 측정치의 유형에 따라 결과가 달라졌는지를 평가하기 위한 것이다.
Proposition 4. Studies with profitability-based dependent variables will have different IT payoff than those that measure productivity or both.
명제 4. 수익성 기반 종속 변수를 사용하는 연구는 생산성 또는 두 가지 모두를 측정하는 연구와 다른 IT 수익성을 보일 것이다.
2.2.5. Data Analysis
2.2.5.1. Analytical Approach.
The analytical approach to measure IT payoff has varied widely among past studies.
IT 수익성을 측정하는 분석 접근법은 과거 연구들에서 크게 다양했다.
Among the approaches utilized are regression-based statistical analyses, such as production economics (Brynjolfsson and Hitt 1993, 1996, Lichtenberg 1995) and stochastic production frontier (Lee and Barua 1999, Mukhopadhyay et al. 1997a).
사용된 접근법에는 생산 경제학 (Brynjolfsson and Hitt, 1993, 1996; Lichtenberg, 1995)과 확률적 생산 경계 (Lee and Barua, 1999; Mukhopadhyay et al., 1997a)와 같은 회귀 기반의 통계 분석이 포함된다.
Some studies have utilized canonical correlation analysis (CCA) as a second step to the conventional pair-wise correlation analysis. CCA controls for the heterogeneity among firms and provides a comparison of similar firms (Ahituv et al. 1999, Mahmood and Mann 1993a).
일부 연구는 전통적인 쌍별 상관 분석의 두 번째 단계로서 CCA(정준 상관 분석)를 사용했다. CCA는 기업 간 이질성을 통제하고 유사한 기업 간의 비교를 제공한다 (Ahituv et al., 1999; Mahmood and Mann, 1993a).
Structural equation modeling (SEM) has also been applied to examine the interrelationships of a set of variables because, unlike linear regression, SEM solves for all the relationships simultaneously (Byrd and Marshall 1997).
SEM(구조 방정식 모델링)은 선형 회귀와 달리 모든 관계를 동시에 해결하므로 변숫집합 간의 상호 관계를 조사하기 위해 적용되었다 (Byrd and Marshall, 1997).
Others have applied less rigorous correlation-based analyses to examine payoff from investment in IT (Lubbe et al. 1995, Prattipati and Mensah 1997).
또한 일부는 IT 투자로부터의 수익성을 조사하기 위해 덜 엄격한 상관 기반 분석을 적용했다 (Lubbe et al., 1995; Prattipati and Mensah, 1997).
There are indications that methodological differences can lead to very different outcomes (Barua and Lee 1997, Shu et al. 2001).
방법론적 차이가 매우 다른 결과로 이어질 수 있다는 징후가 있다 (Barua and Lee, 1997; Shu et al., 2001).
We classify the studies into two categories containing regression and production economic analysis, and a second category that includes descriptive statistics and correlation-based analyses.
우리는 연구를 회귀 및 생산 경제 분석을 포함하는 두 가지 범주와 기술 통계 및 상관 기반 분석을 포함하는 두 번째 범주로 분류한다.
Given that most regression-based analyses are based on an underlying model(s), the researcher is better able to control for sample heterogeneity.
대부분의 회귀 기반 분석이 기본 모델에 기반하고 있기 때문에, 연구자는 표본의 이질성을 더 잘 통제할 수 있다.
Further, such models also typically include control variables and covariates to account for the effect of contextual variables. Therefore, we would expect to detect and capture payoff more accurately using regression-based methods.
또한, 이러한 모델은 일반적으로 맥락적 변수의 효과를 설명하기 위해 통제 변수와 공변량을 포함한다. 따라서 우리는 회귀 기반 방법을 사용하여 수익성을 더 정확하게 탐지하고 포착할 수 있을 것으로 기대한다.
Proposition 5A. Studies applying regression or economic models will have higher IT payoff than those applying correlation-based analyses.
명제 5A. 회귀 또는 경제 모델을 적용한 연구는 상관 기반 분석을 적용한 연구보다 더 높은 IT 수익성을 보일 것이다.
2.2.5.2. Method—Longitudinal vs. Cross-Sectional.
Cross-sectional data are presumably easier to obtain and do not require specialized time-series analysis to analyze longitudinal or panel data.
횡단면 데이터는 아마도 얻기가 더 쉬우며, 종단 또는 패널 데이터를 분석하기 위한 전문적인 시계열 분석이 필요하지 않다.
It is also an efficient and practical approach to examining the impact of IT when the investment being examined is a one-time investment with a known beginning and ending.
검토 중인 투자가 시작과 끝이 명확한 일회성 투자일 때, IT의 영향을 조사하는 데 효율적이고 실용적인 접근법이다.
Longitudinal data analysis, although more resource intensive, allows the researcher to obtain a deeper understanding of the impact of technology along the continuum of IT investment (Lucas 1993).
종단 데이터 분석은 더 많은 자원을 필요로 하지만, 연구자가 IT 투자의 연속선에서 기술의 영향을 더 깊이 이해할 수 있도록 해준다 (Lucas, 1993).
Longitudinal or panel data can often improve the accuracy of the results because they can control for firm-specific effects. Furthermore, they also allow the researcher to examine lag effects of the impact of technology (Devaraj and Kohli 2000a, Peffers and Dos Sontos 1996).
종단 또는 패널 데이터는 기업별 효과를 통제할 수 있기 때문에 종종 결과의 정확성을 향상시킬 수 있다. 또한, 기술의 영향을 지연 효과로 조사할 수 있게 한다 (Devaraj and Kohli, 2000a; Peffers and Dos Sontos, 1996).
In fact, the lack of consideration for lag effects has been cited as one of the factors contributing to the so-called “productivity paradox” (Brynjolfsson and Hitt 1996, Dewan and Min 1997, Lee and Barua 1999).
실제로, 지연 효과에 대한 고려 부족이 이른바 ‘생산성 역설’에 기여한 요인 중 하나로 언급되었다 (Brynjolfsson and Hitt, 1996; Dewan and Min, 1997; Lee and Barua, 1999).
Therefore, we propose that studies with longitudinal or panel data may be able to better explain the IT payoff.
따라서 우리는 종단 또는 패널 데이터를 사용하는 연구가 IT 수익성을 더 잘 설명할 수 있을 것이라고 제안한다.
Proposition 5B. Studies with longitudinal designs will have greater IT payoff than those with cross-sectional designs.
명제 5B. 종단 설계를 사용한 연구는 횡단 설계를 사용한 연구보다 더 큰 IT 수익성을 보일 것이다.
2.2.5.3. Level of Detail.
Although many researchers have recognized the need for considering organizational factors in addition to IT investment (Brynjolfsson 1993, Byrd and Marshall 1997, Dewan and Min 1997, Grover et al. 1998, Mahmood and Mann 1997), few have followed this advice in practice.
많은 연구자들이 IT 투자 외에도 조직적 요인을 고려해야 한다는 필요성을 인식했음에도 (Brynjolfsson, 1993; Byrd and Marshall, 1997; Dewan and Min, 1997; Grover et al., 1998; Mahmood and Mann, 1997), 실제로 이를 따르는 연구는 적었다.
It is suggested that the process of IT investment leading to payoffs should be examined in greater detail because an investment in IT need not imply that it was the correct investment or that it was targeted appropriately.
IT 투자로 인한 수익이 발생하는 과정을 더 상세히 조사해야 한다고 제안되었으며, IT 투자가 적절한 투자였다는 의미는 아닐 수 있고 목표에 맞게 실행되지 않았을 가능성도 있기 때문이다.
Soh and Markus (1995) propose that the IT investment process should be broken down further to examine if it created the appropriate IT assets, and if such assets lead to the appropriate IT impacts.
Soh와 Markus(1995)는 IT 투자 과정이 적절한 IT 자산을 창출했는지, 그러한 자산이 적절한 IT 영향으로 이어졌는지를 조사하기 위해 세분화되어야 한다고 제안했다.
Although the studies reviewed in this meta-analysis did not clearly outline whether process steps, such as IT assets, or impacts of the IT investment were considered, we examined each study to analyze its process orientation.
이 메타분석에서 검토한 연구들은 IT 자산과 같은 과정 단계나 IT 투자로 인한 영향을 명확하게 설명하지 않았으나, 우리는 각 연구를 분석하여 그들의 과정 지향성을 분석했다.
We qualitatively coded the studies through a binary classification based on whether or not IT assets were identified. Similarly, another binary variable was created to determine if the study measured IT impacts.
우리는 IT 자산이 식별되었는지 여부를 기준으로 연구를 이분법적으로 분류하고, 마찬가지로 IT 영향을 측정했는지 여부를 확인하기 위해 또 다른 이분법 변수를 생성했다.
Proposition 5C. Studies capturing IT assets and IT impacts (process orientation) will have higher IT payoff than those lacking process orientation.
명제 5C. IT 자산과 IT 영향을 포착한 연구(과정 지향성)는 과정 지향성이 없는 연구보다 더 높은 IT 수익성을 보일 것이다.
2.2.6. Result of Study.
One of the objectives of this meta-analysis is to understand which variables make a difference in the outcome of IT payoff studies.
이 메타 분석의 목표 중 하나는 IT 수익성 연구 결과에 차이를 만드는 변수가 무엇인지 이해하는 것이다.
Given that a significant number of studies reported positive or partially positive results, we recoded the result variable into a binary result—“positive” and “nonpositive.”
상당수의 연구가 긍정적이거나 부분적으로 긍정적인 결과를 보고했기 때문에, 우리는 결과 변수를 이분법적으로 재코딩하여 “긍정적”과 “비긍정적”으로 분류했다.
The primary reason for the binary classification was that the remaining three categories (see Table 1)—negative, neutral, and mixed—had relatively small sample sizes.
이 이분법적 분류의 주요 이유는 나머지 세 가지 범주(표 1 참조)인 부정적, 중립적, 혼합적 결과의 표본 크기가 상대적으로 작았기 때문이다.
If the category sizes are not equal to or greater than the number of independent variables, the estimation of the discriminant function and the classification of the observations can be adversely affected (Hair et al. 1998, p. 258).
범주 크기가 독립 변수의 수와 같거나 크지 않으면 판별 함수의 추정 및 관측치 분류에 악영향을 미칠 수 있다 (Hair et al., 1998, p. 258).
To test the robustness of this classification scheme, we conducted two checks: (1) an analysis with a percentage-based continuous payoff measure (described is §3) and (2) an examination of the coefficients when each outcome variable of a study was recoded as an observation.
이 분류 체계의 견고성을 테스트하기 위해 두 가지 확인을 수행했다: (1) 비율 기반의 연속적인 수익성 측정치로 분석을 수행했고(§3에서 설명됨), (2) 연구의 각 결과 변수가 관측치로 재코딩된 경우의 계수를 검토했다.
3. Method
3.1. Meta-Analysis
Meta-analysis is rooted in the fundamental values of scientific enterprise—replicability, quantification, causal and correlation analysis (Bangert-Drowns 1986, Benbasat and Lim 1993), and offers direction for future research (Hunter and Schmidt 1990).
메타분석은 과학적 연구의 근본적인 가치인 재현성, 정량화, 인과 및 상관 분석(Bangert-Drowns, 1986; Benbasat and Lim, 1993)에 뿌리를 두고 있으며, 향후 연구를 위한 방향을 제시한다(Hunter and Schmidt, 1990).
As MIS research advances, so does the need to conduct more meta-analytic studies (Hwang 1996).
MIS 연구가 발전함에 따라, 더 많은 메타분석 연구를 수행할 필요성도 증가하고 있다(Hwang, 1996).
The results of this meta-analysis will contribute in developing metrics and, eventually in building a theory of IT impacts on firm performance, a vision proposed by several researchers (Brynjolfsson and Yang 1996, DeLone and McLean 1992, Keen 1980, Nault and Benbasat 1990).
이 메타 분석의 결과는 지표 개발에 기여할 것이며, 궁극적으로 여러 연구자들이 제안한 비전인 기업 성과에 대한 IT 영향 이론 구축에 기여할 것이다 (Brynjolfsson and Yang, 1996; DeLone and McLean, 1992; Keen, 1980; Nault and Benbasat, 1990).
3.1. Meta-Analysis
Consistent with the process suggested by Glass et al. (1981), this meta-analysis broadly consists of the following steps:
Glass 등(1981)이 제안한 절차에 따라, 이 메타분석은 대체로 다음 단계로 구성된다:
(1) Development of a framework listing factors that contribute to explaining IT payoff (discussed in §2);
(1) IT 수익성을 설명하는 데 기여하는 요인 목록을 포함하는 프레임워크 개발(§2에서 논의됨);
(2) Selection of studies to be included in the analysis;
(2) 분석에 포함할 연구 선택;
(3) Documentation and coding of the various characteristics of studies included in the analysis;
(3) 분석에 포함된 연구의 다양한 특성을 문서화하고 코딩;
(4) Statistical meta-analyses through regression (logistic and ordinary least squares) and discriminant analysis procedures;
(4) 회귀 분석(로지스틱 및 최소 제곱법)과 판별 분석 절차를 통한 통계적 메타 분석;
(5) Documentation of findings from the two statistical procedures, and directions for future research.
(5) 두 가지 통계적 절차에서 도출된 결과 문서화 및 향후 연구 방향 제시.
Our meta-analysis of the IT payoff focused on empirical, firm-level studies that measured the impact of IT on performance.
우리의 IT 수익성에 대한 메타분석은 IT가 성과에 미치는 영향을 측정한 실증적 기업 수준 연구에 초점을 맞추었다.
Our sample consists of 66 studies (Appendix B) published between 1990 and 2000, unpublished dissertations since 1995, and recent working papers.
우리의 샘플은 1990년부터 2000년까지 발표된 66개의 연구(Appendix B), 1995년 이후의 미출판 논문, 그리고 최근의 워킹 페이퍼로 구성되어 있다.
The studies were obtained through a search of the Social Sciences Index using the keywords IT payoff, information technology, firm, productivity, firm performance, technology, and profitability.
이 연구들은 ‘IT 수익성’, ‘정보 기술’, ‘기업’, ‘생산성’, ‘기업 성과’, ‘기술’, ‘수익성’ 등의 키워드를 사용하여 사회 과학 색인을 검색하여 얻었다.
In addition, we reviewed the bibliographies of previously published review papers (Barua and Mukhopadhyay 2000, Brynjolfsson and Yang 1996, Sircar et al. 1998) to identify other firm-level studies.
또한, 우리는 이전에 발표된 리뷰 논문(Barua and Mukhopadhyay, 2000; Brynjolfsson and Yang, 1996; Sircar 등, 1998)의 참고문헌을 검토하여 다른 기업 수준의 연구를 식별하였다.
We also searched the Dissertation Index for doctoral dissertations on the topic. Dissertations were not included if they resulted in a published paper already included in our meta-analysis.
우리는 또한 해당 주제에 대한 박사 논문을 찾기 위해 논문 색인을 검색하였다. 메타분석에 이미 포함된 논문에서 파생된 박사 논문은 포함되지 않았다.
Dissertations are represented in Appendix B by asterisks. Further, we contacted more than 15 active researchers in this topical area to solicit working papers.
논문은 Appendix B에서 별표로 표시되었다. 또한 우리는 이 주제 분야의 15명 이상의 활동 중인 연구자들에게 연락하여 워킹 페이퍼를 요청했다.
3.2. Variable Coding
The independent variables employed in the analyses were (a) dependent variable classification, (b) sample size, (c) data source, (d) IT impact examination, (e) IT asset identification, and (f) industry.
분석에 사용된 독립 변수는 (a) 종속 변수 분류, (b) 표본 크기, (c) 데이터 출처, (d) IT 영향 조사, (e) IT 자산 식별, (f) 산업이다.
These variables were coded and employed in the analysis in the following manner (also, see Appendix A).
이 변수들은 다음과 같은 방식으로 코딩되고 분석에 사용되었다(또한, Appendix A를 참조하라).
Dependent variable classification ranged from one to three depending on whether the outcome variables employed in the study were productivity-based, profitability-based, or a combination of both.
종속 변수 분류는 연구에서 사용된 결과 변수가 생산성 기반인지, 수익성 기반인지, 아니면 두 가지의 조합인지를 기준으로 1에서 3까지 범위로 분류되었다.
The sample size is a function of both the number of firms examined and the number of time periods data were analyzed for longitudinal and panel data.
표본 크기는 조사된 기업의 수와 종단적 데이터 및 패널 데이터에서 분석된 기간의 수에 따른 함수이다.
This was readily available from the studies. Data source was a dummy variable that assumed a value of “1” for primary data and “2” for secondary data.
이 값은 연구에서 쉽게 확인할 수 있었다. 데이터 출처는 주 데이터에는 ‘1’, 보조 데이터에는 ‘2’ 값을 갖는 더미 변수로 설정되었다.
The next two variables examined the intermediate process variables of IT asset and IT impact. The IT asset variable was coded “1” if an IT asset was identified and “0” otherwise.
다음 두 변수는 IT 자산과 IT 영향의 중간 과정 변수를 조사했다. IT 자산 변수는 IT 자산이 식별된 경우 ‘1’로, 그렇지 않은 경우 ‘0’으로 코딩되었다.
Similarly, the IT impact variable was coded “1” if an IT impact was assessed and “0” otherwise.
마찬가지로 IT 영향 변수는 IT 영향이 평가된 경우 ‘1’로, 그렇지 않은 경우 ‘0’으로 코딩되었다.
Finally, we had multiple dummy variables to identify the type of industry sector.
마지막으로, 우리는 산업 부문 유형을 식별하기 위해 여러 개의 더미 변수를 설정했다.
However, because our objective was to come up with a parsimonious set of variables that would explain the outcome of a study, our final model employed only the dummy variable for industry that displayed statistical significance.
그러나 우리의 목표는 연구 결과를 설명할 수 있는 간결한 변수를 도출하는 것이었기 때문에, 최종 모델에서는 통계적으로 유의미한 산업 더미 변수만을 사용했다.
To check the reliability of the coding procedure, in addition to the authors, a graduate student was trained to independently code the above variables by capturing data from each study.
코딩 절차의 신뢰성을 확인하기 위해, 저자들 외에도 한 대학원생이 각 연구에서 데이터를 수집하여 독립적으로 위의 변수를 코딩하도록 훈련받았다.
For the coded variables, the interrater reliability measure, Kappa, was calculated as 0.82. Disagreements in coding were resolved through discussion and clarification.
코딩된 변수에 대해 평가자 간 신뢰도 측정치인 Kappa는 0.82로 계산되었다. 코딩에서의 의견 차이는 토론과 명확화를 통해 해결되었다.
3.3. Analysis
3.3.1. Logistic Regression (LR).
Logistic regression (LR) is preferred when assessing the contribution of variables because it (i) is less affected by variance covariance inequalities across groups, (ii) is able to handle categorical variables easily, and (iii) offers case-wise diagnostic measures for examining residuals (Hair et al. 1998, p. 314).
로지스틱 회귀 분석(LR)은 (i) 그룹 간 분산 공분산 불균형에 덜 영향을 받으며, (ii) 범주형 변수를 쉽게 처리할 수 있고, (iii) 잔차를 검토하기 위한 사례별 진단 측정을 제공하기 때문에 변수의 기여도를 평가할 때 선호된다(Hair et al., 1998, p. 314).
LR has been applied in meta-analytic studies to examine clinical heterogeneity (Schulz and Altman 1996) and effectiveness of drugs in cattle (Peters et al. 2000).
LR은 메타 분석 연구에서 임상 이질성(Schulz와 Altman, 1996) 및 소에서 약물의 효과(Peters 등, 2000)를 조사하는 데 사용되었다.
Estimators from the logistic regression in meta-analytic studies have also shown less bias and better coverage probabilities than other approximations (Chang et al. 2000).
메타 분석 연구에서의 로지스틱 회귀 분석 추정값은 다른 근사치보다 편향이 적고 더 나은 커버리지 확률을 보여준다(Chang 등, 2000).
3.3.2. Discriminant Analysis (DA).
DA is suitable for understanding and explaining research problems that involve a single categorical-dependent variable and several independent variables.
판별 분석(DA)은 하나의 범주형 종속 변수와 여러 독립 변수를 포함하는 연구 문제를 이해하고 설명하는 데 적합하다.
DA is a robust analytical technique that can accommodate mixed independent variables, as is the case in our meta-analysis (Hair et al. 1998).
DA는 혼합된 독립 변수를 수용할 수 있는 강력한 분석 기법으로, 이는 메타 분석에서도 적용된다(Hair et al., 1998).
Past meta-analytic studies have applied DA to examine public transport in different countries (Nijkampet al. 2000), clinical disciplines of neurological deterioration and anti-oxidant profiles (Marschoffa et al. 1997), and the influence of unpublished studies included in meta-analyses (McAuleya et al. 2000).
과거 메타 분석 연구들은 DA를 사용하여 여러 나라의 대중교통(Nijkampet 등, 2000), 신경퇴행 및 항산화 물질 프로필의 임상학적 연구(Marschoffa 등, 1997), 메타 분석에 포함된 미출판 연구의 영향을 조사했다(McAuleya 등, 2000).
Similar to our approach, a recent study has verified the robustness of its results by utilizing more than one analysis such as DA and LR (Chang et al. 2000).
우리의 접근 방식과 유사하게, 최근 연구는 DA와 LR과 같은 여러 분석 기법을 활용하여 결과의 견고함을 확인했다(Chang 등, 2000).
3.3.3. Continuous IT Payoff Variable: OLS Regression.
We developed a percentage-based “continuous” IT payoff variable by categorizing the study outcome (or dependent) variables into subcategories—positive significant (psig), positive not significant (pnsig), negative significant (nsig), and negative not significant (nnsig).
우리는 연구 결과(또는 종속 변수)를 긍정적 유의성(psig), 긍정적 비유의성(pnsig), 부정적 유의성(nsig), 부정적 비유의성(nnsig)으로 하위 분류하여 퍼센티지 기반의 ‘연속형’ IT 수익성 변수를 개발했다.
*The formula to calculate the continuous payoff variable for each study is: Continuous payoff variable = [(R psig - R nsig)/Total # of outcome variables]100.
각 연구의 연속형 수익성 변수를 계산하는 공식은 다음과 같다: 연속형 수익성 변수 = [(R psig - R nsig)/전체 결과 변수의 수] * 100.
For example, a study with all dependent variables showing positive and significant results will be coded as 100%, whereas a study that had a total of six dependent variables (three positive significant and one negative significant) will get a score of [(3 - 1)]/6 * 100 or 33.33%.
예를 들어, 모든 종속 변수가 긍정적이고 유의미한 결과를 보인 연구는 100%로 코딩되며, 종속 변수가 총 6개인 연구(긍정적 유의성 3개, 부정적 유의성 1개)는 [(3 - 1)]/6 * 100 또는 33.33%의 점수를 받는다.
Thus any score in the range from -100 to 100 is possible depending on the total number of outcome variables employed in the study, positive and negative significant.
따라서 연구에서 사용된 결과 변수의 총 수와 긍정적 또는 부정적 유의성에 따라 -100에서 100까지의 점수가 가능하다.
4. Results
The frequency of studies included in the meta-analysis indicate that Management Science and Information Systems Research were the most popular outlets for IT payoff studies.
메타 분석에 포함된 연구의 빈도를 보면, 경영 과학(Management Science)과 정보 시스템 연구(Information Systems Research)가 IT 수익성 연구에 있어 가장 인기 있는 출판지였다.
As indicated in Figure 2, over 40% of studies reported in this paper were published between 1995 and 1997.
그림 2에 나타난 바와 같이, 이 논문에서 보고된 연구의 40% 이상이 1995년에서 1997년 사이에 발표되었다.
Figure 2 Number of IT Payoff Studies and the Year of PublicationAfter peaking in 1997, firm-level studies dropped in the late 1990s. However, IT payoff studies appear to be on the rise in the year 2000.
1997년에 정점을 찍은 후, 기업 수준의 연구는 1990년대 후반에 감소했다. 하지만 2000년에 IT 수익성 연구가 다시 증가하는 것으로 보인다.
Figure 3 indicates that both binary (positive and nonpositive) and continuous percent payoff outcomes reported by the studies in our meta-analysis dropped between 1994 and 1998, after which they were on the rise.
그림 3은 메타 분석에서 이진(긍정적 및 비긍정적)과 연속형 퍼센티지 수익성 결과가 1994년에서 1998년 사이에 감소했다가 이후 다시 증가하는 추세를 보여준다.
This can be viewed in the context of the period during which the “productivity paradox” was widely discussed (early to mid-90s) and eventually dismissed (late 90s to present).
이는 ‘생산성 패러독스’가 널리 논의되었던 시기(90년대 초중반)와 결국 이를 해소한 시기(90년대 후반부터 현재까지)와 관련지어 볼 수 있다.
For the purposes of the statistical analysis, two studies found to be outliers/influential observations according to the Belsley-Kuh-Welsch criteria (Belsley et al. 1980) were excluded from the analysis.
통계 분석을 위해, Belsley-Kuh-Welsch 기준에 따라 발견된 두 개의 이상치/영향력 있는 관측값(Belsley 등, 1980)은 분석에서 제외되었다.
To identify the structural variables that influence the results of IT payoff studies we employed (a) LR and (b) DA for our statistical analyses.
IT 수익성 연구 결과에 영향을 미치는 구조적 변수를 확인하기 위해 우리는 (a) 로지스틱 회귀 분석(LR)과 (b) 판별 분석(DA)을 통계 분석에 사용했다.
As mentioned in §3, we also conducted OLS regression to examine the extent to which the structural variables influenced IT payoff study results.
§3에서 언급한 바와 같이, 구조적 변수가 IT 수익성 연구 결과에 미치는 영향을 조사하기 위해 OLS 회귀 분석도 실시했다.
The results of LR displayed in Table 2 show that the fit of the overall LR model (indicated by the 2 log likelihood (2 LL) statistic) improved when compared with the base model value (73.474).
표 2에 나타난 로지스틱 회귀 분석(LR) 결과는 전체 LR 모델의 적합도(로그 우도 통계(2 LL)로 표시됨)가 기본 모델 값(73.474)과 비교했을 때 개선되었음을 보여준다.
Table 2 Logistic Regression Analysis for Positive vs. Nonpositive IT Payoff StudiesThe 2LL statistic is comparable to the overall F test in multiple regression. The log likelihood value is a measure to assess the lack of predictive fit; therefore, a lower value indicates a better model fit.
2LL 통계는 다중 회귀 분석에서의 전체 F 테스트와 비교할 수 있으며, 로그 우도 값은 예측 적합도의 부족을 평가하는 척도로, 값이 낮을수록 모델의 적합도가 더 나은 것으로 간주된다.
Since the Cox and Snell R^2 measure cannot reach a value of 1, a standardized R^2 called Nagelkerke R^2 ranging between 0 and 1 was computed as 0.505 (Hair et al. 1998, p. 143).
Cox와 Snell R^2 측정값은 1에 도달할 수 없으므로, 표준화된 Nagelkerke R^2 값이 0에서 1 사이로 계산되었으며 그 값은 0.505였다(Hair et al., 1998, p. 143).
The choice of independent variables was based on the objective of constructing a parsimonious model to explain the IT payoff outcome.
독립 변수의 선택은 IT 수익성 결과를 설명하기 위한 간결한 모델을 구축하는 것을 목표로 했다.
Results of the logistic regression procedure indicate that the sample size of studies included in the analysis was significantly associated (at the 5% level) with the outcome of studies.
로지스틱 회귀 분석 결과에 따르면, 분석에 포함된 연구의 표본 크기가 연구 결과와 유의미하게 관련되어 있음을 보여준다(유의 수준 5%).
Specifically, the larger the sample size, the more likely it was for studies to show a positive and significant payoff.
구체적으로, 표본 크기가 클수록 연구에서 긍정적이고 유의미한 수익성을 나타낼 가능성이 더 높았다.
The nature of the dependent variable was also significantly related to the payoff at the 5% level.
종속 변수의 특성도 수익성과 유의미하게 관련이 있었다(유의 수준 5%).
Studies that employed productivity-based measures were more likely to report positive payoffs as compared to those that used profitability-based measures.
생산성 기반 측정치를 사용한 연구들이 수익성 기반 측정치를 사용한 연구들보다 긍정적인 수익성을 보고할 가능성이 더 높았다.
The source of the data, primary or secondary, was also found to be significantly related to payoff at the 5% level.
데이터의 출처, 즉 1차 데이터인지 2차 데이터인지는 수익성과 유의미하게 관련이 있음을 발견했다(유의 수준 5%).
All else being equal, studies that utilized a primary data source (firm) were more likely to report positive payoffs than those that utilized secondary data.
다른 모든 조건이 동일할 때, 1차 데이터 출처(기업)를 활용한 연구들이 2차 데이터를 사용한 연구들보다 긍정적인 수익성을 보고할 가능성이 더 높았다.
The identification of an intermediate process variable, namely the IT asset, that was the focus of the IT investment was also associated with payoff, albeit at the 10% level.
IT 투자의 초점이 된 중간 과정 변수, 즉 IT 자산을 식별한 것이 수익성과 관련이 있었지만, 그 관련성은 유의 수준 10%에서 나타났다.
In other words, studies that reported having identified the specific IT asset were likely to report positive payoffs.
즉, 특정 IT 자산을 식별했다고 보고한 연구들이 긍정적인 수익성을 보고할 가능성이 있었다.
The second process variable, IT impacts or the identification of an intermediate impact, probably at a process level, was not significantly related to payoff.
두 번째 과정 변수인 IT 영향이나 중간 영향의 식별은 수익성과 유의미한 관련이 없었다.
Finally, the type of industry had a moderate impact on the payoff metric with significance at the 10% level.
마지막으로, 산업 유형은 수익성 지표에 중간 정도의 영향을 미쳤으며, 유의 수준 10%에서 통계적으로 유의미했다.
Results indicated that it is more likely to see positive payoffs if the firm under consideration was nongovernmental.
결과는 비정부 부문 기업일 경우 긍정적인 수익성을 볼 가능성이 더 높음을 나타냈다.
We report the results of our DA in Table 3.
우리는 표 3에서 판별 분석(DA)의 결과를 보고한다.
Table 3 Discriminant Analysis for Positive vs. Nonpositive IT Payoff StudiesTo conduct DA, (a) the sample for each group should be greater than the number of independent variables and (b) there should be a minimum of five cases per independent variable.
판별 분석을 수행하기 위해 (a) 각 그룹의 표본은 독립 변수의 수보다 많아야 하고, (b) 독립 변수당 최소 다섯 개의 사례가 있어야 한다.
Our data and variables utilized meet both the above requirements.
우리의 데이터와 사용된 변수들은 위의 두 요구 사항을 충족한다.
We begin our DA with a test of the assumption of equal covariance matrix.
우리는 판별 분석을 동일 공분산 행렬 가정의 검증으로 시작한다.
Box’s M statistic (significance 0.729) verified that our data do not violate that assumption.
Box의 M 통계(유의 수준 0.729)는 우리의 데이터가 그 가정을 위반하지 않음을 확인했다.
The overall canonical correlation 0.578 indicates that the model of independent variables in our analysis explains (0.578)^2 or 33.4% of the variance in the dependent variable—positive or nonpositive result.
전체 정준 상관계수 0.578은 우리의 분석에서 독립 변수 모델이 종속 변수의 33.4%의 분산을 설명한다는 것을 의미한다—긍정적이거나 비긍정적인 결과.
The discriminant loadings in Table 3 highlight the variables that significantly discriminate between studies with positive and nonpositive results.
표 3의 판별 로딩은 긍정적 결과와 비긍정적 결과를 보이는 연구들을 유의미하게 구분하는 변수를 강조한다.
Generally, any variable with a pooled, within-group correlation loading higher than 0.30 or less than (-)0.30 is considered substantive.
일반적으로, 그룹 내 상관 로딩이 0.30보다 높거나 -0.30보다 낮은 변수는 실질적이라고 간주된다.
Our analysis reveals that dependent classification, duration of study, source of data, and industry variables meet this criterion.
우리의 분석 결과, 종속 분류, 연구 기간, 데이터 출처, 산업 변수가 이 기준을 충족하는 것으로 나타났다.
IT assets and IT impacts do not meet this threshold.
IT 자산과 IT 영향은 이 기준을 충족하지 못했다.
Finally, the model correctly classified 84% of the cases.
마지막으로, 모델은 사례의 84%를 정확하게 분류했다.
Results obtained using the continuous measure of payoff (Table 4) are generally similar to the results obtained from logistic regression using the binary-coded variable.
연속형 수익성 측정을 사용한 결과(표 4)는 이진 코드 변수를 사용한 로지스틱 회귀 분석에서 얻은 결과와 일반적으로 유사하다.
Table 4 OLS Regression Analysis for Continuous IT Payoff VariableThe sample size was again statistically significantly related to the payoff measure at the 1% level.
표본 크기는 다시 한 번 수익성 측정과 유의수준 1%에서 통계적으로 유의미한 관련이 있었다.
The larger the sample size, the better the likelihood of payoff.
표본 크기가 클수록 수익성이 나타날 가능성이 높다.
However, the nature of the dependent variable, productivity or profitability, did not have a significant association with the continuous metric.
그러나 종속 변수의 성격, 즉 생산성 또는 수익성은 연속형 지표와 유의미한 관련이 없었다.
As before, the variable capturing the source of the data was significantly associated with payoff at the 1% level.
이전과 마찬가지로, 데이터 출처를 나타내는 변수는 유의수준 1%에서 수익성과 유의미하게 관련이 있었다.
Studies that used data from primary sources show higher payoff than studies that used secondary data.
1차 데이터를 사용한 연구들은 2차 데이터를 사용한 연구들보다 더 높은 수익성을 보여주었다.
The identification of IT assets as an intermediate step is shown to significantly impact payoff at the 5% level.
중간 단계로서 IT 자산의 식별은 유의수준 5%에서 수익성에 유의미한 영향을 미치는 것으로 나타났다.
Contrary to expectations, the negative sign for the coefficient indicates that studies that reported identifying an IT asset fared worse than those that did not.
예상과 달리, 계수의 부호는 IT 자산을 식별했다고 보고한 연구들이 그렇지 않은 연구들보다 더 나쁜 결과를 보였음을 나타낸다.
Further discussion of this finding is presented in §5.
이 발견에 대한 추가 논의는 §5에서 제시된다.
As was the case in logistic regression, the IT impact variable was not significantly associated with the payoff metric.
로지스틱 회귀 분석과 마찬가지로, IT 영향 변수는 수익성 지표와 유의미하게 관련이 없었다.
The type of industry had a stronger relationship with the percent payoff, with significance at the 5% level.
산업 유형은 유의수준 5%에서 수익성 비율과 더 강한 관계를 보였다.
This qualitative inference is similar to earlier analyses in which the nongovernment sector showed more positive payoffs than the government firms.
이 질적 추론은 비정부 부문이 정부 기업보다 더 긍정적인 수익성을 보인 이전 분석과 유사하다.
A final check of the robustness of our classification of the payoff outcome involved an examination of the coefficients when each outcome variable of a study was recoded as an observation.
수익성 결과 분류의 견고성을 최종적으로 확인하기 위해, 연구의 각 결과 변수를 관찰로 재코딩한 후 계수를 검토했다.
The results were still directionally correct after we corrected for heteroscedasticity using the Huber-White procedure.
Huber-White 절차를 사용하여 이분산성을 수정한 후에도 결과는 여전히 방향이 맞았다.
5. Conclusions and Future Research
5.1. Variables Influencing IT Payoff Study Results
This section discusses the implications of the findings of our meta-analysis of the framework as presented in Figure 1 and Table 1.
이 섹션에서는 그림 1과 표 1에 제시된 프레임워크에 대한 메타 분석 결과의 함의를 논의한다.
Where appropriate, the implications of the findings are discussed in terms of their relationship with the outcomes of IT payoff studies and recommendations for future studies.
적절한 경우, 발견된 결과들의 함의는 IT 수익성 연구 결과와의 관계 및 향후 연구를 위한 권고사항 측면에서 논의된다.
5.1.1. Influence of Context Variables.
The studies in this meta-analysis consisted of the following industry sectors—manufacturing (14%), service (28%), government (10%), nonprofit (35%), and combined (13%).
이 메타분석에 포함된 연구들은 제조업(14%), 서비스업(28%), 정부(10%), 비영리(35%), 그리고 혼합(13%) 산업 부문으로 구성되었다.
The regression results of the continuous dependent variable indicate that the industry sector influences the outcome of the studies.
연속 종속 변수의 회귀 분석 결과는 산업 부문이 연구 결과에 영향을 미친다는 것을 나타낸다.
We find a significant difference between outcomes of studies from varying industry types.
우리는 다양한 산업 유형에서 나온 연구 결과들 간에 유의미한 차이를 발견했다.
Further analysis indicates that studies conducted in nonprofit and government sectors show a greater degree of positive outcomes than in financial and manufacturing sectors combined.
추가 분석에 따르면, 비영리 및 정부 부문에서 수행된 연구들은 금융 및 제조 부문을 합친 것보다 더 긍정적인 결과를 보였다.
A potential explanation is that nonprofit and government databases contain public information and can offer greater contextual detail to the researcher.
가능한 설명으로는 비영리 및 정부 데이터베이스가 공공 정보를 포함하고 있어 연구자에게 더 많은 맥락적 세부 사항을 제공할 수 있다는 점이다.
Open and accessible detailed data are critical for verification and triangulation of payoff results. Therefore, Proposition 1 is supported.
개방적이고 접근 가능한 세부 데이터는 수익성 결과의 검증과 삼각측량에 매우 중요하다. 따라서 제안 1은 지지된다.
5.1.2. Influence of Study Characteristics.
Both binary and continuous analyses indicate that sample size positively influences the outcomes.
이진 분석과 연속 분석 모두 표본 크기가 결과에 긍정적인 영향을 미친다는 것을 나타낸다.
DA loadings also confirm that sample size is a discriminating variable between studies reporting positive and nonpositive outcomes.
차별분석(DA) 결과도 표본 크기가 긍정적 결과를 보고한 연구와 그렇지 않은 연구 간에 차이를 구별하는 변수임을 확인한다.
Therefore, there is strong evidence that sample size influences the results of IT payoff studies.
따라서 표본 크기가 IT 수익성 연구의 결과에 영향을 미친다는 강력한 증거가 있다.
This is consistent with conventional wisdom that larger sample sizes provide greater confidence in the results.
이는 더 큰 표본 크기가 결과에 대한 신뢰도를 높인다는 일반적인 인식과 일치한다.
Past studies have suggested that shorter duration or fewer data points may have contributed to the equivocal results in some IT payoff studies.
과거 연구들은 짧은 기간 또는 적은 데이터 포인트가 일부 IT 수익성 연구에서 애매한 결과를 초래할 수 있다고 제안해 왔다.
Therefore, future studies can increase the confidence in the results through a combination of granular data collection and longer duration of data. Therefore, Proposition 2 is supported.
따라서 향후 연구에서는 세부 데이터 수집과 더 긴 데이터 수집 기간을 결합하여 결과에 대한 신뢰도를 높일 수 있다. 따라서 제안 2는 지지된다.
5.1.3. Influence of Data Source.
We find support for the proposition that the source of data in firm-level studies influences the results of IT payoff studies.
우리는 기업 수준 연구에서 데이터 출처가 IT 수익성 연구 결과에 영향을 미친다는 제안을 지지하는 증거를 찾았다.
The analysis indicates that when using the binary classification result, studies utilizing firm-level data have a greater incidence of positive results (p 0.10).
이 분석은 이진 분류 결과를 사용할 때, 기업 수준 데이터를 활용한 연구들이 더 높은 빈도로 긍정적 결과를 나타낸다는 것을 보여준다(p 0.10).
Further univariate analysis to examine specific secondary sources indicates that the database utilized in obtaining data leads to significant differences in the result of the study.
특정 2차 출처를 조사하기 위한 단변량 분석 결과, 데이터를 얻기 위해 사용된 데이터베이스가 연구 결과에 유의미한 차이를 초래한다는 것을 보여준다.
For instance, studies that have utilized Computer Intelligence (CI) Infocorp or IDG database show a higher mean value of positive results (p 0.10).
예를 들어, Computer Intelligence(CI) Infocorp 또는 IDG 데이터베이스를 사용한 연구는 더 높은 평균적인 긍정적 결과 값을 보인다(p 0.10).
An examination of the studies in this meta-analysis indicates that many recent studies that have explicated the productivity paradox issue have also used one or both these databases. Therefore, Proposition 3 is supported.
이 메타분석에서 조사된 연구들은 생산성 역설 문제를 설명한 많은 최근 연구들이 이 두 데이터베이스 중 하나 또는 둘 다 사용했음을 나타낸다. 따라서 제안 3은 지지된다.
5.1.4. Influence of Dependent Variables Employed.
By classifying the diverse dependent variables into productivity, profitability, or both, we find evidence (p 0.01 in binary classification) that such classification is associated with the result of past IT payoff studies.
다양한 종속 변수를 생산성, 수익성 또는 두 가지 모두로 분류함으로써, 그러한 분류가 과거 IT 수익성 연구 결과와 연관되어 있다는 증거를 발견했다(p 0.01, 이진 분류).
Studies utilizing productivity-based dependent variables appear to be positively associated with payoff from IT investment.
생산성 기반의 종속 변수를 사용하는 연구들은 IT 투자로 인한 성과와 긍정적으로 연관된 것으로 보인다.
This suggests that productivity-based measures may be more suited to capture the payoff.
이는 생산성 기반의 측정이 수익성을 포착하는 데 더 적합할 수 있음을 시사한다.
On the other hand, profitability-based measures can be confounded by other factors that may influence the firm-level profitability.
반면, 수익성 기반의 측정은 기업의 수익성에 영향을 미칠 수 있는 다른 요인들에 의해 혼란스러울 수 있다.
By contrast, productivity-based variables also tend to be closer to the process and, therefore, less likely to be confounded by external variables. Therefore, Proposition 4 is supported.
반대로, 생산성 기반 변수는 과정에 더 가까운 경향이 있어 외부 변수에 의해 혼란될 가능성이 적다. 따라서 제안 4는 지지된다.
Although, data regarding the type of investment, for example, hardware or software, were not readily available in published studies and many appear to have invested in both, we conducted a univariate analysis to examine any differences in outcomes.
예를 들어, 하드웨어 또는 소프트웨어와 같은 투자 유형에 대한 데이터는 공개된 연구에서 쉽게 구할 수 없었고, 많은 연구가 두 가지 모두에 투자한 것으로 보이지만, 우리는 단변량 분석을 통해 결과의 차이를 조사했다.
The results do not show a significant difference between the types of investment.
결과는 투자 유형 간에 유의미한 차이를 보여주지 않았다.
5.1.5. Influence of Data Analysis Approach.
This data analysis approach category includes the statistical analysis (regression or model vs. correlation), the method of data collection and analysis (cross-sectional and longitudinal), and the process orientation (measurement of IT assets and IT impacts).
이 데이터 분석 접근법 범주는 통계 분석(회귀 또는 모델 대 상관 분석), 데이터 수집 및 분석 방법(횡단적 및 종단적 분석), 그리고 과정 지향(IT 자산 및 IT 영향 측정)을 포함한다.
Univariate analysis of the statistical analysis variable indicates no significant difference between studies utilizing models and those that utilize correlation or other basic analysis.
통계 분석 변수의 단변량 분석은 모델을 사용하는 연구와 상관 분석 또는 기타 기본 분석을 사용하는 연구 간에 유의미한 차이가 없음을 나타낸다.
It should be noted that less than 20% of the studies in our meta-analysis applied a correlation-based approach.
우리 메타분석에 포함된 연구 중 20% 미만이 상관 기반 접근법을 적용했다는 점을 주목해야 한다.
Further data collection may be necessary to examine this issue in greater detail, perhaps at a granular level. Therefore, Proposition 5a is not supported.
이 문제를 더 자세히 조사하기 위해서는 추가적인 데이터 수집이 필요할 수 있으며, 아마도 더 세밀한 수준에서 이뤄져야 할 것이다. 따라서 제안 5a는 지지되지 않는다.
The data collection method of a study in and of itself does not lead to a significant difference in the result.
연구의 데이터 수집 방법 자체는 결과에 유의미한 차이를 초래하지 않는다.
Contrary to previous suggestions (Lee and Barua 1999, Robey and Boudreau 1999), our findings indicate that longitudinal studies do not appear to influence the results of the studies.
이전의 제안과는 달리(Lee and Barua 1999, Robey and Boudreau 1999), 우리의 연구 결과는 종단 연구가 연구 결과에 영향을 미치지 않는 것으로 보인다.
However, it should be noted that the longitudinal data variable is partly reflected in the sample size.
그러나 종단 데이터 변수는 부분적으로 표본 크기에 반영된다는 점을 주목해야 한다.
In other words, longitudinal data are likely to have larger sample sizes and can help detect lag effects.
다시 말해, 종단 데이터는 더 큰 표본 크기를 가질 가능성이 높으며 지연 효과를 감지하는 데 도움이 될 수 있다.
As discussed above, larger sample sizes lead to positive outcomes. Therefore, Proposition 5b is not supported.
위에서 논의된 바와 같이, 더 큰 표본 크기는 긍정적인 결과로 이어진다. 따라서 제안 5b는 지지되지 않는다.
Finally, the process-orientation variables indicate weak support for their influence on the outcomes of IT payoff studies.
마지막으로, 과정 지향 변수들은 IT 수익성 연구 결과에 미치는 영향에 대해 약한 지지를 나타낸다.
First, in the DA, neither IT assets nor IT impacts loaded at an appropriate level (0.30).
첫째, 차별분석(DA)에서 IT 자산이나 IT 영향 모두 적절한 수준(0.30)에서 적재되지 않았다.
Second, LR found only IT assets significant at (p 0.10).
둘째, 로지스틱 회귀(LR)는 IT 자산만이 유의미하게 나타났다(p 0.10).
Further, contrary to expectations, IT assets were negatively associated with outcomes of studies.
또한 기대와는 달리, IT 자산은 연구 결과와 부정적으로 연관되었다.
In other words, studies that did not measure the creation of appropriate IT assets exhibited positive payoff.
즉, 적절한 IT 자산의 창출을 측정하지 않은 연구들이 긍정적인 수익성을 보였다.
The reason for these unexpected results could be that our coding reflected whether the study attempted to identify IT assets, not the results of such assets or the suitability of the assets. Therefore, Proposition 5c is not supported.
이러한 예상치 못한 결과의 원인은 우리의 코딩이 연구가 IT 자산을 식별하려고 시도했는지 여부를 반영했기 때문이지, 그 자산의 결과나 적합성을 반영한 것이 아니기 때문일 수 있다. 따라서 제안 5c는 지지되지 않는다.
Table 5 summarizes the findings of analyses.
표 5는 분석 결과를 요약한다.
Table 5 Summary of FindingsAlthough, there are characteristics of data analyses that were not supported, taken together, our results indicate that structural variables do influence the outcomes of IT payoff studies.
비록 데이터 분석의 특성 중 일부가 지지되지 않았지만, 종합적으로 보면 우리의 결과는 구조적 변수가 IT 수익성 연구 결과에 영향을 미친다는 것을 나타낸다.
5.2. Limitations.
Our meta-analysis includes mainly studies from the information systems discipline.
우리의 메타분석은 주로 정보 시스템 학문 분야의 연구들을 포함하고 있다.
IT is utilized in almost every segment of the economy, and it is likely that IT payoff studies published containing discipline-specific keywords in bibliographic databases limited our search of such trade and academic publications.
IT는 경제의 거의 모든 부문에서 사용되며, 학문 분야별 키워드를 포함하는 IT 수익성 연구들이 서지 데이터베이스에 게시된 것이 우리의 상업 및 학술 출판물 검색을 제한했을 가능성이 있다.
Second, although we captured the process orientation variables, i.e., whether a study identified IT assets or assessed IT impacts, we did not assess their suitability or accuracy.
둘째, 우리가 과정 지향 변수들을 포착했지만, 즉 연구가 IT 자산을 식별했는지 또는 IT 영향을 평가했는지 여부를 확인했으나, 그 적합성이나 정확성을 평가하지는 않았다.
It is possible that some firms that measured the process of IT impact may not have done so comprehensively or accurately.
일부 기업들이 IT 영향 과정을 측정했을 때 이를 포괄적이거나 정확하게 하지 않았을 가능성이 있다.
5.3. Contribution and Recommendations for Future Research.
With the exception of Mahmood et al. (1999), our meta-analysis represents one of the first attempts to empirically validate IT payoff characteristics emphasized by past research (Barua et al. 1995, Barua et al. 1996, Brynjolfsson and Yang 1996, Brynjolfsson and Hitt 1993, Devaraj and Kohli 2000a, Grover et al. 1998, Markus and Robey 1988).
Mahmood 등(1999)의 연구를 제외하고, 우리의 메타 분석은 과거 연구들이 강조한 IT 수익성 특성을 실증적으로 검증하려는 첫 시도 중 하나이다(Barua et al. 1995, Barua et al. 1996, Brynjolfsson and Yang 1996, Brynjolfsson and Hitt 1993, Devaraj and Kohli 2000a, Grover et al. 1998, Markus and Robey 1988).
We hope that this empirical validation of structural variables and the recommendations will improve the reliability of IT payoff studies at a time of increasing investment in IT.
우리는 이러한 구조적 변수들의 실증적 검증과 권고가 IT에 대한 투자 증가 시기에 IT 수익성 연구의 신뢰성을 향상시키기를 기대한다.
This meta-analysis contributes to the firm-level IT payoff literature by examining, summarizing, and analyzing the empirical studies in an attempt to understand those structural characteristics that discriminate between positive and nonpositive results.
이 메타 분석은 실증적 연구들을 검토, 요약, 분석하여 긍정적 결과와 비긍정적 결과를 구분하는 구조적 특성을 이해하려는 시도로 기업 수준의 IT 수익성 연구에 기여한다.
The findings indicate that structural variables of IT payoff studies and the manner in which they are conducted do make a difference.
연구 결과는 IT 수익성 연구의 구조적 변수들과 그 수행 방식이 차이를 만든다는 것을 나타낸다.
First, our findings suggest that, to the extent possible, future studies should consider gathering data from primary sources.
첫째, 우리의 연구 결과는 가능한 한 미래 연구에서 1차 자료를 수집하는 것을 고려해야 함을 시사한다.
Second, when secondary data sources are used, databases such as IDG and Computer Intelligence Infocorp may provide a better opportunity for finding influences of structural variables in IT payoff outcomes.
둘째, 2차 데이터 소스를 사용할 경우, IDG와 Computer Intelligence Infocorp와 같은 데이터베이스가 IT 수익성 결과에서 구조적 변수의 영향을 발견할 수 있는 더 나은 기회를 제공할 수 있다.
Third, researchers should gather larger samples comprising of longitudinal or panel data to assess the lag effects of IT payoff.
셋째, 연구자들은 IT 수익성의 지연 효과를 평가하기 위해 종단적 또는 패널 데이터를 포함한 더 큰 표본을 수집해야 한다.
A greater number of firms can also increase sample sizes.
더 많은 기업을 포함하면 표본 크기가 증가할 수 있다
Fourth, productivity-based dependent variables are better suited to assess payoff results than those based on profitability measures alone.
넷째, 생산성 기반의 종속 변수가 수익성 측정치에만 기반한 변수보다 수익성 결과를 평가하는 데 더 적합하다.
While studies reported in our meta-analysis were generally conducted in traditional IT investment, the recent growth in electronic commerce (EC) provides exciting opportunities for IT payoff assessment.
우리의 메타 분석에 보고된 연구들은 일반적으로 전통적인 IT 투자에서 수행되었지만, 최근 전자 상거래(EC)의 성장은 IT 수익성 평가에 흥미로운 기회를 제공한다.
We believe that the structural variables analyzed in this meta-analysis will continue to apply to EC-based IT investment, yet inherent characteristics of new technologies can impact IT payoff measurement.
우리는 이 메타 분석에서 분석한 구조적 변수가 EC 기반 IT 투자에 계속 적용될 것이며, 새로운 기술의 고유 특성이 IT 수익성 측정에 영향을 미칠 수 있다고 믿는다.
For instance, surveys indicate that firms use EC to more diligently differentiate products than to reduce costs.
예를 들어, 설문 조사에 따르면 기업들은 비용 절감보다는 제품 차별화를 위해 EC를 더 신중하게 사용하고 있음을 보여준다.
Chircu and Kauffman (2000) present case-study evidence that demonstrates industry and organizational barriers to valuation and conversion of EC-related IT investments.
Chircu와 Kauffman(2000)은 EC 관련 IT 투자에 대한 평가 및 전환의 산업 및 조직적 장벽을 보여주는 사례 연구 증거를 제시했다.
In such cases the process-oriented structural measurement for IT payoff can yield payoff assessment at the process-level, before organizational payoffs surface due to the impending lag effects.
이러한 경우, IT 수익성에 대한 과정 지향적 구조 측정은 지연 효과로 인해 조직적 수익성이 나타나기 전에 과정 수준에서 수익성 평가를 제공할 수 있다.
Cybermediaries require extensive IT investment and are part of virtual value chains.
사이버 중개업체는 광범위한 IT 투자를 필요로 하며 가상 가치 사슬의 일부이다.
Future studies can measure the payoff accruing to partners.
미래의 연구는 파트너에게 발생하는 수익성을 측정할 수 있다.
There are indications that some partners may not accrue the same payoff as others (Clemons and Row 1993, Rao et al. 1995).
일부 파트너가 다른 파트너와 동일한 수익성을 얻지 못할 수 있다는 징후가 있다(Clemons and Row 1993, Rao et al. 1995).
A process measurement approach can identify what and how value is created when one partner invests and how it results in payoff to others in the supply chain.
과정 측정 접근법은 한 파트너가 투자할 때 어떤 가치가 어떻게 창출되는지, 그리고 그것이 공급망 내 다른 파트너들에게 어떻게 수익성으로 이어지는지를 식별할 수 있다.
Future research may also examine the accuracy and appropriateness of process measures—IT assets and IT impact—and examine how well they relate to the findings of organizational impacts.
미래의 연구는 또한 과정 측정(IT 자산 및 IT 영향)의 정확성과 적합성을 조사하고, 그것들이 조직적 영향의 발견과 얼마나 잘 연관되는지 조사할 수 있다.
In such cases IT assets and IT impacts can also be treated as dependent variables, just as the previous studies have treated organizational impacts.
이러한 경우 IT 자산과 IT 영향도 이전 연구들이 조직적 영향을 다루었듯이 종속 변수로 취급될 수 있다.
In addition, an examination of economic and statistical models and their appropriateness to the data and hypotheses will identify differences in IT payoff results due to analysis.
또한, 경제 및 통계 모델과 그 데이터 및 가설에 대한 적합성을 조사하여 분석으로 인한 IT 수익성 결과의 차이를 식별할 수 있다.
To facilitate future meta-analyses, IT payoff studies may explicitly report sample sizes, independent and dependent variables, and correlation coefficients and their statistical significance.
미래의 메타 분석을 촉진하기 위해, IT 수익성 연구는 표본 크기, 독립 및 종속 변수, 상관 계수 및 그들의 통계적 유의성을 명확하게 보고할 수 있다.
In addition, future studies should explicitly report which complementary changes in business practices, such as business process engineering, business-to-business electronic commerce initiatives, and enterprise resource planning accompanied the IT investment.
또한, 미래의 연구는 IT 투자에 수반된 비즈니스 프로세스 엔지니어링, 기업 간 전자 상거래 이니셔티브 및 전사적 자원 관리와 같은 비즈니스 관행의 보완적 변화를 명확하게 보고해야 한다.
Such uniformity in the conduct and analysis of studies will isolate and identify the effectiveness of complementary changes that lead to IT payoffs (Barua and Mukhopadhyay 2000).
이러한 연구 수행 및 분석의 일관성은 IT 수익성으로 이어지는 보완적 변화의 효과를 분리하고 식별할 것이다(Barua와 Mukhopadhyay 2000).
Such transparent discussion will also enable replication and theory development.
이러한 투명한 논의는 또한 반복 및 이론 개발을 가능하게 할 것이다.
