軟件的評(píng)估理論是進(jìn)行評(píng)估的理論依據(jù),評(píng)估方法是評(píng)估理論的實(shí)際應(yīng)用和處理測(cè)試數(shù)據(jù)的方法。對(duì)于評(píng)估指標(biāo)體系中的不同指標(biāo),應(yīng)該根據(jù)測(cè)試數(shù)據(jù)的不同,選取相應(yīng)的評(píng)估理論和方法。軟件評(píng)估(Software assessment)的實(shí)質(zhì)是對(duì)軟件質(zhì)量的度量與評(píng)價(jià)。
我們對(duì)軟件質(zhì)量評(píng)估的定義是:“為了確定一特定的軟件模塊、軟件包或軟件產(chǎn)品是否驗(yàn)收合格或發(fā)布而把特定的評(píng)估準(zhǔn)則應(yīng)用到該軟件模塊、軟件包或軟件產(chǎn)品上去的活動(dòng)”。
可見,軟件評(píng)估的對(duì)象是“軟件模塊、軟件包或軟件產(chǎn)品”,軟件評(píng)估的目的是“確定被評(píng)對(duì)象是否驗(yàn)收合格或發(fā)布”。定義中提到的評(píng)估準(zhǔn)則是“根據(jù)特定的軟件產(chǎn)品和質(zhì)量需求,確定產(chǎn)品是否通過驗(yàn)收或發(fā)布的一組成文的規(guī)則和條件的集合”。從廣泛意義上講,評(píng)估準(zhǔn)則已經(jīng)包括了評(píng)估方法和指標(biāo)體系,即如何處理獲得的測(cè)試數(shù)據(jù)與如何應(yīng)用評(píng)估準(zhǔn)則到被評(píng)估軟件上。
軟件可靠性評(píng)估(Software reliability assessment)的完整含義是:根據(jù)軟件系統(tǒng)可靠性結(jié)構(gòu)(單元與系統(tǒng)間可靠性關(guān)系)、壽命類型和各單元的可靠性試驗(yàn)信息,利用概率統(tǒng)計(jì)方法,評(píng)估出系統(tǒng)的可靠性特征量。
目前,軟件可靠性工程是一門雖然得到普遍承認(rèn),但還處于不成熟的正在發(fā)展確立階段的新興工程學(xué)科。國外從60年代后期開始加強(qiáng)軟件可靠性的研究工作,經(jīng)過20年左右的研究推出了各種可靠性模型和預(yù)測(cè)方法,于1990年前后形成較為系統(tǒng)的軟件可靠性工程體系。同時(shí),從80年代中期開始,西方各主要工業(yè)強(qiáng)國均確立了專門的研究計(jì)劃和課題,如英國的AIVEY(軟件可靠性和度量標(biāo)準(zhǔn))計(jì)劃、歐洲的ESPRIT(歐洲信息技術(shù)研究與發(fā)展戰(zhàn)略)計(jì)劃、SPMMS(軟件生產(chǎn)和維護(hù)管理保障)課題、Eureka(尤里卡)計(jì)劃等。每年,都有大量人力物力投入軟件可靠性研究項(xiàng)目,并取得一定成果。
國內(nèi)對(duì)于軟件可靠性的研究工作起步較晚,在軟件可靠性量化理論、度量標(biāo)準(zhǔn)(指標(biāo)體系)、建模技術(shù)、設(shè)計(jì)方法、測(cè)試技術(shù)等方面與國外差距較大。國內(nèi)多數(shù)軟件的生產(chǎn)方式還處于計(jì)算機(jī)時(shí)代的早期階段,缺點(diǎn)很明顯,主要表現(xiàn)在:1、透明度差;2、軟件交付系統(tǒng)聯(lián)調(diào)前只靠自檢,質(zhì)量得不到保證;3、用戶對(duì)交付的軟件可靠性缺乏信心。多數(shù)所謂的“軟件測(cè)試”僅僅對(duì)幾個(gè)預(yù)先指定的用例進(jìn)行一下表演就算通過。目前還沒有像硬件那樣完善的檢驗(yàn)體系,交付軟件的質(zhì)量不高。典型統(tǒng)計(jì)表明,“開發(fā)階段平均每千行代碼有50-60個(gè)缺陷,交付后平均每千行代碼有15-18個(gè)缺陷”,有時(shí)會(huì)留下嚴(yán)重隱患。
目前,軟件可靠性管理方面還沒有建立起具有權(quán)威性的管理體系和規(guī)范。比如,如何描述軟件可靠性、如何測(cè)試、如何評(píng)估、如何設(shè)計(jì)、如何提高等。由于目前國內(nèi)外對(duì)于軟件可靠性模型的研究多集中在軟件的研制階段,而很少有涉及測(cè)試與評(píng)估階段的可靠性模型,所以從事軟件可靠性測(cè)試與評(píng)估研究是一個(gè)有理論價(jià)值和實(shí)際意義、并且存在一定難度的課題。
隨著計(jì)算機(jī)軟件編制的規(guī)范化,必然要將軟件可靠性考核納入科學(xué)、規(guī)范的軌道。具體表現(xiàn)在:1、在軟件系統(tǒng)研制任務(wù)中,制定軟件可靠性量化指標(biāo),使軟件考核有明確的標(biāo)準(zhǔn);2、建立完善的軟件測(cè)試、可靠性信息收集系統(tǒng),使在計(jì)算機(jī)軟件開發(fā)中通過科學(xué)的軟件測(cè)試不斷減少缺陷;3、通過研究軟件可靠性考核方法,制定相應(yīng)的軟件考核規(guī)程、標(biāo)準(zhǔn);4、開發(fā)軟件可靠性評(píng)估軟件,使軟件鑒定更加方便。