Đánh giá tác động của Chương trình Khoa học và Công nghệ: Kinh nghiệm một số nước trên thế giới và bài học cho Việt Nam

ThS. NGUYỄN THỊ HÀ - ThS. PHẠM QUỲNH ANH (Viện Đánh giá khoa học và Định giá công nghệ, Bộ Khoa học và Công nghệ)

TÓM TẮT:

Trong quá trình quản lý Chương trình Khoa học và Công nghệ, đánh giá thường được tiến hành 4 giai đoạn nhằm đo lường mức độ phù hợp, hiệu suất, hiệu quả, tác động và tính bền vững của chương trình. Các giai đoạn đánh giá gồm: đánh giá đầu kỳ, đánh giá giữa kỳ, đánh giá cuối kỳ và đánh giá tác động. Đánh giá tác động là khó nhất và tốn kém nhất. Đánh giá này được thực hiện sau một thời gian nhất định kể từ khi chương trình kết thúc. Đánh giá xác định liệu các kết quả mà chương trình hướng tới có tác động tới đời sống, sản xuất và có tiếp tục phát huy sau một thời gian kết thúc chương trình hay không. Đánh giá tập trung vào việc xem xét mức độ mà tác động của chương trình được tiếp tục mở rộng ra trong tương lai như thế nào. Trong khuôn khổ bài viết này, tác giả trình bày kinh nghiệm của một số nước trên thế giới về đánh giá tác động của Chương trình Khoa học và Công nghệ và bài học cho Việt Nam.

Từ khóa: Chương trình Khoa học và Công nghệ, đánh giá tác động chương trình.

1. Đặt vấn đề

Trong 4 giai đoạn của đánh giá Chương trình Khoa học và Công nghệ (Chương trình KH&CN) (đánh giá đầu kỳ, đánh giá giữa kỳ, đánh giá cuối kỳ và đánh giá tác động), đánh giá tác động là khó nhất và tốn kém nhất. Bởi vì, đánh giá tác động của chương trình thường diễn ra sau khi chương trình kết thúc được vài năm, cho nên việc thu thập dữ liệu, bằng chứng để đánh giá sẽ gặp nhiều khó khăn, đặc biệt là sự hợp tác của các đối tượng thụ hưởng của chương trình.

Theo Hiệp hội quốc tế về đánh giá tác động (IAIA) [1], đánh giá tác động được định nghĩa là quá trình xác định hậu quả thực tế hoặc trong tương lai của chương trình đã, đang hoặc dự kiến sẽ được thực hiện. “Tác động” là sự khác biệt giữa việc xảy ra những vấn đề nào đó nếu thực hiện hoạt động này hoặc không thực hiện hoạt động này.

Theo Ngân hàng Thế giới [2], đánh giá tác động là một loạt đánh giá cụ thể mà tìm cách trả lời câu hỏi nguyên nhân - kết quả: tác động (hoặc ảnh hưởng nhân quả) của một chương trình đến kết quả mong muốn là gì? Và để đánh giá chính xác mối quan hệ nhân quả này cần thiết lập “suy luận nhân quả và kịch bản đối chứng” (thuật ngữ tiếng Anh: Causual Inference and The Counterfactual). Điều này nhằm làm rõ: Điều gì sẽ diễn ra đối với những đối tượng thụ hưởng của chương trình nếu như không có chương trình.

Theo chuyên gia kinh tế của Thụy sĩ, Dina Pomeranz Deborah [3], đánh giá tác động là chứng minh tác động nhân quả, với mục tiêu là đo lường tác động của một chương trình hoặc chính sách về một số biến quan tâm. Tuy nhiên, khó khăn của việc đo lường tác động là chỉ có thể quan sát những gì đã xảy ra trong thực tế, không phải những gì sẽ xảy ra nếu như không có chương trình. Như vậy, để đánh giá được tác động của chương trình cần xác định được tình huống giả định nếu như không có chương trình, điều này được gọi là kịch bản đối chứng (The counterfactual). Hiểu được kịch bản đối chứng sẽ là chìa khóa để hiểu được tác động của chương trình. Xây dựng kịch bản đối chứng là tìm kiếm 2 nhóm: nhóm đối chứng (là đối tượng không tham vào chương trình) và nhóm thụ hưởng/nhóm được can thiệp (là đối tượng tham gia vào chương trình). Để đo lường tác động của chương trình, so sánh giữa nhóm thụ hưởng của chương trình với nhóm đối chứng.

Nhìn chung các nghiên cứu trên đều chỉ ra rằng, đánh giá tác động của chương trình là quá trình xác định mối quan hệ nhân quả sau khi có sự can thiệp của chương trình. Và để đánh giá chính xác mối quan hệ nhân quả này, cần thiết lập kịch bản đối chứng. Hiểu được kịch bản đối chứng sẽ là chìa khóa để hiểu được tác động của chương trình. Xây dựng kịch bản đối chứng là tìm kiếm 2 nhóm: nhóm đối chứng (là đối tượng không tham vào chương trình) và nhóm thụ hưởng/nhóm được can thiệp (là đối tượng tham gia vào chương trình). Để đo lường tác động của chương trình, thực hiện so sánh giữa nhóm thụ hưởng của chương trình với nhóm đối chứng. Điều này nhằm làm rõ: Điều gì sẽ diễn ra đối với những đối tượng thụ hưởng của chương trình nếu như không có sự can thiệp của chương trình.

2. Kinh nghiệm một số nước trên thế giới về đánh giá tác động của Chương trình KH&CN

Tại Hoa Kỳ, đã ban bố một loạt các bộ luật và các quy định pháp lý bắt buộc các cơ quan, trong đó, có các cơ quan về KH&CN thực hiện việc đánh giá. Nói cách khác, đánh giá ở Mỹ là một hoạt động bao trùm lên tất cả các hoạt động của chính phủ Mỹ. Nhằm đánh giá chương trình để có thông tin và cải tiến công tác lập kế hoạch, xây dựng mối liên kết giữa luật về thực hiện và kết quả của Chính phủ GPRA và quá trình phân bổ ngân sách một cách hệ thống, tháng 7/2002, Mỹ đã công bố triển khai bộ công cụ để đánh giá hiệu quả/tác động của các chương trình liên bang gọi là PART (Program Assessment Rating Tool). PART xem xét đánh giá tổng thể chương trình từ việc thiết kế đến thực hiện và kết quả đạt được. PART gồm 25 câu hỏi, được chia thành 4 nhóm và gán trọng số để tính điểm tổng thể: Mục tiêu và thiết kế chương trình (5 câu hỏi, trọng số 20%); Kế hoạch chiến lược (8 câu hỏi, trọng số 10%); Quản lý chương trình (7 câu hỏi, trọng số 20%); Kết quả chương trình (5 câu hỏi, trọng số 50%). Từ năm 2002 đến năm 2008, Văn phòng Quản lý và Ngân sách (là một cơ quan trong Nội các Hoa Kỳ, đây là cơ quan lớn nhất trong Văn phòng điều hành của Phủ Tổng thống Hoa Kỳ) đã sử dụng PART để đánh giá khoảng 1.000 chương trình liên bang và xếp loại các chương trình theo các mức: Hiệu quả (tổng 85-100 điểm), Tương đối hiệu quả (tổng 70-84 điểm), Đạt (tổng 50-69 điểm) và Không hiệu quả (tổng 0-49 điểm). Tuy nhiên, sau đó, Chính phủ đã thay thế công cụ này bằng việc sử dụng hiệu quả thông tin về hiệu suất hoạt động của chương trình để quản lý các chương trình. Trọng tâm mới này đã được nhấn mạnh chi tiết trong Điều 3 và Điều 4 của Đạo luật Hiện đại hóa GPRA năm 2010, thay thế cho Đạo luật Kết quả và Hiệu suất của Chính phủ năm 1993 [4], [5], [6], [7].

Tại Anh[8], [9], Chính phủ Anh được yêu cầu nâng cao hiệu quả và hiệu lực của chính phủ cấp trung ương và địa phương trong việc sử dụng các nguồn tài chính công bị hạn chế, đảm bảo rằng các đầu tư công được sử dụng cho các hoạt động đem lại lợi ích lớn nhất về kinh tế và xã hội. Theo đó, các bước lên kế hoạch đánh giá bao gồm: xác định mục tiêu và kết quả dự kiến của chương trình; Xác định khách hàng của chương trình; Xác định các mục tiêu và các vấn đề nghiên cứu của chương trình; Lựa chọn cách tiếp cận đánh giá; Xác định yêu cầu về dữ liệu; Xác định nguồn lực cần thiết; Tiến hành đánh giá và sử dụng kết quả đánh giá. Đánh giá tác động nhằm trả lời cho câu hỏi “chương trình đã tạo ra sự khác biệt nào?”.

Về phương pháp tiếp cận, đánh giá tác động trả lời cho câu hỏi Điều gì có thể đã xảy ra nếu không có chương trình? Thành công của các tiếp cận này phụ thuộc lớn vào khả năng thiết lập một đối chứng mà chúng ta có thể gọi là “các nhóm so sánh (hay nhóm kiểm soát)”. Vương quốc Anh sử dụng một số phương pháp để xác định nhóm đối chứng như thử nghiệm ngẫu nhiên, hồi quy gián đoạn,…

Để biết được chương trình đó có hiệu quả và đem lại lợi ích hay không, họ sử dụng đánh giá hiệu quả kinh tế, nhằm xem xét chi phí có nhiều hơn so với những lợi ích mà chương trình đem lại hay không. Các loại đánh giá hiệu quả kinh tế bao gồm Phân tích Chi phí - Hiệu quả (CEA) và Phân tích Chi phí - Lợi ích (CBA).

Ủy ban châu Âu (EU)[10] đưa ra tiêu chí, câu hỏi đánh giá tác động tiềm năng của chính sách/chương trình. Theo EU, để phân tích tác động cần phải xem xét các tác động tiềm năng về kinh tế, xã hội và môi trường, thương mại, bao gồm tác động mong muốn và không mong muốn của mỗi chính sách/chương trình lựa chọn. Những tác động kinh tế của một chương trình biểu hiện qua những thay đổi về giá cả và chi phí. Những thay đổi này ảnh hưởng đến hành vi của một số tác nhân kinh tế, do đó ảnh hưởng đến các doanh nghiệp, người tiêu dùng, các hộ gia đình và cơ quan công quyền. Khi xác định các tác động kinh tế, đặc biệt chú ý đến các yếu tố liên quan đến năng suất, khả năng cạnh tranh của EU. Năng lực cạnh tranh là một thước đo về tiềm năng của nền kinh tế để cung cấp cho dân số có mức sống cao và tỷ lệ việc làm cao một cách bền vững. Cụ thể, những tác động tiềm năng của chính sách/chương trình về kinh tế, xã hội và môi trường liên quan đến: số lượng và chất lượng việc làm, người tiêu dùng, các doanh nghiệp vừa và nhỏ, sự phát triển công nghệ và đổi mới, thương mại quốc tế và đầu tư qua biên giới; Chi phí đầu tư, chi phí hoạt động, sản phẩm, dịch vụ của doanh nghiệp, kinh tế vĩ mô, chính quyền công, sự phát triển quốc gia.

3. Đánh giá tác động Chương trình KH&CN: Bài học cho Việt Nam

Công tác đánh giá càng ngày càng được quan tâm và coi trọng ở Việt Nam. Lần đầu tiên, tại văn bản Luật KH&CN năm 2000, vấn đề tuyển chọn nhiệm vụ KH&CN và đánh giá, nghiệm thu kết quả thực hiện được đề cập trong Luật và đến năm 2013, khi Luật KH&CN được sửa đổi thì vấn đề này tiếp tục được đưa vào Luật tại mục 4 Điều 37. Bên cạnh đó, mỗi chương trình KH&CN khi vận hành đều có các văn bản hướng dẫn quản lý chương trình, đánh giá, nghiệm thu các nhiệm vụ thuộc chương trình. Do vậy, từ năm 2001 đến nay, các cơ quan quản lý KH&CN thuộc các Bộ, ngành, địa phương đã thực hiện các nội dung đổi mới trong việc xác định nhiệm vụ KH&CN các cấp, thành lập các hội đồng KH&CN để tư vấn, xác định những đề tài, dự án (nhiệm vụ) trong từng chương trình. Tuy nhiên, hoạt động đánh giá mới chỉ được tập trung vào khâu tuyển chọn đầu vào (xác định cụ thể từng nhiệm vụ và lựa chọn tổ chức, cá nhân chủ trì thực hiện các nhiệm vụ) và đánh giá nghiệm thu/kết thúc nhiệm vụ. Trong khi đó, đánh giá tác động hầu như chưa thực hiện.

Năm 2005, Bộ KH&CN thành lập Trung tâm Hỗ trợ đánh giá, đến năm 2009 đổi tên thành Viện Đánh giá khoa học và Định giá công nghệ giúp Bộ trưởng Bộ KH&CN thực hiện chức năng đánh giá khoa học và định giá công nghệ; nghiên cứu khoa học, cung cấp dịch vụ đào tạo, tư vấn về đánh giá khoa học, định giá công nghệ phục vụ quản lý nhà nước về khoa học và công nghệ. Kể từ khi được thành lập, Viện đã được giao nhiều nhiệm vụ nghiên cứu về phương pháp luận đánh giá Chương trình KH&CN. Từ đó, các chương trình KH&CN đã được thực hiện một cách bài bản, bắt đầu từ việc nghiên cứu phương pháp, tổ chức đánh giá thử, hoàn thiện phương pháp và thực hiện đánh giá thực tế [11], [12], [13].

Các tiêu chí đánh giá tác động của Chương trình KH&CN:

Các tiêu chí về đánh giá tác động (Impacts) thường đề cập tới những ảnh hưởng lâu dài hoặc những thay đổi do chương trình mang lại, thường là những thay đổi về mặt kinh tế, xã hội và môi trường. Cũng như các kết quả (trung hạn và ngắn hạn), các tác động có thể là dự kiến và không dự kiến, trực tiếp và gián tiếp, tích cực và tiêu cực. Bên cạnh đó, khi đánh giá tác động, cũng cần đánh giá tính bền vững (Sustainability) của chương trình. Việc này đề cập tới việc, các lợi ích mà chương trình mang lại (như đầu ra, kết quả và tác động) có tiếp tục được phát huy sau khi chương trình kết thúc hay không?

Đánh giá tác động của chương trình được tiến hành bằng cách so sánh mục đích thực hiện với các loại hình kết quả của chương trình. Kết quả được hiểu gồm đầu ra, ảnh hưởng tức thời (kết quả trung hạn và ngắn hạn) và tác động lâu dài. Dựa vào mục tiêu, kết quả và đối tượng thụ hưởng của chương trình để xây dựng tiêu chí đánh giá và chỉ số đo lường cho phù hợp. Các tiêu chí tập trung vào các loại tác động sau của chương trình:

+ Tác động về mặt KH&CN: đóng góp vào việc tạo ra tri thức mới, phổ biến tri thức. Các chỉ số như: số lần trích dẫn các bài báo, sách, báo cáo; số lần trích dẫn các sáng chế, giải pháp hữu ích, bản quyền; các trích dẫn của nghiên cứu trong các bài báo về chính sách của Chính phủ,…

+ Tác động về kinh tế: đóng góp vào tăng nguồn vốn kinh tế của quốc gia, khu vực, tỉnh/thành phố. Các chỉ số đo lường gồm: thu nhập (lợi nhuận) từ cấp phép công nghệ; số lượng doanh nghiệp mới thành lập; việc làm tại những doanh nghiệp tác ra từ các viện (spin-off); những hợp đồng nghiên cứu từ khu vực công nghiệp; các loại hàng hóa sản xuất ra và giá trị của hàng hóa sản ra dựa trên kết quả nghiên cứu; các loại hình và giá trị của các dịch vụ được tạo ra dựa trên kết quả nghiên cứu; mức độ tăng doanh thu sau khi ứng dụng kết quả của dự án; mức độ lợi nhuận thu được sau khi ứng dụng kết quả của dự án; việc triển khai các dịch vụ mới đã dẫn đến việc mở rộng thị trường là bao nhiêu %? Số lượng, giá trị hợp đồng thương mại đã ký kết (trong nước, xuất khẩu,…).

+ Tác động về xã hội: đóng góp vào vốn xã hội quốc gia. Các chỉ số đo lường gồm: điều kiện xã hội và địa vị của từng cá thể được nâng cao (cải thiện); điều kiện kinh tế và địa vị của từng cá thể được nâng cao (cải thiện); sự tham gia vào các hiệp hội để giải quyết các câu hỏi nghiên cứu; sự xuất hiện các loại hình/can thiệp/các giải pháp mới đối với những vấn đề xã hội; luật hoặc chính sách mới; chương trình, quy tắc hoặc tiêu chuẩn mới; sự tham gia vào những buổi họp ở các hội đồng thuộc các vùng, miền,…

+ Tác động về môi trường: đóng góp vào tăng nguồn vốn tự nhiên của quốc gia. Các chỉ số đo lường gồm: kế hoạch bảo tồn, bảo vệ và khôi phục các loài và hệ sinh thái về đa dạng sinh học; kế hoạch phát triển nguồn tài nguyên để phát triển bền vững; công cụ giám sát ô nhiễm và nguyên nhân gây ô nhiễm môi trường; phương pháp nhằm bảo vệ, giảm thiểu sự sinh ra hoặc các đe dọa liên quan tới ô nhiễm; xây dựng các tiêu chuẩn chống ô nhiễm;…

+ Tác động về văn hóa: đóng góp vào vốn văn hóa của quốc gia. Các chỉ số đo lường tác động gồm: tỷ lệ các trường đại học, các trường kỹ thuật và các trường dạy nghề tham gia vào nghiên cứu khoa học; trình độ nhận thức về khoa học và cộng đồng; phát triển các kỹ năng mới: sáng tạo, phê bình, phân tích và tổng hợp; khả năng xác định và giải quyết những vấn đề cụ thể tại nơi làm việc và ở nhà; tần suất sử dụng công nghệ mới tại nơi làm việc và ở nhà; mức độ và độ phủ thông tin khoa học mới trên các phương tiện thông tin;…

Khi tiến hành đánh giá tác động của Chương trình KH&CN, cần phải xác định và đo lường được tất cả các loại hình tác động khác nhau này.

Quy trình đánh giá tác động chương trình gồm các bước cụ thể như sau:

Bước 1: Thu thập thông tin ban đầu về chương trình phục vụ thiết kế khung đánh giá chương trình.

Nội dung chính: nhận diện được đối tượng thụ hưởng của chương trình và những tác động mà chương trình có thể mang lại cho các đối tượng thụ hưởng

Bước 2: Thiết kế đánh giá tác động của Chương trình KH&CN

Nội dung chính: xác định được nhóm đối chứng, lựa chọn được chuyên gia đánh giá và xây dựng được khung đánh giá, phương pháp, công cụ, tiêu chí, chỉ số đánh giá phù hợp.

Bước 3: Tiến hành điều tra và xây dựng hồ sơ đánh giá

Nội dung chính: Để các chuyên gia đánh giá chính xác được tác động của chương trình, cần thiết phải chuẩn bị đầy đủ dữ liệu, bằng chứng về các tác động của chương trình tới các nhóm đối tượng thụ hưởng của chương trình. Các dữ liệu càng đầy đủ, chi tiết, khách quan bao nhiêu thì kết quả đánh giá tác động chương trình càng tin cậy bấy nhiêu. Đây chính là giai đoạn xây dựng hồ sơ đánh giá, cung cấp thông tin, bằng chứng, các báo cáo phân tích điều tra, các tài liệu liên quan đến chương trình để các chuyên gia đánh giá.

Bước 4: Tổ chức đánh giá

Nội dung chính: họp chuyên gia để đánh giá và xây dựng dự thảo báo cáo đánh giá.

Bước 5: Kết luận và khuyến nghị

Nội dung chính: Hoàn thiện báo cáo đánh giá cuối cùng và đưa ra được các khuyến nghị về quản lý thực hiện chương trình trong thời gian tiếp theo để đạt được những kết quả, tác động tốt hơn nữa.

Phương pháp đánh giá tác động của Chương trình KH&CN:

Một số phương pháp đánh giá tác động của Chương trình KH&CN phổ biến hiện nay là: Phương pháp so sánh trước-sau (Pre-post), Phương pháp thử nghiệm ngẫu nhiên (randominzed evaluation), Phương pháp so sánh điểm xu hướng (Matching and Propensity Scores), Phương pháp khác biệt kép (Diffenences in Differences), Phương pháp hồi quy gián đoạn (Regression Discontinuity) và phương pháp khác biệt đơn giản (Simple difference). Mỗi phương pháp có những ưu điểm và hạn chế riêng. Tuy nhiên, phương pháp đơn giản và dễ áp dụng khi đánh giá tác động của Chương trình Khoa học và Công nghệ ở Việt Nam nên là phương pháp so sánh trước-sau.

Đánh giá trước-sau là một loại hình cụ thể của việc đánh giá sự khác biệt đơn giản. Thay vì sử dụng một nhóm kiểm soát thì sử dụng cùng một nhóm trước khi chương trình bắt đầu.

Vì vậy, đánh giá trước-sau đo lường sự thay đổi theo thời gian so với trạng thái ban đầu của nhóm. Trong trường hợp này, các tác động được đo lường bằng sự khác biệt giữa kết quả trước và sau khi có sự can thiệp của chương trình. Các phân tích trước-sau thường được sử dụng trong việc đánh giá chương trình. Trong trường hợp có dữ liệu về kết quả trước khi có sự can thiệp thì phân tích này càng thuận tiện.

 

TÀI LIỆU THAM KHẢO:

  1. Hiệp hội quốc tế về đánh giá tác động IAIA, Đánh giá tác động là gì?https://www.iaia.org/pdf/special-publications/What%20is%20IA_web.pdf
  2. Gertler, Paul J at al (2016), Impact Evaluation in Practice, second edition, World Bank.
  3. Dina Pomeranz (2011), Impact Evaluation Methods.
  4. Program Assessment Rating Tool Guidance No. 2007-02 (PART), Office of Management and Budget, January 29, 2007.
  5. John B. Gilmour (2007), Implementing OMB’s Program Assessment Rating Tool (PART): Meeting the Challenges of Integrating Budget and Performance, OECD JOURNAL ON BUDGETING - VOLUME 7 - No. 1 - ISSN 1608-7143.
  6. OMB's Program Assessment Rating Tool (PART), https://www.strategisys.com/omb_part
  7. GPRA MODERNIZATION ACT OF 2010, PUBLIC LAW 111-352-JAN. 4, 2011
  8. HM Treasury, The Green Book - Appraisal and Evaluation in Central Government, 2010.
  9. HM Treasury, The Magenta Book - Guidance for Evaluation, 2011.
  10. Phạm Quỳnh Anh (2016), Báo cáo tổng kết đề tài nghiên cứu cấp Bộ “Nghiên cứu xây dựng phương pháp luận đánh giá tác động chính sách KH&CN phù hợp với Việt Nam và áp dụng đánh giá tác động chính sách tài trợ cho nghiên cứu cơ bản của Quỹ Phát triển KH&CN quốc gia”, Viện Đánh giá khoa học và Định giá công nghệ.
  11. Nhiệm vụ KH&CN theo Nghị định thư “Xây dựng phương pháp, tiêu chí đánh giá chương trình, đề tài KH&CN tại Việt Nam” do Viện Ứng dụng phối hợp với Viện Lập kế hoạch và đánh giá KH&CN Hàn Quốc - KISTEP thực hiện từ năm 2004-2005.
  12. Tạ Doãn Trịnh (2009), Báo cáo tổng kết đề tài KH&CN hợp tác quốc tế theo Nghị định thư: “Nghiên cứu kinh nghiệm Trung Quốc trong công tác xây dựng hệ thống đánh giá KH&CN và đề xuất áp dụng cho Việt Nam”, Trung tâm Hỗ trợ đánh giá khoa học và công nghệ, năm 2009 đổi tên thành Viện Đánh giá khoa học và Định giá công nghệ.
  13. Nguyễn Thị Thu Oanh (2015), Báo cáo tổng kết đề tài nghiên cứu cấp Bộ: “Nghiên cứu hoàn thiện phương pháp luận đánh giá Chương trình Khoa học và Công nghệ thông qua việc đánh giá thí điểm một chương trình Khoa học và Công nghệ cấp Nhà nước”, Viện Đánh giá khoa học và Định giá công nghệ.

 

IMPACT EVALUATION OF SCIENCE AND TECHNOLOGY PROGRAMS: EXPERIENCE FROM SOME COUNTRIES IN THE WORLD AND LESSONS FOR VIETNAM

MSc. NGUYEN THI HA - MSc. PHAM QUYNH ANH

Vietnam Centre for Science and Technology Evaluation,

Ministry of Science and Technology

ABSTRACT:

In the process of the science and technology program management, the evaluation is usually implemented in four stages to measure the suitability, efficiency, effectiveness, impact and sustainability of the program. The evaluation stages include Early Evaluation, Mid-term Evaluation, Terminal Evaluation and Impact Evaluation. Impact evaluation is the hardest and the most expensive evaluation. This evaluation is done after the program ending for several years. It determines whether the results the program aims to have impact on life, production and whether it will continue to be promoted after a period of end of the program. It focuses on considering how the impact of the program is further extended in the future. This article is to present the experience of countries in the world on evaluating the impact of the science and technology program, thereby drawing the lesson for Vietnam.

Keywords: Science and Technology Program, program impact evaluation.