Đo lường công bố khoa học: Bối cảnh thế giới và liên hệ với Việt Nam

ĐO LƯỜNG CÔNG BỐ KHOA HỌC: 
BỐI CẢNH THẾ GIỚI VÀ LIÊN HỆ VỚI VIỆT NAM1
Hà Quang Thụy2* - Võ Đình Hiếu** - Phan Xuân Hiếu*** 
- Nguyễn Trí Thành**** - Nguyễn Hữu Đức*****
Tóm tắt: Đo lường công bố khoa học của cá nhân nhà khoa học, 
tổ chức khoa học là một chủ đề hấp dẫn theo các khía cạnh khoa 
học, kinh tế và quản lý. Tuy nhiên, đo lường công bố khoa học 
cũng gặp không ít thách thức, vì vậy, việc tìm hiểu một cách toàn 
diện về đo lường công bố khoa học là một công việc cần thiết. 
Bài viết này cung cấp một khảo sát bước đầu song đủ khái quát 
về đo lường công bố khoa học, một số thách thức chính và xu 
hướng hoạt động này trong thời đại số. Đồng thời trình bày một 
số trao đổi về hoạt động đo lường công bố khoa học tại Việt Nam.
Từ khóa: Trắc lượng thư mục; Công bố khoa học; Đo lường khoa học
1. GIỚI THIỆU
Bài báo khoa học và sáng chế là hai trong số các đầu ra cốt lõi về 
nghiên cứu-phát triển (NC-PT) trong đo lường trình độ của một nền 
kinh tế tri thức [Chen06]. Chiến lược phát triển kinh tế tri thức tập 
trung vào ba đầu vào chủ chốt là đầu tư cho giáo dục đại học, cho NC 
1 Lời cám ơn: Bài viết nhận được một phần tài trợ từ Đề tài cấp Nhà nước mã số 
KHGD/16-20.ĐT.007.
* Phó Giáo sư, Tiến sĩ, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội. 
** Tiến sĩ, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội. 
*** Phó Giáo sư, Tiến sĩ, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội. 
**** Phó Giáo sư, Tiến sĩ, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội. 
***** Giáo sư, Tiến sĩ, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội.
133
ĐO LƯỜNG CÔNG BỐ KHOA HỌC: BỐI CẢNH THẾ GIỚI VÀ LIÊN HỆ VỚI VIỆT NAM 
- PT và cho phần mềm máy tính. Như vậy, cả hai phương diện đầu vào 
và đầu ra của một nền kinh tế tri thức đều liên quan mật thiết tới hiệu 
năng hoạt động của các nhà khoa học, các tổ chức khoa học-công nghệ 
và chính sách khoa học - công nghệ của đất nước, trong đó, công bố 
khoa học là một loại hình hoạt động quan trọng của các cá nhân - tổ 
chức khoa học - công nghệ, công bố khoa học như “bánh mì và bơ” đối 
với nhà khoa học, tạo “một cảm giác được tận hưởng thú vị” đối với 
một chuyên gia công nghiệp [Recker13].
Theo P. U. K. De Silva và C. K. Vance [Silva17], truyền thống khoa 
học (dạng sơ khai của công bố khoa học) được hình thành vào cuối 
thế kỷ thứ XVII. Vai trò quan trọng của khoa học - công nghệ thúc đẩy 
sự hình thành các tạp chí khoa học nhằm công bố các kết quả nghiên 
cứu của cộng đồng khoa học - công nghệ để tri thức được phổ biến 
và ứng dụng sâu rộng phục vụ sự phát triển của xã hội. Tiếp đó, các 
hệ thống lưu trữ, phân tích công bố khoa học xuất hiện và đo lường 
công bố khoa học như một hoạt động cơ bản của các hệ thống như 
vậy. Đầu tiên, Web of Science (nay là Clarivate Analytics1) xuất bản báo 
cáo chỉ số trích dẫn khoa học từ năm 1964, tiếp đến là Scopus2 (năm 
2004), Google Scholar3 (năm 2004), Microsoft Academic4 (năm 2012/
năm 2016), Dimensions5 (năm 2018) và COCI - OpenCitations Index of 
CrossRef open DOI-to-DOI citations6 (năm 2018) và một số hệ thống 
khác [Martín20]. Chỉ số trích dẫn (citation) của một bài báo từ các bài 
báo được lưu trữ trong cùng hệ thống là yếu tố cốt lõi nguyên thủy 
trong các hệ thống đo lường công bố khoa học. Từ chỉ số trích dẫn, các 
hệ thống đưa ra các mô hình đo lường ảnh hưởng của một bài báo, 
một tạp chí mà các mô hình này là có thể khác nhau giữa các hệ thống 
khác nhau. 
1 https://clarivate.com/.
2 https://www.elsevier.com/solutions/scopus.
3 https://scholar.Google.com/.
4 https://academic.microsoft.com/home.
5 https://www.digital-science.com/products/dimensions/.
6 https://opencitations.net/index/coci.
134
PHÁT TRIỂN MÔ HÌNH TRUNG TÂM TRI THỨC SỐ CHO CÁC THƯ VIỆN VIỆT NAM
Trích dẫn của tác giả bài báo là một dạng hành vi con người vì vậy 
bản thân việc trích dẫn đã chứa đựng các đặc điểm phức tạp. Hơn nữa, 
mỗi một hệ thống đo lường trên đây sử dụng các mô hình đo lường 
khác nhau trên các cơ sở dữ liệu bài báo và tạp chí khoa học khác nhau. 
Vì vậy, đo lường công bố khoa học (một chỉ số quan trọng đánh giá 
hiệu năng làm việc) của cá nhân và tổ chức khoa học – công nghệ là 
một công việc đầy thách thức không chỉ đối với các cơ quan quản lý 
khoa học công nghệ, các nhà tài trợ mà còn đối với chính các cá nhân 
và tổ chức nhà khoa học. Trong nhiều trường hợp, một phương án 
thường được lựa chọn là đơn giản hóa vấn đề bằng cách loại bỏ các 
thách thức vốn có, và kết quá là, nảy sinh nhiều tình huống không 
công bằng. Cung cấp một nội dung toàn diện về đo lường công bố 
khoa học là một việc làm cần thiết, có vai trò góp phần vào việc hình 
thành một phương án đánh giá công bố khoa học phù hợp hơn.
Bài báo này cung cấp một khảo sát bước đầu về đo lường công 
bố khoa học và được bắt đầu bằng việc giới thiệu sơ bộ về tiến hóa đo 
lường khoa học và các độ đo lường ảnh hưởng khoa học của cá nhân 
nhà khoa học và tạp chí khoa học. Ba khuyến nghị giải pháp đối v ... 39
ĐO LƯỜNG CÔNG BỐ KHOA HỌC: BỐI CẢNH THẾ GIỚI VÀ LIÊN HỆ VỚI VIỆT NAM 
đánh giá của các nhà khoa học và các dự án nghiên cứu. Một kết luận 
chung là sự thừa nhận sự cần thiết phải sử dụng nhiều chỉ số cũng như 
tầm quan trọng của việc đánh giá đồng nghiệp trong việc đánh giá chất 
lượng nghiên cứu, kết quả là khuyến nghị chỉ nên sử dụng các chỉ số 
về hiệu suất bibliometric như là một nhóm tập thể (chứ không phải cá 
nhân), và kết hợp với việc đánh giá đồng nghiệp theo một bộ quy tắc 
ứng xử được nêu rõ. 
IEEE, với vai trò hàng đầu là hiệp hội chuyên nghiệp lớn nhất thế 
giới trong việc thúc đẩy đổi mới công nghệ, tán thành các nguyên lý 
sau đây để tiến hành đánh giá thích hợp với các lĩnh vực Kỹ thuật, Khoa 
học Máy tính và Công nghệ Thông tin:
•	 Việc sử dụng nhiều chỉ số bibliometric bổ sung về cơ bản là 
quan trọng để đưa ra một cái nhìn thích hợp, toàn diện và cân bằng 
của mỗi tạp chí trong không gian các ấn bản học thuật. IEEE gần đây đã 
thông qua Eigenfactor và ảnh hưởng bài báo (Article Influence) ngoài 
IF cho đánh giá nội bộ và cạnh tranh đối với các tạp chí của nó và hoan 
nghênh việc áp dụng các độ đo bổ sung phù hợp khác ở mức bài báo, 
trong khuôn khổ của cái gọi là altmetrics, một khi chúng đã được hợp 
lệ và công nhận bởi cộng đồng khoa học.
•	 Số liệu dựa trên tạp chí không được thiết kế để đánh giá chất 
lượng của các bài báo cá nhân và do đó không được sử dụng làm chất 
lượng cho một bài báo hoặc để đánh giá cá nhân nhà khoa họ. Tất cả 
các chỉ số bibliometric của tạp chí đều thu được bằng cách tính trung 
bình nhiều bài báo, và không thể giả định rằng mọi bài báo xuất bản 
trong một tạp chí có ảnh hưởng cao, được xác định bởi bất kỳ số liệu 
báo chí nào, sẽ được trích dẫn rất cao.
•	 Trong khi các tài liệu thư mục có thể được sử dụng làm nguồn 
cung cấp thông tin bổ sung cho việc đánh giá chất lượng trong một 
phạm vi nghiên cứu cụ thể, cách đánh giá chính về chất lượng khoa 
học của một dự án nghiên cứu hoặc của một nhà khoa học cá nhân 
nên được xem xét trực tiếp, nội dung khoa học là khía cạnh quan trọng 
nhất, cũng như kỳ vọng xuất bản trong khu vực, quy mô và thực tiễn 
của cộng đồng nghiên cứu.
140
PHÁT TRIỂN MÔ HÌNH TRUNG TÂM TRI THỨC SỐ CHO CÁC THƯ VIỆN VIỆT NAM
3.3. Tuyên ngôn Leiden về đo lường nghiên cứu năm 2015
Tuyên ngôn Leiden [Hicks15] đưa ra mười nguyên tắc trong đo 
lường khoa học như sau:
•	 Đánh giá định lượng cần hỗ trợ đánh giá chất lượng, chuyên môn.
•	 Đo lường hiệu năng phù hợp với sứ mạng nghiên cứu của tổ 
chức, nhóm hoặc nhà nghiên cứu. 
•	 Bảo vệ tính xuất sắc trong nghiên cứu liên quan đến địa phương. 
•	 Đảm bảo quy trình thu thập và phân tích dữ liệu là mở, minh 
bạch và đơn giản. 
•	 Cho phép đối tượng được đánh giá xác minh dữ liệu và phân tích. 
•	 Dành tài khoản biến thể theo lĩnh vực trong thực tiễn xuất bản 
và trích dẫn. 
•	 Đánh giá cơ bản cá nhân nhà nghiên cứu theo phán quyết chất 
lượng hồ sơ của họ.
•	 Tránh sử dụng nhầm chỗ tính cụ thể và sai sót độ chính xác. 
•	 Nhận diện ảnh hưởng hệ thống của đánh giá và các chỉ số. 
•	 Thường xuyên kiểm tra các chỉ số và cập nhật chúng.
3.4. Một số luận điểm liên quan đến Tuyên bố DORA
Cộng đồng các nhà nghiên cứu và các tổ chức ủng hộ Tuyên bố 
DORA ngày càng đông đảo [Larivière19, Waltman20], thậm chí có nhà 
khoa học còn nhận định rằng việc sử dụng chỉ số IF để đánh giá hiệu 
năng nghiên cứu cho một bài báo hoặc cho một cá nhân nhà khoa học 
như một tội trọng.
Đồng thời, cũng có ý kiến cho rằng việc sử dụng chỉ số ảnh hưởng 
của tạp chí IF để đánh giá một bài báo không hẳn đã sai. Tuy không thể 
hiện một quan điểm ủng hộ hay chống lại việc sử dụng IF để đánh giá 
một bài báo nhưng L. Waltman và V.A. Traag [Waltman20] chỉ ra rằng 
các lập luận thống kê như lập luận về độ lệch của phân bố trích dẫn, 
lập luận ngụy biện sinh thái (the ecological fallacy argument) và các lập 
141
ĐO LƯỜNG CÔNG BỐ KHOA HỌC: BỐI CẢNH THẾ GIỚI VÀ LIÊN HỆ VỚI VIỆT NAM 
luận thống kê khác được sử dụng để bác bỏ vai trò của IF vào đánh giá 
một bài báo là không thuyết phục về mặt thống kê. 
Trong mọi trường hợp, việc đánh giá công bố khoa học là một công 
việc hết sức khó khăn cả về việc đưa ra các độ đo đánh giá lẫn phương 
pháp đo lường các độ đo đánh giá đó [Bai20, Bai20a, Bai20b, Cabanac20, 
Thelwall17, Thelwall20]. Cần tích hợp các chỉ dấu về các độ đo đơn 
chiều/đa chiều, cấu trúc/phi cấu trúc một cách phù hợp nhất có thể được 
vào đo lường ảnh hưởng của bài báo như thể hiện ở Hình 2 [Bai20].
4. LIÊN HỆ VỚI VIỆT NAM
4.1. Thảo luận của một số nhà nghiên cứu người Việt về Tuyên bố DORA
Tuyên bố DORA thu hút sự quan tâm của một số nhà nghiên cứu 
người Việt, trong đó đáng kể nhất là các bàn luận của các tác giả Ngô 
Đức Thế, Vũ Cao Đàm và một số tác giả người Việt khác.
Nguyễn Đức Thế [The13] là nhà nghiên cứu người Việt có bài trao 
đổi đầu tiên về Tuyên bố DORA. Sau khi nêu lên ý nghĩa của việc sử 
dụng chỉ số ảnh hưởng của tạp chí trong đo lường công bố khoa học, 
tác giả giải thích thêm về hạn chế của việc làm đó, trong đó có hậu quả 
về các “tật xấu”, “mánh khóe” từ một bộ phận các nhà khoa học, cũng 
như sự khác biệt về chỉ số ảnh hưởng của các tạp chí trong các lĩnh vực 
nghiên cứu khác nhau. Tác giả nêu lên một vài hiện tượng lạm dụng 
chỉ số ảnh hưởng tạp chí trong hoạt động công bố khoa học tại Việt 
Nam. Dựa trên phân tích của một tác giả khác, Nguyễn Đức Thế chỉ 
ra mặt hạn chế trong việc thực hiện chính sách khuyến khích công bố 
trên các tạp chí ISI có chỉ số ảnh hưởng cao của Quỹ NAFOSTED. Nội 
dung bài viết cho thấy câu hỏi được tác giả chọn làm tiêu đề bài viết 
vẫn còn là một câu hỏi mở.
Chúng tôi có một vài trao đổi về bàn luận của tác giả đối với các 
hạn chế từ chính sách khuyến khích công bố trên các tạp chí ISI có chỉ 
số ảnh hưởng cao của Quỹ NAFOSTED. Trước hết cần đồng thuận một 
quan điểm là “Mọi mô hình đều sai và chỉ có một vài mô hình dùng 
được” [Box76]. Chúng tôi cho rằng chính sách khuyến khích công bố 
142
PHÁT TRIỂN MÔ HÌNH TRUNG TÂM TRI THỨC SỐ CHO CÁC THƯ VIỆN VIỆT NAM
của Quỹ NAFOSTED là một “mô hình dùng được”. Trong thời gian dài, 
chính sách của Quỹ NAFOSTED tạo một động lực đáng kể tới cộng 
đồng khoa học Việt Nam giúp tăng cường hoạt động công bố khoa 
học trên các tạp chí khoa học quốc tế có uy tín. Đây là mục tiêu có tính 
giai đoạn phù hợp với khung thời gian của Quỹ NAFOSTED. Thứ hai, 
không nên gắn một hiện tượng đạo văn trong nghiên cứu Vật lý với 
chính sách nói trên của Quỹ NAFOSTED vì hiện tượng nói trên không 
liên quan gì tới chính sách của NAFOSTED. Theo ý kiến chúng tôi, 
một số bàn luận của tác giả (thừa kế phân tích của tác giả Nguyễn Văn 
Tuấn) về hiện tượng số bài báo trong nước không do Quỹ NAFOSTED 
tài trợ có chỉ số trích dẫn cao hơn khoảng ba lần so với những bài do 
Quỹ NAFOSTED tài trợ, Quỹ NAFOSTED nên tiến hành việc khảo 
sát về tập các lĩnh vực nghiên cứu của các bài báo công bố từ Quỹ 
NAFOSTED và các bài báo công bố không từ Quỹ NAFOSTED, bởi vì, 
tỷ lệ chỉ dẫn trong các lĩnh vực nghiên cứu khác nhau là khác nhau và 
trong nhiều trường hợp lại có sự khác biệt rất lớn giữa một số lĩnh vực. 
Nói riêng, tỷ lệ trích dẫn trong lĩnh vực CNTT hầu như là rất nhỏ và có 
sự khác biệt không nhỏ về tỷ lệ trích dẫn đối với các ngành khác nhau 
trong cùng lĩnh vực này [Fernandes17]. 
Vũ Cao Đàm [Dam14] cũng có một bài bàn luận nhân bài viết 
của Nguyễn Đức Thế. Tác giả đề cập tới một thói quen “cứ nói đến 
đánh giá nghiên cứu khoa học là nói đến chỉ số IF của ISI” trong một bộ 
phận các nhà khoa học Việt Nam và tâm lý của một bộ phận không 
nhỏ các nhà khoa học Việt Nam khác sợ trao đổi lại về thói quen nói 
trên. Tác giả bày tỏ sự đồng tình với Tuyên bố DORA và bài viết của 
Nguyễn Đức Thế, và hơn nữa, tác giả cũng thể hiện ý định cùng 
đồng nghiệp ký tên vào Tuyên bố DORA. Cuốn sách Đánh giá nghiên 
cứu khoa học (phiên bản năm 2012) của tác giả cũng được giới thiệu. 
Theo tác giả, đánh giá nghiên cứu khoa học cần được xem xét theo 
ba chiều được gọi là “Kết quả nghiên cứu”, “Hiệu quả trong của 
nghiên cứu”, “Hiệu quả ngoài của nghiên cứu”. Tác giả xếp chỉ số 
IF là hai thành phần đầu tiên (hiệu quả thông tin và hiệu quả khoa 
học) trong chiều “Hiệu quả ngoài của nghiên cứu”. Tác giả cũng 
143
ĐO LƯỜNG CÔNG BỐ KHOA HỌC: BỐI CẢNH THẾ GIỚI VÀ LIÊN HỆ VỚI VIỆT NAM 
dẫn ra một gợi ý là hai chiều hiệu quả trong và hiệu quả ngoài của 
nghiên cứu không có quan hệ tuyến tính.
4.2. Một số khuyến nghị
Ở nước ta, hoạt động điển hình nhất về đo lường công bố khoa học 
của cá nhân nhà khoa học là đo lường công bố khoa học của các ứng 
viên chức danh giáo sư, phó giáo sư; trong một vài năm, các tiêu chí - tiêu 
chuẩn của chức danh giáo sư, phó giáo sư đã thu hút được sự quan tâm 
rất rộng rãi trong và ngoài cộng đồng nhà khoa học. Hoạt động điển hình 
thứ hai là đo lường công bố khoa học của các cơ sở khoa học - công nghệ 
hoặc xếp hạng các cơ sở khoa học - công nghệ được trao đổi khá rộng rãi 
trên một vài báo điện tử. Chúng tôi có một số trao đổi sau đây :
•	 Tăng cường nhận thức về tầm quan trọng của đo lường khoa 
học - công nghệ (đo lường công bố quốc tế nói riêng) trong vai trò là 
một biện pháp nâng cao hiệu năng khoa học - công nghệ, góp phần 
phát triển kinh tế tri thức Việt Nam. Phổ biến rộng rãi tinh thần và nội 
dung các khuyến nghị về đo lường khoa học- công nghệ của các cộng 
đồng, tổ chức khoa học- công nghệ quốc tế (Tuyên bố DORA, từ Ủy 
ban IEEE và từ Tuyên ngôn Leiden, v.v.). 
•	 Coi trọng việc phát triển đội ngũ chuyên nghiệp về đo lường khoa 
học - công nghệ đóng vai trò nòng cốt trong việc đẩy mạnh công bố khoa 
học quốc tế uy tín về đo lường khoa học - công nghệ Việt Nam, hình thành 
các chuyên gia đo lường khoa học - công nghệ tầm vóc quốc tế. Trong thời 
đại số ngày nay, phân tích nhân viên (people analytics) ngày càng có tầm 
quan trọng đặc biệt [Ledet20], các nghiên cứu về con người nhà khoa học 
Việt Nam (bao gồm đo lường hiệu năng khoa học của cá nhân nhà khoa 
học) nên là một chủ đề nghiên cứu cần quan tâm [Zheng19].
•	 Nâng cao năng lực đo lường khoa học - công nghệ cho các nhà 
quản lý khoa học-công nghệ, các nhà khoa học tham gia các hội đồng đo 
lường - đánh giá khoa học - công nghệ (bao gồm các nhà khoa học thành 
viên hội đồng chức danh giáo sư các cấp) và các tổ chức xây dựng các hệ 
thống đo lường, đánh giá khoa học - công nghệ. Xem xét việc hình thành 
một tiêu chuẩn phù hợp về đo lường khoa học - công nghệ đối với cá 
nhân các nhà khoa học và các tổ chức khoa học công nghệ tại Việt Nam.
144
PHÁT TRIỂN MÔ HÌNH TRUNG TÂM TRI THỨC SỐ CHO CÁC THƯ VIỆN VIỆT NAM
TÀI LIỆU THAM KHẢO
1. [Dam14] Vũ Cao Đàm (2017). Bình luận nhân bài viết của Ngô Đức Thế 
“Tuyên bố DORA có làm thay đổi cách đánh giá khoa học?” 
snn.gov.vn/index.php/tin-tuc/thong-tin-khoa-h-c/709-tuya-n-ba-dora-
ca-la-m-thay-a-i-ca-ch-a-nh-gia-khoa-ha-ca. Truy cập ngày 20/5/2017.
2. [The13] Ngô Đức Thế (2018). Tuyên bố DORA có làm thay đổi cách đánh giá 
khoa học? Tạp chí Khoa học Công nghệ Việt Nam, 12(2013): 31-34. http://
www.vjol.info/index.php/khcn/article/view/27141/23144.
3. [Bai20] Xiaomei Bai, Hui Liu, Fuli Zhang, Zhaolong Ning, Xiangjie Kong, 
Ivan Lee, Feng Xia (2020), An Overview on Evaluating and Predicting 
Scholarly Article Impact. CoRR abs/2008.03867.
4. [Bai20a] Xiaomei Bai, Fuli Zhang, Jin Ni, Lei Shi, Ivan Lee (2020), Measure 
the Impact of Institution and Paper via Institution-Citation Network. IEEE 
Access 8: 17548-17555, 2020.
5. [Bai20b] Xiaomei Bai, Ivan Lee, Zhaolong Ning, Amr Tolba, Feng Xia 
(2020), The Role of Positive and Negative Citations in Scientific Evaluation. 
CoRR abs/2008.03844. 
6. [Box76] George E. P. Box (1976), Science and Statistics. Journal of the Amer-
ican Statistical Association, 71(356): 791-799.
7. [Cabanac20] Guillaume Cabanac, Ingo Frommholz, Philipp Mayr (2020), 
Bibliometric-Enhanced Information Retrieval 10th Anniversary Workshop Edi-
tion. ECIR (2): 641-647.
8. [Chen06] Derek H. C. Chen, and Carl J. Dahlman (2006), The Knowledge 
Economy, The KAM Methodology And World Bank Operations. World Bank 
Institute, Stock No. 37256, 42 pages, 2006.
9. [Egghe10] Leo Egghe (2010), The Hirsch index and related impact measures. 
ARIST 44(1) 65-114.
10. [Erdt16] Mojisola Erdt, Aarthy Nagarajan, Sei-Ching Joanna Sin, Yin-
Leng Theng (2016), Altmetrics: an analysis of the state-of-the-art in measuring 
research impact on social media. Scientometrics 109(2): 1117-1166.
11. [Fernandes17] Joao M. Fernandes (2017), Miguel Pessoa Monteiro. Evolu-
tion in the number of authors of computer science publications. Scientometrics 
110(2) 529-539.
12. [Hicks15] D. Hicks, P. Wouters, L. Waltman, S. De Rijcke, & I. Rafols (2015), 
The Leiden Manifesto for research metrics. Nature, 520: 429-431, 
nature.com/news/bibliometrics-the-leiden-manifesto-for-research-met-
rics-1.17351. 
145
ĐO LƯỜNG CÔNG BỐ KHOA HỌC: BỐI CẢNH THẾ GIỚI VÀ LIÊN HỆ VỚI VIỆT NAM 
13. [Hirsch05] J. E. Hirsch, An index to quantify an individual’s scientific research 
output. Proceedings of the National Academy of Sciences of the United 
States of America, 102(46), 16569–16572.
14. [Holmberg16] Kim Johan Holmberg (2016), Altmetrics for information 
professionals: past, present and future. Chandos Publishing.
15. [Laney18] Douglas B. Laney(2018), Infonomics: How to Monetize, Manage, 
and Measure Information as an Asset for Competitive Advantage. Routledge.
16. [Larivière19] Vincent Larivière, Cassidy R. Sugimoto (2019), The Journal 
Impact Factor: A Brief History, Critique, and Discussion of Adverse Effects. In 
(Wolfgang Glänzel, Henk F. Moed, Ulrich Schmoch, Mike Thelwall. Springer 
Handbook of Science and Technology Indicators. Springer, pp. 3-24.
17. [Ledet20] Elizabeth Ledet, Keith McNulty, Daniel Morales, and Marissa 
Shandell (2020), How to be great at people analytics. McKinsey & Company 
Article, October 02.
18. [Recker13] Jan Recker (2013). Scientific Research in Information Systems A 
Beginner’s Guide (Progress in IS). Springer.
19. [Silva17] Pali U. K. De Silva, Candace K. Vance (2017), Scientific Scholarly 
Communication: The Changing Landscape. Springer.
20. [Thelwall17] Mike Thelwall (2017), Three practical field normalised alternative 
indicator formulae for research evaluation. J. Informetrics 11(1): 128-151.
21. [Thelwall20] Mike Thelwall. Why we Need Another Ten Years of Bibliometric-
enhanced Information Retrieval. BIR@ECIR 2020: 114-115.
22. [Waltman20] Ludo Waltman, Vincent A. Traag (2020), Use of the journal 
impact factor for assessing individual articles need not be statistically wrong. 
F1000Research 2020, 9:366 Last updated: 05 JUN.
23. [Zheng19] Wenzhi Zheng, Yenchun Jim Wu, Yue Lv (2019), More descriptive 
norms, fewer diversions Boosting Chinese researcher performance through social 
media. Library Hi Tech, Vol. 37, No. 1, pp. 72-87.