Python nhanh hơn 10-100 lần mà không cần thay đổi mã

Là người đã dành vô số giờ chờ đợi các tác vụ huấn luyện học máy (ML) hoàn thành, chứng kiến các phép toán NumPy xử lý chậm chạp trên các bộ dữ liệu hình ảnh y tế khổng lồ, và tối ưu hóa mã Python không thể chạy nhanh hơn một con rùa ngủ gật, tôi đã có nhiều khoảnh khắc cảm thấy “Python quá chậm”. Chúng ta đều đã trải qua điều này. Bạn viết mã Python đẹp, tinh tế, nhưng thực tế phũ phàng: tập lệnh của bạn mất 18 giây để tính toán một thứ lẽ ra phải tức thì.

Hãy xem xét Codon. Đây không phải là một “lựa chọn thay thế Python” khác buộc bạn phải học một ngôn ngữ lập trình mới. Đây vẫn là Python, nhưng được tái hình dung cho thời đại hiện đại. Hãy nghĩ về nó như người anh em họ khỏe mạnh của Python, người đã đi tập gym và trở nên vạm vỡ.

Nghịch lý Python mà tất cả chúng ta đang sống

Python có một đặc điểm: chúng ta yêu nó, ghét nó, và không thể sống thiếu nó. Đây là ngôn ngữ cung cấp sức mạnh cho hầu hết quá trình phát triển AI/ML, khoa học dữ liệu, và ngày càng mở rộng ra toàn bộ hệ sinh thái công nghệ. Cú pháp của nó rõ ràng, thư viện phong phú, và cộng đồng rất lớn.

Tuy nhiên, phải thành thật: Python chậm. Thật sự rất chậm.

Trong thời gian làm luận án tiến sĩ về AI y tế tại Đại học Copenhagen, tôi thường chạy các mô hình dự đoán sự sống còn. Tôi có thể đi pha cà phê (hoặc ba cốc) trong lúc chờ đợi các bước tiền xử lý hoàn tất. Nút thắt cổ chai chính là Python cũ kỹ.

Giải pháp thông thường là gì? Chuyển xuống C/C++ cho các phần quan trọng về hiệu suất, viết một số trình bao bọc Cython, hoặc cầu nguyện rằng các phép toán NumPy của bạn được vector hóa đủ tốt. Đó là sự thỏa hiệp mà tất cả chúng ta đã chấp nhận: bạn có được sự dễ sử dụng của Python, nhưng phải trả giá bằng hiệu suất.

Một cẩm nang mang tính chủ quan về các framework, thư viện, công cụ và tài nguyên Python tốt nhất: Awesome Python

Codon chính xác là gì?

Codon là một trình biên dịch Python hiệu suất cao. Nó dịch mã Python của bạn thành mã máy gốc. Không có chi phí thời gian chạy, không có trình thông dịch, và không có GIL (Global Interpreter Lock) làm nghẽn các giấc mơ đa luồng của bạn.

Các con số thực sự đáng kinh ngạc:

• Tăng tốc 10–100 lần so với Python thông thường (đôi khi còn hơn).
• Hiệu suất ngang bằng C/C++.
• Đa luồng gốc thực sự.
• Hỗ trợ lập trình GPU được tích hợp sẵn.
• Một triển khai NumPy gốc được biên dịch hoàn chỉnh.

Hãy xem điều này có ý nghĩa gì trong thực tế.

Kiểm tra thực tế với Fibonacci

Đây là một ví dụ đơn giản minh họa rõ ràng sự khác biệt về tốc độ. Hàm Fibonacci đệ quy cổ điển là “hello world” của các so sánh hiệu suất:

from time import time
def fib(n):
    return n if n < 2 else fib(n - 1) + fib(n - 2)
t0 = time()
ans = fib(40)
t1 = time()
print(f'Computed fib(40) = {ans} in {t1 - t0} seconds.')

Chạy mã này bằng Python thông thường:

Computed fib(40) = 102334155 in 17.98 seconds.

Chạy chính xác cùng một mã bằng Codon:

Computed fib(40) = 102334155 in 0.28 seconds.

Đây là mức tăng tốc 65 lần mà không cần thay đổi một dòng mã nào. Hãy suy ngẫm về điều này.

Phép thuật này hoạt động như thế nào?

Không giống như bản chất thông dịch của Python, Codon sử dụng biên dịch trước thời gian chạy (AOT). Nó phân tích toàn bộ chương trình của bạn. Nó thực hiện các tối ưu hóa mạnh mẽ. Sau đó, nó biên dịch mã thành mã máy gốc thông qua LLVM. LLVM là cùng một cơ sở hạ tầng trình biên dịch được sử dụng bởi các ngôn ngữ như Rust và Swift.

Phép thuật xảy ra qua nhiều giai đoạn:

• Suy luận kiểu tĩnh: Codon tự động xác định các kiểu dữ liệu. Bạn không cần chú thích kiểu, mặc dù chúng có ích.
• Tối ưu hóa cấp cao: Nó hiểu các mẫu cụ thể của Python và tối ưu hóa phù hợp.
• Backend LLVM: Chuyển đổi thành mã máy được tối ưu hóa cao.
• Không chi phí thời gian chạy: Không có trình thông dịch, không có bytecode, chỉ là thực thi gốc thuần túy.

Kết quả là: bạn viết Python, nhưng nó chạy như C++.

Cuộc cách mạng đa luồng

Bạn có nhớ tôi đã đề cập đến GIL không? Global Interpreter Lock của Python là nút thắt cổ chai khét tiếng. Nó ngăn cản việc thực thi song song thực sự. Bạn có thể tạo nhiều luồng, nhưng chúng sẽ thay phiên nhau thực thi, không thực sự chạy song song.

Codon không có GIL.

Hãy xem điều này — đếm số nguyên tố song song với đa luồng thực sự:

from sys import argv
def is_prime(n):
    factors = 0
    for i in range(2, n):
        if n % i == 0:
            factors += 1
    return factors == 0
limit = int(argv[1])
total = 0
@par(schedule='dynamic', chunk_size=100, num_threads=16)
for i in range(2, limit):
    if is_prime(i):
        total += 1
print(total)

Trình trang trí @par tự động song song hóa vòng lặp bằng OpenMP. Codon đủ thông minh để xử lý total += 1 như một phép rút gọn nguyên tử. Điều này tự động ngăn chặn các điều kiện tranh chấp.

Đối với những người làm việc với các bộ dữ liệu hình ảnh y tế quy mô lớn, đây là một yếu tố thay đổi cuộc chơi. Tiền xử lý hàng nghìn hình ảnh? Hãy song song hóa nó. Chạy mô phỏng Monte Carlo? Hãy song song hóa nó. Mã trông giống Python, nhưng chạy như một ứng dụng C++ đa luồng.

Lập trình GPU không khó khăn

Đây là điểm thực sự thú vị. Codon cho phép bạn viết các kernel GPU bằng cú pháp Python:

import gpu
MAX    = 1000
N      = 4096
pixels = [0 for _ in range(N * N)]
def scale(x, a, b):
    return a + (x/N)*(b - a)
@gpu.kernel
def mandelbrot(pixels):
    idx = (gpu.block.x * gpu.block.dim.x) + gpu.thread.x
    i, j = divmod(idx, N)
    c = complex(scale(j, -2.00, 0.47), scale(i, -1.12, 1.12))
    z = 0j
    iteration = 0
    while abs(z) <= 2 and iteration < MAX:
        z = z**2 + c
        iteration += 1
    pixels[idx] = int(255 * iteration/MAX)
mandelbrot(pixels, grid=(N*N)//1024, block=1024)

Đây là lập trình GPU trong Python. Không có boilerplate CUDA, không phải vật lộn với quản lý bộ nhớ, không cần chuyển sang ngôn ngữ khác. Chỉ là Python với một số trình trang trí dành riêng cho GPU.

NumPy, nhưng nhanh hơn

Một trong những tính năng nổi bật của Codon là triển khai NumPy gốc của nó. Đây không chỉ là một trình bao bọc quanh các thư viện C. Nó là NumPy được triển khai lại trong chính Codon. Điều này mở ra các cơ hội tối ưu hóa lớn.

Đây là một ước tính Monte Carlo của π:

import time
import numpy as np
rng = np.random.default_rng(seed=0)
x = rng.random(500_000_000)
y = rng.random(500_000_000)
t0 = time.time()
pi = ((x-1)**2 + (y-1)**2 < 1).sum() * (4 / len(x))
t1 = time.time()
print(f'Computed pi~={pi:.4f} in {t1 - t0:.2f} sec')

• Python + NumPy: 2.25 giây.
• Codon + NumPy: 0.43 giây.

Đây là mức tăng tốc 5 lần trên mã NumPy đã được tối ưu hóa. Trình biên dịch có thể nội tuyến các phép toán, hợp nhất các phép toán mảng, và loại bỏ các cấp phát bộ nhớ không cần thiết. Đây là những tối ưu hóa không thể thực hiện được với NumPy truyền thống.

Đối với các chuyên gia ML làm việc với các tensor lớn và các phép toán ma trận, điều này có thể giảm đáng kể thời gian lặp lại thử nghiệm.

Hệ sinh thái Python vẫn hoạt động

Một mối lo ngại ban đầu của tôi là: còn tất cả các gói Python mà chúng ta dựa vào thì sao? scikit-learn, pandas, matplotlib, PyTorch?

Codon xử lý điều này một cách thanh lịch với khả năng tương tác Python:

from python import matplotlib.pyplot as plt
data = [x**2 for x in range(10)]
plt.plot(data)
plt.show()

Bạn có thể nhập và sử dụng bất kỳ gói Python nào. Các phần quan trọng về hiệu suất chạy qua trình biên dịch của Codon. Phần còn lại giao tiếp với hệ sinh thái Python thông thường. Đây là điều tốt nhất của cả hai thế giới.

Những đánh đổi trung thực

Bây giờ, hãy giải quyết vấn đề hiển nhiên: Codon không phải là một sự thay thế trực tiếp cho CPython. Có một số tính năng của Python không tương thích tốt với biên dịch tĩnh:

• Thay đổi kiểu động trong thời gian chạy. Đây là cái giá của biên dịch tĩnh.
• Một số tính năng siêu lập trình động nhất của Python.
• Sự tương đồng hành vi hoàn toàn với CPython trong mọi trường hợp biên.

Tuy nhiên, đây là quan điểm của tôi sau khi khám phá nó: đối với hầu hết các tác vụ khoa học dữ liệu, ML và tính toán, những hạn chế này không quan trọng. Bạn không sử dụng các tính năng động của Python để thay đổi kiểu biến trong thời gian chạy. Điều này không xảy ra trong pipeline NumPy hoặc vòng lặp huấn luyện mô hình của bạn. Bạn đang viết mã tương đối tĩnh, quan trọng về hiệu suất. Mã này hiện đang bị tắc nghẽn bởi trình thông dịch của Python.

Đó chính xác là nơi Codon tỏa sáng.

Tác động thực tế: Trường hợp sử dụng của tôi

Hãy để tôi đưa ra một ví dụ cụ thể từ công việc của chính tôi. Trong thời gian làm tiến sĩ, tôi đã phát triển các mô hình dự đoán sự sống còn cho dữ liệu hình ảnh y tế. Một pipeline tiền xử lý điển hình bao gồm:

• Tải hình ảnh DICOM (hàng nghìn hình ảnh).
• Chuẩn hóa cường độ pixel.
• Trích xuất các đặc trưng từ các vùng quan tâm.
• Tính toán các số liệu thống kê trên các nhóm bệnh nhân.

Trong Python thuần túy với NumPy, điều này có thể mất hàng giờ cho một bộ dữ liệu lớn. Ngay cả với vector hóa, các nút thắt cổ chai về I/O và tính toán vẫn tồn tại.

Với Codon, tôi có thể:

• Biên dịch pipeline tiền xử lý thành mã gốc.
• Song song hóa xử lý hình ảnh trên các lõi CPU.
• Loại bỏ chi phí trình thông dịch trên các vòng lặp chặt chẽ.
• Tối ưu hóa từ đầu đến cuối mà không cần chuyển sang C++.

Tiết kiệm thời gian tiềm năng là đáng kể. Điều mất 3 giờ có thể chạy trong 10–20 phút. Điều này không chỉ tiện lợi. Nó thay đổi cơ bản tốc độ bạn có thể lặp lại các ý tưởng nghiên cứu.

Bắt đầu rất dễ dàng

Cài đặt rất đơn giản:

/bin/bash -c "$(curl -fsSL //exaloop.io/install.sh)"

Sau đó, bạn có thể:

• Chạy mã: codon run file.py
• Biên dịch với các tối ưu hóa: codon run -release file.py
• Xây dựng các tệp thực thi: codon build -release file.py
• Tạo LLVM IR: codon build -release -llvm file.py

Đường cong học tập là tối thiểu vì nó chủ yếu là Python. Bạn viết mã theo cách bạn vẫn thường làm. Codon làm cho nó nhanh chóng.

Bức tranh lớn hơn

Codon đại diện cho một điều quan trọng: sự từ chối sự phân đôi sai lầm giữa “dễ viết” và “chạy nhanh”. Trong nhiều thập kỷ, chúng ta đã chấp nhận rằng các ngôn ngữ cấp cao đánh đổi hiệu suất để lấy năng suất. Python mang lại cho chúng ta năng suất đáng kinh ngạc, và chúng ta đã chấp nhận sự suy giảm hiệu suất.

Nhưng nếu chúng ta không phải thỏa hiệp thì sao?

Các dự án như Codon, Mojo và những dự án khác đang đẩy ranh giới của những gì có thể. Họ đang đặt câu hỏi: tại sao chúng ta không thể có cả hai? Tại sao chúng ta không thể viết bằng một ngôn ngữ cấp cao, biểu cảm và đạt được hiệu suất gốc?

Đối với các chuyên gia AI/ML, các nhà khoa học dữ liệu và các nhà nghiên cứu tính toán, sự thay đổi này có thể mang tính biến đổi. Hãy tưởng tượng:

• Huấn luyện mô hình nhanh hơn 10 lần trên cùng một phần cứng.
• Chạy các pipeline dữ liệu hiện mất hàng giờ chỉ trong vài phút.
• Nguyên mẫu và sản xuất sử dụng cùng một mã.
• Không cần viết lại các đường dẫn quan trọng trong C++ hoặc Rust.

Bạn có nên sử dụng Codon ngay hôm nay không?

Đây là đánh giá trung thực của tôi:

Hãy thử Codon nếu:

• Bạn có mã Python quan trọng về hiệu suất (tính toán số, mô phỏng, xử lý dữ liệu).
• Bạn cảm thấy thoải mái với một tập hợp con các tính năng của Python.
• Bạn muốn khả năng đa luồng thực sự hoặc GPU.
• Bạn đang xây dựng các công cụ mà chi phí thời gian biên dịch có thể chấp nhận được.

Hãy tiếp tục sử dụng CPython nếu:

• Bạn cần khả năng tương thích tối đa với hệ sinh thái Python.
• Mã của bạn phụ thuộc nhiều vào các tính năng động của Python.
• Hiệu suất không phải là mối quan tâm chính của bạn.
• Bạn đang làm việc với nguyên mẫu nhanh chóng với nhiều phụ thuộc.

Đối với trường hợp sử dụng của tôi: nghiên cứu ML và AI chăm sóc sức khỏe, Codon cực kỳ hấp dẫn. Những lợi ích về hiệu suất trên các kernel tính toán rất khó bỏ qua. Khả năng song song hóa mà không phải đối phó với GIL là rất lớn.

Tương lai là biên dịch

Khi tôi viết bài này, Codon có 16.3 nghìn lượt gắn sao trên GitHub. Nó có một cộng đồng tích cực. Dự án được cấp phép Apache-2.0. Nó được hỗ trợ bởi các tổ chức nghiêm túc (NSF, NIH, MIT). Nó liên tục được cải thiện.

Nó có hoàn hảo không? Không. Nó có thay thế hoàn toàn CPython không? Có lẽ không. Nhưng nó có đại diện cho một hướng đi thú vị cho Python hiệu suất cao không? Chắc chắn rồi.

Đối với bất kỳ ai từng ước Python nhanh hơn nhưng lại sợ phải viết lại mã bằng C++, Codon xứng đáng được bạn chú ý. Nó không chỉ là một trình biên dịch khác. Nó là một sự suy nghĩ lại về những gì Python có thể trở thành khi hiệu suất không phải là một suy nghĩ sau này.

Hãy thử nó. Viết một số mã. Đo thời gian. Tôi nghĩ bạn sẽ ngạc nhiên.

Và có thể, chỉ có thể, bạn sẽ ngừng chấp nhận khoản thuế hiệu suất mà tất cả chúng ta đã học cách sống chung.

Tham khảo: medium.com