Nếu bạn có 8GB RAM, bạn đã có thể chạy một tác nhân mạnh mẽ đáng ngạc nhiên trên phần cứng dành cho người tiêu dùng.
Một tác nhân không chỉ đơn thuần là một chatbot. Sự khác biệt là tác nhân có thể thực hiện các hành động: tìm kiếm trên web, chạy mã, đọc tệp, gọi API. Nó sử dụng mô hình ngôn ngữ như bộ não để quyết định phải làm gì, và sau đó thực hiện điều đó.
Vòng lặp cơ bản:
- Bạn đặt mục tiêu cho nó.
- Nó quyết định công cụ hoặc bước nào sẽ được sử dụng.
- Nó thực hiện bước đó
- Nó xem xét kết quả và quyết định bước tiếp theo cần làm gì.
Vòng lặp đó chạy cho đến khi hoàn thành hoặc bị kẹt. Các tác nhân đơn giản có thể chỉ sử dụng một công cụ. Các tác nhân phức tạp hơn kết hợp nhiều bước lại với nhau, đôi khi liên quan đến nhiều tác nhân chuyên biệt.
Tại sao phải tốn công chạy AI cục bộ?
Lý do chính đáng nhất là vấn đề quyền riêng tư.
Khi bạn sử dụng ChatGPT hoặc bất kỳ AI đám mây nào, các yêu cầu của bạn sẽ được gửi đến máy chủ của bên thứ ba. Bạn đang tin tưởng vào chính sách, hệ thống bảo mật của họ và bất cứ điều gì họ quyết định làm với dữ liệu đó vào năm tới. Nếu bạn đang làm việc với hợp đồng, ghi chú khách hàng, tài liệu sức khỏe, mã nội bộ hoặc bất cứ thứ gì bạn không muốn công khai, đó thực sự là một mối lo ngại.
Lý do thứ hai là chi phí.
Gói đăng ký ChatGPT Plus có giá 20 đô la một tháng. Nếu bạn sử dụng AI nhiều và chạy nó cục bộ, số tiền đó sẽ nằm trong túi của bạn. Đối với một nhóm 50 người sử dụng AI trên đám mây, con số đó lên tới 12.000 đô la một năm chỉ để có quyền truy cập cơ bản.
Lý do thứ ba là vì nó thực sự hiệu quả.
Các mô hình như Qwen3, Llama 4, DeepSeek và Gemma 3 hoạt động mượt mà trên phần cứng dành cho người tiêu dùng và xử lý tốt hầu hết các tác vụ hàng ngày: tóm tắt tài liệu, viết mã, soạn thảo email, trả lời các câu hỏi về tệp của bạn. Bạn không còn phải hy sinh nhiều cho công việc cục bộ nữa.
Và còn có khía cạnh ngoại tuyến nữa.
Không cần internet, không giới hạn tốc độ, không gián đoạn dịch vụ. Nếu bạn đi du lịch, làm việc ở những khu vực có kết nối yếu hoặc đơn giản là không thích phụ thuộc vào thời gian hoạt động liên tục của mạng, AI cục bộ sẽ giải quyết hoàn toàn vấn đề đó.
Hãy tìm hiểu khả năng của máy móc của bạn
Thông số phần cứng quan trọng nhất để chạy AI cục bộ không phải là CPU hay thậm chí là dung lượng RAM bạn có. Đó là VRAM, bộ nhớ trên card đồ họa của bạn. Đó là nơi mô hình thực sự được lưu trữ khi đang chạy. Nếu mô hình không vừa, nó sẽ tràn sang RAM thông thường và làm chậm hiệu năng, đôi khi chỉ đạt 2-3 từ mỗi giây thay vì tốc độ 30-40 từ có thể sử dụng được.
Cách nhanh nhất để kiểm tra xem máy tính của bạn có thể chạy được những game nào: hãy truy cậpCanIRun.ai. Trang web này sẽ tự động phát hiện GPU, CPU và RAM của bạn thông qua trình duyệt và cho bạn biết máy tính của bạn có thể xử lý được những mô hình game nào. Không cần đăng ký.
Tiếp theo là phần thiết lập:
Đây là dành cho ai
Hầu hết mọi người. Một chiếc laptop đời cũ, một chiếc máy tính giá rẻ, bất cứ thứ gì có RAM từ 8-16GB và không có card đồ họa rời.
Bạn vẫn có thể chạy AI cục bộ. Bạn chỉ cần chọn kích thước mô hình phù hợp.
Với 8GB RAM, hãy chọn các mẫu máy trong dải thông số từ 3B đến 7B. Chúng nhỏ gọn, nhanh và có khả năng xử lý hầu hết các tác vụ một cách đáng ngạc nhiên. Một mẫu như Phi-4 Mini hoặc Mistral 7B hoạt động tốt ở đây và chỉ cần khoảng 4-6GB khi được tải nặng.
Với 16GB RAM, bạn có thể nâng cấp. Gemma 3 12B là một lựa chọn tốt ở đây. Nó xử lý tốt các cuộc trò chuyện thông thường, đọc tài liệu, viết rõ ràng và sẽ không làm máy tính của bạn hoạt động quá tải.
Công cụ cần sử dụng – LM Studio
Tải xuống từ lmstudio.ai. Ứng dụng hoạt động trên Windows, Mac và Linux. Không cần dòng lệnh, không phức tạp khi thiết lập. Bạn chỉ cần mở ứng dụng, tìm kiếm mô hình, tải xuống và bắt đầu trò chuyện. Ứng dụng tự động phát hiện phần cứng của bạn và sử dụng GPU nếu có, hoặc chuyển sang CPU nếu không. Đối với người dùng máy tính xách tay chỉ cần một ứng dụng hoạt động được, đây là lựa chọn phù hợp để bắt đầu.
Ngoài ra,GPT4Alllà một lựa chọn khác thân thiện hơn với người mới bắt đầu, mặc dù nó có ít mẫu hơn.
Một lưu ý quan trọng: trên máy tính xách tay chỉ có CPU, tốc độ phản hồi sẽ chậm hơn, có thể chỉ 3-8 từ mỗi giây. Tốc độ này có thể chấp nhận được để soạn thảo và đọc, nhưng không lý tưởng cho việc trao đổi nhanh chóng. Bắt đầu với một mẫu máy nhỏ hơn (3B hoặc 4B) sẽ mang lại trải nghiệm nhanh hơn đáng kể.
Đây là dành cho ai
Người sở hữu máy tính chơi game hoặc máy tính để bàn với card đồ họa NVIDIA tầm trung đến cao cấp.
Đây là lúc mọi thứ thực sự trở nên tuyệt vời. Nếu bạn có card đồ họa RTX 3060 12GB trở lên, bạn có thể chạy các mô hình 7B và 8B với tốc độ thực, khoảng 30-50 token mỗi giây. Llama 3.3 8B, DeepSeek Coder, Mistral 7B và Qwen3 7B đều chạy mượt mà ở đây.
Một điều cần lưu ý: đừng mua card đồ họa RTX 4060 Ti với 8GB VRAM. Nó sẽ nhanh chóng bị đầy khi mô hình được tải và bối cảnh mở rộng. Phiên bản 16GB của cùng một card sẽ đáng giá hơn số tiền bỏ ra.
Với card đồ họa RTX 3090 hoặc 4090 (24GB VRAM), bạn có thể chạy các mô hình 30B một cách mượt mà và thậm chí thử nghiệm với các phiên bản nén của mô hình 70B. Đó là điều mà trước đây cần đến phần cứng máy chủ chuyên dụng.
Phương án 1: Chạy mọi thứ cục bộ với Ollama
Ollama là một công cụ mã nguồn mở miễn phí cho phép bạn tải xuống và chạy các mô hình LLM trực tiếp trên máy tính của mình. Nó tự động xử lý tăng tốc GPU, hoạt động trên macOS, Linux và Windows, đồng thời cung cấp API trên localhost tương thích với định dạng OpenAI SDK.
Để bắt đầu:
# Cài đặt Ollama (macOS) brew install ollama # Tải xuống mô-đun ollama pull qwen2.5:7b # Chạy mô-đun ollama run qwen2.5:7b
Qwen 2.5 7B là một điểm khởi đầu tốt. Nó hỗ trợ gọi công cụ (quan trọng đối với các nhân viên hỗ trợ), có dung lượng khoảng 4,7GB và hoạt động khá tốt trên máy tính có 8GB RAM.
Mistral 7B cũng là một lựa chọn đáng tin cậy khác. Cả hai đều đủ nhanh cho việc thử nghiệm và phát triển.
Mô hình chạy trên cổng 11434 theo mặc định. Bất kỳ framework nào được xây dựng dựa trên định dạng API của OpenAI chỉ cần trỏ đến//localhost:11434/v1cổng này và nó hoạt động mà không cần sửa đổi.
Những thứ bạn cần về phần cứng:
- Các mẫu 7B: RAM tối thiểu 8GB, khuyến nghị 16GB.
- Các mẫu 13B: RAM 16GB
- Các mẫu 70B: 32GB trở lên (hoặc card đồ họa tốt)
Nếu máy của bạn có công suất yếu, các mẫu máy 3B như Phi-3 Mini vẫn có thể thực hiện những công việc hữu ích.
Máy Mac dùng chip Apple Silicon
Mac Mini M4, MacBook Pro M3/M4 và Mac Studio sử dụng bộ nhớ hợp nhất, nghĩa là toàn bộ RAM của bạn đều có sẵn để tải mô hình mà không bị giới hạn bởi VRAM của GPU. Một chiếc Mac Mini M4 với 16GB RAM có thể xử lý các mô hình 14 bit một cách mượt mà. Một chiếc Mac Studio M3 Ultra với 96GB RAM có thể lưu trữ nhiều mô hình trong bộ nhớ cùng lúc. Đây hiện là một trong những lựa chọn tốt nhất dành cho người tiêu dùng để chạy các mô hình lớn một cách yên tĩnh và hiệu quả.
Dành cho máy tính chuyên dụng chạy Windows/Linux
RTX 4060 Ti 16GB là một lựa chọn khởi đầu tốt cho phân khúc 7B-13B. RTX 5090 với 32GB VRAM (ra mắt đầu năm 2025) có thể chạy các mô hình lượng tử hóa lên đến 405B, tuy nhiên với chi phí khá cao.
Để cung cấp AI cho một nhóm nhỏ
vLLM rất đáng để xem xét. Nó xử lý các yêu cầu đồng thời tốt hơn nhiều so với Ollama, hỗ trợ nhiều người dùng truy cập cùng một mô hình và cung cấp API tương thích với OpenAI. Quá trình thiết lập phức tạp hơn một chút, nhưng nếu nhiều người cần truy cập, đây là công cụ phù hợp.
Lưu ý về định dạng mô hình:Bạn thường thấy các tệp có nhãn GGUF trên Hugging Face. Đây là các phiên bản đã được nén sẵn của các mô hình được thiết kế để chạy trên phần cứng của người tiêu dùng. Khi chọn tệp GGUF, phiên bản Q4 hoặc Q5 đạt được sự cân bằng tốt giữa kích thước và chất lượng. Q8 gần với bản gốc hơn nhưng cần nhiều bộ nhớ hơn.
Những điều mà AI cục bộ không làm tốt
Hãy thực tế về những hạn chế. Các mô hình cục bộ hoạt động tốt cho hầu hết các tác vụ hàng ngày. Chúng không phải lúc nào cũng sắc bén như GPT-40 hoặc Claude trong các suy luận phức tạp, tài liệu rất dài hoặc các tác vụ cần thông tin mới nhất. Nếu bạn cần câu trả lời tốt nhất tuyệt đối cho một vấn đề khó, các mô hình đám mây vẫn có ưu thế hơn.
Tốc độ cũng khác nhau. Trên máy tính xách tay không có GPU, bạn sẽ cảm thấy chậm. Trên máy tính để bàn có GPU tốt, tốc độ sẽ bình thường. Trên một thiết bị như Mac Studio với nhiều bộ nhớ, tốc độ sẽ nhanh.
Và không giống như AI đám mây, bạn tự mình quản lý việc cập nhật. Các phiên bản mô hình mới không tự động xuất hiện. Bạn phải kiểm tra, tải xuống và chuyển đổi thủ công.
Phương án 2: Sử dụng API đám mây miễn phí thay thế
Chạy cục bộ không phải là cách duy nhất. Một số nhà cung cấp cung cấp quyền truy cập API hoàn toàn miễn phí, không cần thẻ tín dụng.
Groqcó lẽ là công cụ hữu ích nhất cho công việc với agent. Đăng ký tại console.groq.com, lấy khóa API và bạn có thể chạy Llama 3.3 70B với tốc độ hơn 300 token mỗi giây. Tốc độ này đủ nhanh để cảm thấy như thời gian thực. Gói miễn phí có giới hạn tốc độ nhưng hoạt động tốt cho việc tạo mẫu hoặc sử dụng cá nhân nhẹ nhàng. API tương thích với OpenAI, vì vậy bất kỳ mã hiện có nào chỉ cần thay đổi URL cơ sở.
OpenRoutercung cấp hơn 30 mẫu router miễn phí, bao gồm Llama 3.3 8B, Devstral Small của Mistral và nhiều mẫu khác. Bạn có thể lọc theo:freetên model. Điều này rất hữu ích để thử nghiệm các model khác nhau mà không cần cam kết với một nhà cung cấp cụ thể nào.
Google AI Studiocó gói miễn phí dành cho Gemini 2.5 Flash với các giới hạn khá hào phóng. Hoạt động tốt nếu bạn cần khả năng đa phương thức (văn bản + hình ảnh).
Nhược điểm của các API đám mây miễn phí: giới hạn tốc độ truy cập, thời gian ngừng hoạt động không thường xuyên và dữ liệu của bạn rời khỏi máy chủ của bạn. Đối với bất kỳ dữ liệu nhạy cảm nào, lưu trữ cục bộ sẽ tốt hơn.
Không cần lập trình: Langflow + Ollama
Langflow là một công cụ trực quan kéo thả, tích hợp khung LangChain. Bạn kết nối các khối trên một khung vẽ: mô hình, công cụ, bộ nhớ, đầu vào/đầu ra. Không cần Python. Langflow cho phép bạn xây dựng một tác nhân AI hoạt động chỉ trong vòng chưa đầy 15 phút bằng cách sử dụng giao diện kéo thả, không cần Python, và nó kết nối với OpenAI, Anthropic, các mô hình cục bộ như Ollama, và hàng chục công cụ khác mà không cần viết một dòng mã kết nối nào.
- Cài đặt Langflow (ứng dụng máy tính để bàn hoặc cài đặt bằng pip)
- Mở mẫu Simple Agent
- Thay đổi nhà cung cấp mô hình từ OpenAI sang Tùy chỉnh, trỏ nó đến phiên bản Ollama của bạn.
- Chọn qwen2.5 (đảm bảo đó là mẫu máy có hỗ trợ công cụ)
- Thêm các công cụ: máy tính, tìm kiếm trên web, bất cứ thứ gì bạn cần.
- Thử nghiệm tại sân chơi
Quá trình này có thể mất khoảng 20 phút từ đầu. Kết quả là một tác nhân hoạt động được, chạy cục bộ và không tốn phí cho mỗi truy vấn.
Langflow thực chất là gì?
Langflow là một công cụ xây dựng trí tuệ nhân tạo trực quan mã nguồn mở. Nó bắt đầu từ một công ty tên là Logspace, sau đó được DataStax mua lại, và DataStax lại được IBM mua lại. Mã nguồn vẫn là mã nguồn mở và được duy trì tích cực trên GitHub.
Về cơ bản, nó được xây dựng trên nền tảng LangChain, nhưng bạn không cần phải biết điều đó. Những gì bạn thấy là một giao diện mà ở đó…
Điểm khác biệt chính giữa chatbot và tổng đài viên:
- Chatbot trả lời các câu hỏi.
- Một tác nhân thực hiện các hành động.
Một nhân viên có thể nhận đầu vào từ người dùng, ví dụ như “chuyển đổi 200 USD sang INR”, xác định cần tỷ giá hối đoái trực tiếp, gọi đến công cụ trực tuyến để lấy tỷ giá đó, thực hiện phép tính và trả về kết quả.
Một chatbot chỉ đoán dựa trên dữ liệu huấn luyện. Đó là sự khác biệt, vàLangflow xử lý cả hai kiểu mẫu.
Hướng dẫn thiết lập (5 phút)
Cách nhanh nhất để bắt đầu là sử dụng Langflow Desktop. Có trình cài đặt dành cho Mac và Windows. Người dùng Linux cần Docker, nhưng ngay cả việc đó cũng chỉ cần một lệnh trong terminal.
Sau khi khởi chạy, bạn sẽ thấy trang chủ được chia thành hai phần: Dự án ở bên trái, Quy trình ở bên phải. Nhấp vào Quy trình mới và bạn sẽ thấy một menu các mẫu có sẵn.
Hãy bắt đầu với mẫu Simple Agent.Đừng vội xây dựng từ đầu.
Mẫu Simple Agent đã được kết nối sẵn ba thành phần:
- Khối nhập liệu trò chuyện (nơi người dùng gửi tin nhắn)
- Một khối tác nhân (bộ não, mặc định là GPT-4o-mini)
- Khối hiển thị kết quả trò chuyện (nơi chứa phản hồi)
Khối Agent cũng đi kèm với hai công cụ được tích hợp sẵn: một máy tính và một công cụ tìm nạp URL. Chừng đó là đủ để thực hiện những công việc thực tế.
Kết nối mô hình của bạn (3 phút)
Nhấp vào khối Agent. Bạn sẽ thấy một menu thả xuống để chọn nhà cung cấp mô hình của mình, bao gồm OpenAI, Anthropic, Azure, Ollama và các nhà cung cấp khác.
Chọn thiết bị của bạn, dán khóa API vào và chọn kiểu máy bạn muốn sử dụng.
Vậy là xong phần thiết lập mô hình. Khóa API nằm bên trong thành phần. Bạn không cần động đến các tệp cấu hình hay biến môi trường.
Nếu bạn muốn tránh hoàn toàn chi phí API, bạn có thể sử dụng Ollama, công cụ chạy các mô hình cục bộ.
Quá trình cài đặt có hơi phức tạp hơn một chút nhưng hoàn toàn miễn phí sau khi tải xuống ban đầu.
Khởi nghiệp với đại lý đầu tiên
Sau khi có khóa API, hãy nhấp vào nút Playground.
Một cửa sổ trò chuyện sẽ hiện ra.
Nhập nội dung tương tự như sau:
847 nhân với 23 bằng bao nhiêu?
Hãy quan sát điều gì xảy ra. Tác nhân không chỉ trả lời mà còn quyết định sử dụng công cụ Máy tính, gọi nó và trả về kết quả. Bạn có thể mở rộng nhật ký suy nghĩ của tác nhân trong giao diện người dùng và xem chính xác công cụ nào nó đã sử dụng và tại sao.
Hãy thử đặt câu hỏi với dữ liệu thực tế:
Tỷ giá hối đoái hiện tại giữa USD và INR là bao nhiêu?
Hệ thống sẽ lấy một URL, đọc dữ liệu và trả lời. Đó là một tác vụ thực tế được hoàn thành trong vài giây mà không cần viết mã.
Bạn có thể xây dựng những gì với điều này
Langflow bao gồm một phạm vi ứng dụng thực tế khá rộng:
- Các bot hỗ trợ khách hànglấy thông tin từ tài liệu của chính bạn.
- Các công cụ phân tích CSVtrả lời các câu hỏi về tệp dữ liệu của bạn.
- Các ứng dụng quản lý lịchcó thể kiểm tra và lên lịch các cuộc họp (sử dụng tính năng tích hợp Lịch Google của Composio).
- Các chuyên viên nghiên cứutìm kiếm thông tin trên web và tóm tắt kết quả.
- Các tác nhân mã hóađọc và ghi tệp bằng máy chủ MCP.
Mấu chốt là phải bắt đầu từ những việc nhỏ. Chọn một nhiệm vụ. Xây dựng phiên bản nhỏ nhất có thể hoạt động được của nhiệm vụ đó. Sai lầm thường gặp là cố gắng xây dựng một tác nhân đa chức năng với 10 công cụ ngay từ lần thử đầu tiên.
Cách thức hoạt động thực tế của Canvas
Mỗi khối trên khung vẽ được gọi là một thành phần.
Mỗi thành phần đều có cổng đầu vào (bên trái) và cổng đầu ra (bên phải), được hiển thị dưới dạng các chấm màu. Các chấm màu lục lam là các kết nối công cụ. Bạn kéo một đường thẳng từ chấm này đến chấm khác để truyền dữ liệu giữa các thành phần.
Một số thành phần có thể được chuyển sang Chế độ Công cụ, có nghĩa là nhân viên hỗ trợ có thể gọi chúng khi cần thay vì chúng phải chạy mỗi lần. Đó là cách bạn gắn các chức năng như tìm kiếm trên web hoặc tra cứu cơ sở dữ liệu.
Việc học về thành phần mẫu lời nhắc rất hữu ích ngay từ đầu. Nó cho phép bạn kết hợp nhiều thông tin khác nhau, chẳng hạn như câu hỏi của người dùng, lược đồ tài liệu và hướng dẫn hệ thống, thành một thông điệp thống nhất duy nhất được gửi đến mô hình. Đây là cách bạn xây dựng các tác nhân thực sự hiểu ngữ cảnh.
Triển khai nó như một API
Sau khi luồng của bạn hoạt động trong Playground, bạn có thể công khai nó như một điểm cuối API chỉ với một cú nhấp chuột. Nhấp vào nút API trong giao diện Langflow, tạo khóa API và bạn sẽ nhận được một đoạn mã готовый mà bạn có thể chèn vào bất kỳ ứng dụng web, ứng dụng di động hoặc backend nào.
Điều này có nghĩa là bạn có thể xây dựng logic trong trình chỉnh sửa trực quan của Langflow và sau đó gọi nó từ bất kỳ ứng dụng thực tế nào mà bạn đang xây dựng.
Agent này hoạt động trên máy chủ của Langflow (hoặc máy chủ của bạn nếu bạn tự lưu trữ), và ứng dụng của bạn chỉ cần gọi API.
Langflow không phù hợp với những trường hợp nào?
Cần phải thành thật về những hạn chế.
Việc xử lý tập tin có giới hạn tối đa là 100MB.
Nếu bạn đang xây dựng một quy trình RAG với các tập tài liệu lớn, bạn sẽ gặp phải giới hạn này và cách khắc phục duy nhất là thay đổi biến môi trường thủ công.
Nó phù hợp hơn cho việc tạo mẫu thử nghiệm hơn là cho sản xuất hàng loạt.
Các quy trình làm việc đa tác nhân phức tạp trên Langflow đòi hỏi thiết kế cẩn thận. Những thứ như logic thử lại, xử lý lỗi và lập lịch trình ít được tích hợp sẵn hơn so với các công cụ như n8n, vốn được xây dựng cho tự động hóa ngay từ đầu.
Bảo mật là vấn đề quan trọng nếu bạn tự lưu trữ máy chủ.
Một lỗ hổng thực thi mã từ xa nghiêm trọng đã được phát hiện trong Langflow vào năm 2025 (CVE-2025–3248), ảnh hưởng đến các phiên bản cũ hơn. Luôn sử dụng phiên bản 1.7.1 trở lên và không để lộ máy chủ tự lưu trữ ra internet công cộng mà không có các quy tắc tường lửa phù hợp.
Việc quản lý khóa API có thể trở nên phức tạp.
Mỗi dịch vụ bên ngoài (OpenAI, công cụ tìm kiếm, cơ sở dữ liệu) cần có khóa riêng. Việc quản lý bốn hoặc năm khóa trên các thành phần khác nhau sẽ gây ra nhiều khó khăn, mặc dù phiên bản 1.8 đã giới thiệu thiết lập nhà cung cấp mô hình toàn cầu để giảm bớt phần nào sự phức tạp đó.
Đối với các tác vụ đơn giản hơn như công cụ nội bộ, nguyên mẫu, bản demo và các tác nhân chuyên dụng, Langflow thực sự nhanh chóng và thiết thực. Còn đối với hệ thống chạy trong môi trường sản xuất với người dùng thực và yêu cầu độ tin cậy cao, hãy coi bản dựng Langflow của bạn như một nguyên mẫu mà bạn sẽ muốn chuyển sang cơ sở hạ tầng mạnh mẽ hơn trong tương lai.
Quá trình lắp ráp thực tế trong 15 phút, từng bước một.
- Tải xuống và cài đặt Langflow Desktop (langflow.org)
- Mở ứng dụng và nhấp vào Luồng mới
- Chọn mẫu Simple Agent
- Nhấp vào khối Agent và nhập khóa API của OpenAI (hoặc API khác) của bạn.
- Mở Playground và thử nghiệm với một câu hỏi thực tế.
- Thêm công cụ nếu cần (bật/tắt Chế độ công cụ trên bất kỳ thành phần nào)
- Thử lại, điều chỉnh lời nhắc hệ thống và lặp lại quy trình.
- Nhấp vào API để lấy điểm cuối triển khai của bạn
Vậy thôi. Bạn không cần triển khai cơ sở hạ tầng, viết logic định tuyến hay gỡ lỗi nhập khẩu. Bạn chỉ cần kết nối các khối và kiểm tra.
Một bài học thực tế
Langflow loại bỏ những rào cản trong quá trình thiết lập, vốn là nguyên nhân khiến hầu hết mọi người ngần ngại thử nghiệm với các agent.
Giao diện trực quan giúp bạn dễ dàng quan sát những gì đang thực sự xảy ra trong quy trình làm việc của mình, điều này rất hữu ích khi có sự cố xảy ra, và sự cố chắc chắn sẽ xảy ra sớm muộn.
Nó sẽ không thay thế mã tùy chỉnh cho các hệ thống sản xuất phức tạp. Nhưng như một cách để đi từ con số không đến một tác nhân hoạt động thực sự, 15 phút không phải là phóng đại. Mẫu Simple Agent xử lý hầu hết cấu trúc. Về cơ bản, bạn chỉ cần kết nối mô hình của mình, viết một lời nhắc hệ thống tốt và quyết định những công cụ mà tác nhân của bạn nên có quyền truy cập.
Hãy bắt đầu với một công cụ. Một nhiệm vụ. Một tác nhân.
Hãy xem liệu nó có thực hiện tốt nhiệm vụ đó hay không. Sau đó, hãy tiếp tục phát triển từ đó.
Lập trình ưu tiên: CrewAI + Ollama
Đối với những người thích lập trình, CrewAI là một trong những framework gọn gàng hơn để định nghĩa các tác nhân với vai trò và mục tiêu. Nó tích hợp với Ollama mà không gặp nhiều khó khăn.
from crewai import Agent, Task, Crew
from crewai.llms import OllamaLLM
llm = OllamaLLM(model= "mistral" )
researcher = Agent(
role= "Researcher" ,
goal= "Tìm kiếm thông tin liên quan đến một chủ đề nhất định" ,
backstory= "Một chuyên gia trong việc tìm kiếm và tóm tắt thông tin" ,
llm=llm
)Bạn định nghĩa các tác nhân, giao nhiệm vụ cho họ, nhóm họ lại thành một đội và bắt đầu. Đối với các quy trình làm việc phức tạp hơn có trạng thái, LangGraph sẽ tốt hơn, mặc dù nó có đường cong học tập dốc hơn.
Các mô hình cục bộ nhỏ hơn có khả năng nhưng không nhất quán. Một mô hình 7B có thể thực hiện đúng các lệnh gọi công cụ trong 80% trường hợp. 20% còn lại, nó bị nhầm lẫn về thời điểm nên sử dụng công cụ và thời điểm nên trả lời trực tiếp. Bạn thường cần phải đưa ra các lời nhắc rõ ràng hơn so với khi sử dụng GPT-4.
Những điều hiệu quả ở phạm vi địa phương:
- Tóm tắt, soạn thảo, viết lại
- Hướng dẫn trả lời câu hỏi đơn giản từ một tài liệu.
- Tạo mã cho các tác vụ đơn giản
- Quy trình làm việc nhiều bước với hướng dẫn rõ ràng, cụ thể.
Những việc khó khăn hơn:
- Phối hợp đa tác nhân phức tạp
- Chuỗi dài các lệnh gọi công cụ với logic điều kiện
- Các nhiệm vụ đòi hỏi khả năng suy luận mạnh mẽ qua nhiều bước.
Các mô hình lớn hơn xử lý các tác vụ của tác nhân một cách đáng tin cậy hơn. Llama 3.3 70B rõ ràng tốt hơn 7B đối với bất kỳ tác vụ nào liên quan đến việc sử dụng công cụ hoặc lập kế hoạch nhiều bước. Nếu bạn đang chạy cục bộ và gặp sự cố, hãy thử một mô hình lớn hơn trước khi cho rằng khung phần mềm bị lỗi.
Một lời khuyên thiết thực từ các nhà phát triển đã thực hiện việc này: sử dụng một mô hình nhẹ (Mistral 7B) cho việc định tuyến đơn giản và phản hồi nhanh, và một mô hình nặng hơn (Llama 3) cho các tác vụ phức tạp hơn. Sự phân chia này giúp giảm áp lực lên bộ nhớ và giữ thời gian phản hồi ở mức hợp lý.
n8n (tự lưu trữ):Công cụ xây dựng quy trình làm việc trực quan kết nối hơn 400 ứng dụng. Chạy nó trên VPS với giá khoảng 5 đô la/tháng và bạn sẽ có một nền tảng tự động hóa miễn phí với hỗ trợ LLM tích hợp sẵn. Đây là công cụ gần giống nhất với Zapier miễn phí có tích hợp trí tuệ nhân tạo.
Flowise:Tương tự như Langflow, mã nguồn mở, trực quan. Thích hợp để xây dựng các tác nhân mà bạn muốn chia sẻ với người khác thông qua giao diện trò chuyện nhúng.
Activepieces:Nền tảng tự động hóa mã nguồn mở với các trình kết nối do cộng đồng đóng góp và số lần chạy tác vụ không giới hạn trên các máy chủ tự lưu trữ.
LocalAI:Một giải pháp thay thế API OpenAI có thể tích hợp trực tiếp và chạy cục bộ. Hữu ích nếu bạn muốn thay thế phần backend bằng bất kỳ ứng dụng nào đã hỗ trợ định dạng của OpenAI.
Miễn phí không có nghĩa là không cần nỗ lực. Có những giới hạn thực tế mà bạn cần biết trước:
Nếu bạn không chắc nên bắt đầu từ đâu: hãy kiểm tra CanIRun.ai để xem máy của bạn hỗ trợ những gì, tải xuống LM Studio nếu bạn thích giao diện trực quan hoặc Ollama nếu bạn quen thuộc với giao diện dòng lệnh, chọn một model trong phạm vi 7B-8B để bắt đầu và chạy một cuộc hội thoại. Nếu nó hoạt động tốt cho trường hợp sử dụng của bạn, hãy tiếp tục sử dụng. Nếu bạn muốn hiệu năng cao hơn, bạn sẽ biết cần nâng cấp những gì.Toàn bộ hệ thống chỉ có vậy thôi. Không cần phải phức tạp.
Việc chạy các mô hình cục bộ sẽ tiêu tốn dung lượng ổ đĩa. Một mô hình 7B có dung lượng khoảng 4–6GB. Một mô hình 13B có dung lượng 8–10GB. Nếu bạn thử nghiệm với nhiều mô hình, dung lượng sẽ tăng lên nhanh chóng.
Các gói API miễn phí có giới hạn số lượng yêu cầu. Groq khá hào phóng, nhưng nếu tác nhân của bạn thực hiện 20 yêu cầu API trong 10 giây, bạn sẽ đạt đến giới hạn. Đối với việc sử dụng nhiều, cuối cùng bạn sẽ cần một gói trả phí nào đó.
Suy luận cục bộ chậm hơn so với điện toán đám mây. Trên một máy chỉ có CPU, mô hình 7B có thể tạo ra 5-10 token mỗi giây. Tốc độ này có thể chấp nhận được để thử nghiệm nhưng lại khá chậm trong môi trường sản xuất. Một máy có GPU sẽ cải thiện đáng kể điều này.
Và các gói miễn phí cũng thay đổi. Google đã cắt giảm đáng kể giới hạn gói miễn phí Gemini API vào cuối năm 2025. Lựa chọn mô hình miễn phí của OpenRouter cũng thay đổi. Hãy xây dựng hệ thống với sự linh hoạt để bạn có thể chuyển đổi nhà cung cấp nếu một nhà cung cấp nào đó biến mất.
Nếu bạn muốn cách tiếp cận đơn giản nhất: hãy cài đặt Ollama, tải Qwen 2.5 7B, cài đặt Langflow, kết nối chúng và làm theo mẫu Simple Agent. Bạn sẽ có một agent cục bộ hoạt động trong vòng chưa đầy một giờ.
Nếu bạn muốn sử dụng giải pháp dựa trên đám mây và miễn phí: hãy lấy khóa API của Groq, sử dụng nó với LangChain hoặc CrewAI (chỉ cần trỏ URL cơ sở đến điểm cuối của Groq), và xây dựng từ đó.
Các công cụ hiện đã đủ hoàn thiện đến mức phần khó khăn không còn nằm ở khâu thiết lập nữa. Cái khó là tìm ra chính xác những gì bạn muốn tác nhân tự động thực hiện, và viết các lời nhắc đủ cụ thể để một mô hình nhỏ hơn có thể làm theo.
Gemma 4 của google
Google đã lấy “bộ não” của AI thông minh nhất của họ (từ Gemini 3) và nén nó thành một tệp mà bạn có thể tải về miễn phí.
Thay vì phải thuê một AI chạy trên máy chủ của Google, giờ đây bạn sở hữu một AI đẳng cấp thế giới chạy trực tiếp trên laptop của mình.
Bạn không cần là kỹ sư phần mềm để chạy nó. Chỉ cần dán prompt này vào Claude hoặc ChatGPT ngay bây giờ:”Tôi không có kinh nghiệm lập trình nhưng muốn chạy mô hình Google Gemma 4 mới trên máy tính cá nhân. Hãy cung cấp hướng dẫn từng bước để tải xuống và sử dụng một công cụ miễn phí có giao diện trực quan như LM Studio hoặc Ollama để chạy AI này trên laptop của tôi trong vòng 10 phút tới.”
Đăng sauTrí tuệ Nhân tạo Địa phương
Trí tuệ nhân tạo cục bộ (thông qua Ollama hoặc LM Studio ) rất tuyệt vời cho việc bảo mật thông tin và các tác vụ tiện ích đơn giản.
Nhưng, ngay khi bạn yêu cầu một người mẫu địa phương làm điều đó:
- Tái cấu trúc phần backend API phức tạp với ba lớp trừu tượng.
- Gỡ lỗi tình trạng tranh chấp dữ liệu (race condition) trong giao diện người dùng (frontend).
- Thiết kế một hệ thống không chỉ đơn thuần là hướng dẫn “Danh sách việc cần làm”.
Mô hình “miễn phí” bắt đầu đổ mồ hôi.
Nó bị ảo giác. Nó quên mất ngữ cảnh của tập tin thứ hai mà bạn vừa dán.
Chúng ta cần ngừng giả vờ rằng trí tuệ nhân tạo địa phương không có giá cả, được chứ?
- Thuế RAM:Để chạy bất kỳ thứ gì dù chỉhơigiống Claude Sonnet hay Opus, bạn cần hơn 64GB bộ nhớ hợp nhất. Đó là khoản phí phần cứnghơn 3.000 đô la 🙂
- Khoảng cách về “não bộ”:Có lý do tại saoAnthropicvàGooglechi hàng tỷ đô la cho điện toán. Một mô hình nhỏ gọn như trên USB không phải là một “Kỹ sư cấp cao” (có thể chỉ là một thực tập sinh nhanh nhẹn nhưng trí nhớ ngắn hạn).
Nhưng hãy thành thật mà nói:
Nếu bạn đang làm công việc kỹ thuật cấp cao, bạn sẽ không thay thế Claude bằng một mô hình 8B nội địa.
Bài viết liên quan: