Tối ưu hóa AI: Cách tối ưu hóa nội dung của bạn để tìm kiếm và tác nhân AI

[theanh]

Bạn có muốn các công cụ tìm kiếm và tác nhân AI tìm và sử dụng nội dung của mình không?
SEO truyền thống là không đủ. Hệ thống AI xử lý thông tin theo cách khác.
Hướng dẫn này phân tích các tối ưu hóa chính để giúp nội dung của bạn luôn hiển thị và được xếp hạng trong kỷ nguyên AI.

TL;DR: Danh sách kiểm tra tối ưu hóa AI nhanh​

Để tối ưu hóa cho tìm kiếm và tác nhân AI:

• Giúp nội dung có thể truy cập được bằng HTML/markdown sạch và cấu trúc tốt.
• Cho phép trình thu thập thông tin AI trong robots.txt và các quy tắc tường lửa.
• Trả về nội dung nhanh chóng, với thông tin chính ở trên cùng.
• Sử dụng đánh dấu ngữ nghĩa, siêu dữ liệu và lược đồ.
• Tạo tệp llms.txt.
• Kiểm tra khả năng hiển thị AI của nội dung.

Truyền thống Tìm kiếm SEO so với AI: Những điểm khác biệt chính​

Nhiều người hỏi cách tối ưu hóa trang web cho tìm kiếm AI và các tác nhân thay vì SEO truyền thống.
Thông qua việc xây dựng Andi, một công cụ tìm kiếm AI, chúng tôi đã học được những điểm khác biệt chính trong cách tiếp cận.
Về phía AI, chúng tôi xử lý 30–50 triệu trang mỗi ngày để tìm nội dung chất lượng cho mục đích tìm kiếm, tóm tắt và trả lời câu hỏi.
Nhưng việc truy cập và trích xuất thông tin hữu ích không phải lúc nào cũng dễ dàng.
Sau đây là những gì chúng tôi đã học được về cách tạo nội dung thực sự thân thiện với AI.

Tốc độ và sự đơn giản là rất quan trọng​

• Nhiều hệ thống AI có thời gian chờ ngắn (1-5 giây) để truy xuất nội dung.
• Giả sử nội dung dài có thể bị cắt bớt hoặc xóa hoàn toàn sau thời gian chờ.

Văn bản có cấu trúc, sạch sẽ sẽ thắng thế​

• Nhiều trình thu thập thông tin AI không xử lý JavaScript tốt, nếu có. Cấu trúc nội dung hợp lý trong HTML thuần túy hoặc markdown là lý tưởng.

Siêu dữ liệu và ngữ nghĩa quan trọng hơn​

• Tiêu đề, mô tả, ngày tháng và đánh dấu schema.org rõ ràng giúp hệ thống AI hiểu nhanh nội dung của bạn.

Chặn trình thu thập thông tin có thể khiến bạn trở nên vô hình​

• Trong thế giới của các tác nhân AI, việc bảo vệ bot quá mức có thể cắt đứt bạn hoàn toàn.

Phân biệt đào tạo AI với quyền truy cập tìm kiếm AI​

• Một số trình thu thập dữ liệu AI thu thập dữ liệu đào tạo, trong khi những trình khác thu thập nội dung theo thời gian thực. Bạn có thể muốn các chính sách khác nhau cho từng trình thu thập.

Kiểm tra khả năng hiển thị AI của nội dung của bạn​

• Kiểm tra công cụ tìm kiếm AI: Dán URL vào andisearch.com. Nếu các tùy chọn như Tóm tắt hoặc Giải thích xuất hiện, thì trang của bạn có thể truy cập được và hữu ích cho AI.
• Kiểm tra tác nhân AI: Sử dụng Firecrawl để xem cách các tác nhân AI nhận thức và truy cập nội dung của bạn.

Tìm hiểu sâu hơn: Cách theo dõi khả năng hiển thị thương hiệu trên các kênh tìm kiếm AI

Các tối ưu hóa chính cho khả năng truy cập AI​

Cấu hình robots.txt cho trình thu thập thông tin AI​

• Thêm robots.txt có quyền truy cập khá mở. Cho phép hoặc không cho phép trình thu thập thông tin trên cơ sở từng trường hợp cụ thể.
• Đây là một ví dụ cho phép truy cập để tìm kiếm AI/tác nhân nhưng không cho phép thu thập dữ liệu đào tạo:

# Cho phép tìm kiếm AI và sử dụng tác nhân
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
User-agent: FirecrawlAgent
User-agent: AndiBot
User-agent: ExaBot
User-agent: PhindBot
User-agent: YouBot
Allow: /
# Không cho phép thu thập dữ liệu đào tạo AI
User-agent: GPTBot
User-agent: CCBot
User-agent: Google-Extended
Disallow: /
# Cho phép lập chỉ mục tìm kiếm truyền thống
User-agent: Googlebot
User-agent: Bingbot
Allow: /
# Không cho phép truy cập vào khu vực quản trị cho tất cả bot
User-agent: *
Disallow: /admin/
Disallow: /internal/
Sitemap: https://www.example.com/sitemap.xml

Tránh bảo vệ bot quá mức​

• Không sử dụng bảo vệ bot quá mức trên Cloudflare/AWS WAF.
• Điều này sẽ ngăn chặn trình thu thập dữ liệu và tác nhân AI truy cập vào nội dung của bạn. Thay vào đó, hãy cho phép các phạm vi IP của trung tâm dữ liệu lớn của Hoa Kỳ.

Tìm hiểu sâu hơn: 3 lý do không nên chặn GPTBot thu thập dữ liệu trang web của bạn

Tối ưu hóa tốc độ​

• Trả về nội dung nhanh nhất có thể, lý tưởng nhất là dưới một giây.
• Giữ nội dung chính ở vị trí cao trong HTML.

Sử dụng siêu dữ liệu rõ ràng và đánh dấu ngữ nghĩa​

• Ví dụ bao gồm:Thẻ SEO cơ bản: , và .
• Thẻ OpenGraph: Điều này cải thiện bản xem trước trong kết quả tìm kiếm AI.
• Đánh dấu Schema.org: Sử dụng JSON-LD cho dữ liệu có cấu trúc.
• Tiêu đề phù hợp cấu trúc: (H1-H6).
• Các yếu tố ngữ nghĩa: , và .

Giữ nội dung trên một trang duy nhất khi có thể​

• Tránh các nút "Đọc thêm" hoặc các bài viết nhiều trang.

Cung cấp quyền truy cập theo chương trình thông qua API (với thông số kỹ thuật OpenAPI) hoặc nguồn cấp RSS​

• Điều này cho phép truy cập nhanh hơn, nhiều hơn quyền truy cập có cấu trúc cho các công cụ AI.

Chỉ ra độ mới của nội dung​

• Sử dụng ngày hiển thị và thẻ để giúp AI hiểu thời điểm nội dung được xuất bản hoặc cập nhật.

Tạo tệp llms.txt​

• Đối với nội dung tài liệu hoặc tham khảo, hãy tạo tệp llms.txt. Sử dụng trình tạo Firecrawl.

Gửi sitemap.xml​

• Sử dụng sitemap.xml để hướng dẫn trình thu thập thông tin đến nội dung quan trọng.

Sử dụng favicon và hình ảnh chính​

• Công cụ tìm kiếm AI hiển thị nội dung một cách trực quan. Có một favicon.ico đơn giản và hình ảnh dẫn rõ ràng sẽ cải thiện khả năng hiển thị.

Tìm hiểu sâu hơn: Giải mã LLM: Cách hiển thị trong kết quả tìm kiếm AI tạo sinh

Các tác nhân người dùng của trình thu thập dữ liệu AI chính​

Khi định cấu hình robots.txt của bạn, hãy cân nhắc các trình thu thập dữ liệu AI chính sau:

• OpenAIGPTBot (dữ liệu đào tạo).
• ChatGPT-User (hành động của người dùng trong ChatGPT).
• OAI-SearchBot (kết quả tìm kiếm AI).

[*]Google

• Google-Extends (đào tạo AI).
• GoogleOther (sử dụng nhiều AI).

[*]Anthropic: ClaudeBot (bot hợp nhất cho nhiều mục đích sử dụng).[*]Andi: AndiBot.[*]Sự bối rối: PerplexityBot.[*]You.com: YouBot.[*]Phind: PhindBot.[*]Exa: ExaBot.[*]Firecrawl: FirecrawlAgent.[*]Thu thập thông tin thông thường: CCBot (được nhiều công ty AI sử dụng để đào tạo data).Để biết danh sách đầy đủ, cập nhật, hãy kiểm tra Dark Visitors.

Tối ưu hóa cho việc sử dụng máy tính của tác nhân AI​

Các tác nhân AI có thể sử dụng máy tính, như Browser Use hoặc Operator của OpenAI, là một lĩnh vực mới. Một số mẹo:

• Triển khai "thiết kế phản hồi tác nhân". Cấu trúc trang web của bạn sao cho AI có thể dễ dàng diễn giải và tương tác với trang web.
• Đảm bảo các thành phần tương tác như nút và trường văn bản được xác định rõ ràng và có thể truy cập được.
• Sử dụng các mẫu điều hướng nhất quán để giúp AI dự đoán và hiểu luồng trang web.
• Giảm thiểu các tương tác không cần thiết như lời nhắc đăng nhập hoặc cửa sổ bật lên có thể làm gián đoạn quá trình hoàn thành tác vụ của AI.
• Kết hợp các tính năng trợ năng web như nhãn ARIA, cũng giúp AI hiểu các thành phần của trang.
• Thường xuyên kiểm tra trang web của bạn bằng các tác nhân AI và lặp lại dựa trên kết quả.

Các nguồn lực cho các công ty khởi nghiệp công cụ phát triển​

Nếu bạn đang xây dựng các công cụ dành cho nhà phát triển, hãy tối ưu hóa khả năng hiển thị của AI:

• Duy trì tệp llms.txt được cập nhật.
• Cung cấp quyền truy cập dễ dàng vào các phiên bản HTML hoặc markdown sạch của tài liệu của bạn.
• Cân nhắc sử dụng các công cụ tài liệu như Theneo và Mintlify để tối ưu hóa khả năng truy cập AI.

Thông tin chi tiết cuối cùng​

Tối ưu hóa cho tìm kiếm AI là một quá trình liên tục, vì trình thu thập thông tin AI còn lâu mới hoàn hảo. Hiện tại:

• 34% yêu cầu của trình thu thập thông tin AI dẫn đến lỗi 404 hoặc các lỗi khác.
• Chỉ có Gemini và AppleBot của Google hiện đang hiển thị JavaScript trong số các trình thu thập thông tin AI chính.
• Trình thu thập thông tin AI cho thấy hiệu quả kém hơn 47 lần so với các trình thu thập thông tin truyền thống như Googlebot.
• Trình thu thập thông tin AI chiếm khoảng 28% khối lượng của Googlebot trong phân tích lưu lượng truy cập gần đây.

Khi lập chỉ mục AI được cải thiện, việc đi trước các xu hướng này sẽ giúp đảm bảo nội dung của bạn vẫn hiển thị được.
Hãy nhớ rằng, đó là sự cân bằng. Bạn muốn có thể tiếp cận các công cụ AI hữu ích trong khi vẫn bảo vệ khỏi những kẻ xấu.
Để biết thông tin chi tiết hơn, hãy xem các tài nguyên sau:

• Đặc tả LLMs.txt.
• Danh sách trình thu thập thông tin AI của Dark Visitors.
• Tài liệu về trình thu thập thông tin AI của Google.

Thế giới cũ của việc chặn tất cả các bot đã không còn nữa. Bạn muốn các tác nhân và trình thu thập thông tin AI xem nội dung của bạn và điều hướng các trang web của bạn. Tối ưu hóa ngay bây giờ và đi trước cuộc cách mạng AI!