Để đáp ứng nhu cầu về khả năng thu thập dữ liệu và khả năng lập chỉ mục nội dung web của các mô hình ngôn ngữ lớn, một đề xuất tiêu chuẩn mới cho AI/LLM của chuyên gia công nghệ người Úc Jeremy Howard đã có tại đây.
llms.txt do ông đề xuất có chức năng tương tự như robots.txt và các giao thức sơ đồ trang web XML, nhằm cho phép thu thập dữ liệu và khả năng đọc toàn bộ trang web, giảm bớt gánh nặng về tài nguyên cho LLM khi thu thập dữ liệu và khám phá nội dung trang web của bạn.
Nhưng nó cũng mang lại một lợi ích bổ sung – làm phẳng toàn bộ nội dung – và đây có thể là điều tốt cho các thương hiệu và người sáng tạo nội dung.
Mặc dù nhiều người sáng tạo nội dung quan tâm đến những ưu điểm tiềm năng của đề xuất này, nhưng nó cũng có những người phản đối.
Nhưng xét đến bối cảnh thay đổi nhanh chóng của nội dung được tạo ra trong thế giới trí tuệ nhân tạo, llms.txt chắc chắn đáng để thảo luận.
Mạnh mẽ và đầy tham vọng trong từng chi tiết, đề xuất được trích dẫn đưa ra nhiều điều cần cân nhắc về tương lai của quyền kiểm soát nội dung của người dùng trong nhu cầu dữ liệu và nội dung khổng lồ của LLM.
Nhưng một giao thức tiềm năng đơn giản hơn đã xuất hiện cho những người tạo nội dung web vào tháng 9 năm ngoái và mặc dù không rộng như đề xuất kia, llms.txt cung cấp một số đảm bảo về quyền kiểm soát tăng lên của chủ sở hữu, về mặt cái gì và mức độ nên được truy cập.
Hai đề xuất này không loại trừ lẫn nhau, nhưng giao thức llms.txt mới có vẻ tiến xa hơn.
Đề xuất llms.txt của Howard là một tiêu chuẩn lập chỉ mục và thu thập dữ liệu trang web bằng ngôn ngữ markdown đơn giản.
Với các mô hình AI tiêu thụ và tạo ra lượng nội dung web vô cùng lớn, chủ sở hữu nội dung đang tìm cách kiểm soát tốt hơn cách dữ liệu của họ được sử dụng hoặc ít nhất là tìm cách cung cấp ngữ cảnh về cách họ muốn dữ liệu được sử dụng.
Ngoài việc vượt qua ngưỡng khả năng thu thập dữ liệu cực kỳ cao của Google hoặc Bing, LLM cần một giải pháp cho phép họ tập trung ít hơn vào việc trở thành một công cụ thu thập dữ liệu khổng lồ và nhiều hơn vào phần "trí thông minh" trong các chức năng của họ, mặc dù chúng có thể là nhân tạo.
Về mặt lý thuyết, llms.txt cung cấp cách sử dụng tài nguyên kỹ thuật tốt hơn cho LLM.
Bài viết này sẽ khám phá:
Về bản chất, llms.txt cho phép bạn cung cấp ngữ cảnh về cách nội dung của bạn có thể được các mô hình do AI điều khiển truy cập và sử dụng.
Tương tự như robots.txt, kiểm soát cách trình thu thập thông tin của công cụ tìm kiếm (hoặc nên) tương tác với một trang web, llms.txt sẽ thiết lập các hướng dẫn cho các mô hình AI thu thập và xử lý nội dung để đào tạo và tạo phản hồi.
Không có "chặn" thực sự nào và các lệnh robots.txt (ví dụ: "Disallow:") không dành cho tệp llms.txt. Khi được thiết lập đúng cách, thì nó giống như một "lựa chọn" về nội dung nào sẽ được hiển thị theo ngữ cảnh hoặc toàn bộ cho nền tảng AI hơn.
Bạn có thể chỉ cần đặt URL của một phần trang web, thêm URL có tóm tắt về trang web hoặc thậm chí cung cấp toàn bộ văn bản thô của trang web trong một hoặc nhiều tệp.
Tệp llms.txt trên một trong các trang web của tôi dài 115.378 từ, kích thước tệp 966 kb và chứa toàn bộ văn bản trang web đã được làm phẳng trong một tệp .txt duy nhất, được lưu trữ trên gốc tên miền. Nhưng tệp của bạn có thể nhỏ hơn, thậm chí có khả năng lớn hơn kích thước tệp này hoặc thậm chí được chia thành nhiều tệp. Nó có thể được lưu trữ trong nhiều thư mục của phân loại và kiến trúc của bạn, khi cần.
Bạn cũng có thể tạo các phiên bản đánh dấu .md của mỗi trang web mà bạn tin rằng xứng đáng được LLM chú ý. Nó rất tiện dụng khi thực hiện phân tích trang web sâu và không chỉ dành cho LLM. Cũng giống như các trang web phục vụ nhiều mục đích sử dụng khác nhau, llms.txt cũng theo sau về mặt này, với nhiều biến thể có thể có để cung cấp ngữ cảnh cho LLM.
Nó cũng cung cấp một phương pháp chuẩn hóa để chủ sở hữu trang web cho phép hoặc không cho phép LLM thu thập và sử dụng nội dung của họ một cách rõ ràng. Đề xuất này đang thu hút sự chú ý trong số các nhà lãnh đạo ngành công nghệ và các chuyên gia SEO khi AI tiếp tục định hình lại bối cảnh kỹ thuật số. Tiện ích tuyệt đối để tăng tính liên quan là có, với lợi ích cho LLM, chủ sở hữu trang web và người dùng về mặt lý thuyết tìm thấy câu trả lời tốt hơn thông qua cái bắt tay văn bản nhỏ này.
Llms.txt hoạt động tương tự như robots.txt, chỉ theo nghĩa là tạo một tệp văn bản đơn giản trong thư mục gốc của trang web của họ. Giống như tiêu chuẩn tệp robots.txt, nó có thể được tuân thủ hoặc không, tùy thuộc vào việc tác nhân AI/LLM có muốn hay không. Nhưng để làm rõ một hiểu lầm phổ biến, KHÔNG CÓ ý định đưa các lệnh robots.txt vào tệp llms.txt.
Người tạo trang web và nội dung cũng có thể hưởng lợi rất nhiều từ tệp phẳng của trang web của họ. Sau khi tệp llms.txt được đặt, toàn bộ nội dung trang web có thể được phân tích, tuy nhiên nó có thể phù hợp với nhu cầu của phương pháp nghiên cứu của bạn.
Công cụ tạo llms.txt
Với giao thức cơ bản được nêu, có nhiều công cụ có sẵn để giúp tạo tệp của bạn. Tôi thấy rằng hầu hết sẽ tạo các trang web nhỏ hơn miễn phí và các trang web lớn hơn có thể là công việc tùy chỉnh. Tất nhiên, nhiều chủ sở hữu trang web sẽ chọn phát triển công cụ hoặc trình thu thập dữ liệu của riêng họ. Lưu ý - hãy nghiên cứu tính bảo mật của bất kỳ công cụ tạo nào trước khi sử dụng và xem xét các tệp của bạn trước khi tải lên. KHÔNG sử dụng bất kỳ công cụ nào mà không kiểm tra tính bảo mật trước. Sau đây là một số công cụ miễn phí để kiểm tra (nhưng vẫn tùy thuộc vào xác thực của bạn):
Về điểm này, tôi hoàn toàn đồng ý. Nhưng đối với tôi, giá trị tiềm năng chủ yếu nằm ở phiên bản hiển thị văn bản "đầy đủ" của tệp này.
Nhà tiếp thị David Ogletree cũng có những nghi ngại tương tự:
llms.txt đại diện cho nỗ lực ban đầu nhằm tạo ra sự minh bạch và kiểm soát việc sử dụng nội dung AI. Việc nó có trở thành một tiêu chuẩn được chấp nhận rộng rãi hay không phụ thuộc vào sự hỗ trợ của ngành, sự hỗ trợ của chủ sở hữu trang web, các diễn biến về quy định và sự sẵn sàng tuân thủ của các công ty AI.
Bạn nên cập nhật thông tin về llms.txt và chuẩn bị điều chỉnh các chiến lược nội dung của họ khi tìm kiếm và khám phá nội dung do AI thúc đẩy phát triển.
Việc giới thiệu llms.txt đánh dấu một bước tiến quan trọng hướng tới việc cân bằng giữa đổi mới AI với quyền sở hữu nội dung và "khả năng thu thập dữ liệu và lập chỉ mục" của các trang web để LLM sử dụng và phân tích.
Bạn nên chủ động tìm hiểu việc triển khai để bảo vệ tài sản kỹ thuật số của mình và cũng cung cấp cho LLM một lộ trình để hiểu rõ hơn về cấu trúc và nội dung của trang web của bạn.
Khi AI tiếp tục định hình lại tìm kiếm trực tuyến và phân phối nội dung, việc có một chiến lược xác định cho tương tác AI với trang web của bạn sẽ là điều cần thiết.
Bất kỳ từ viết tắt nào có chữ "O" lớn (tối ưu hóa) đều là kỹ thuật hộp đen. Hoặc, như một giám đốc phát triển công nghệ khác mà tôi từng làm việc cùng gọi là "phép thuật", "giả kim thuật" hoặc "thầy cúng kỹ thuật số".
Ví dụ:
Nếu bạn có lượng đối tượng nội dung rộng, thì việc khởi chạy tệp llms.txt của bạn ngay bây giờ có thể là điềm báo tốt cho bạn. Bạn không bao giờ biết LLM chuyên ngành hoặc chuyên sâu nào có thể muốn sử dụng nội dung của bạn cho một mục đích mới nào đó. Và trong một thế giới chuyển từ nhiều quyết định cần thiết của người tìm kiếm trên một trang kết quả lộn xộn, LLM cung cấp câu trả lời.
Nếu bạn đang chơi để giành chiến thắng, thì bạn muốn nội dung của mình là câu trả lời đó, vì nó có khả năng đáng giá vô số lượt tìm kiếm trên công cụ tìm kiếm.
Tôi đã bắt đầu triển khai llms.txt trên các trang web của riêng mình cách đây vài tháng và đang triển khai nó trên tất cả các trang web của khách hàng. Không có hại gì khi làm như vậy. Bất cứ điều gì có khả năng giúp "tối ưu hóa" nội dung của tôi đều nên được thực hiện, đặc biệt là khi là một tiêu chuẩn có khả năng được chấp nhận.
Tất cả các LLM có sử dụng nó không? Chắc chắn là nó thậm chí còn chưa đạt đến khối lượng tới hạn, nhưng một số đã báo cáo là có sự quan tâm.
Tệp llms.txt cũng có thể giúp bạn truy cập và thu thập thông tin trang web của riêng mình tốt hơn cho nhiều mục đích sử dụng AI khác nhau không? Chắc chắn là có.
Một trong những mục đích sử dụng chính mà tôi tìm thấy là phân tích các trang web của khách hàng theo nhiều cách khác nhau. Việc lưu toàn bộ nội dung trang web của bạn trong một tệp có thể cho phép thực hiện nhiều loại phân tích khác nhau mà trước đây không dễ để hiển thị.
Khi các công ty đang tìm kiếm ý tưởng mới để cải thiện sự hiện diện của họ như "câu trả lời" trong LLM, thì nó cung cấp một tín hiệu mới cho việc tối ưu hóa AI và có thể là một bước tiến trong việc kết nối với LLM theo cách mà trước đây chỉ có thể so sánh với các công cụ tìm kiếm.
Và đừng ngạc nhiên nếu bạn bắt đầu nghe nhiều học viên SEO/GEO nói về llms.txt hơn trong thời gian tới, như một yếu tố cơ bản để tối ưu hóa trang web, cùng với robots.txt, sơ đồ trang web XML, lược đồ, IndexNow và các thành phần khác.
llms.txt do ông đề xuất có chức năng tương tự như robots.txt và các giao thức sơ đồ trang web XML, nhằm cho phép thu thập dữ liệu và khả năng đọc toàn bộ trang web, giảm bớt gánh nặng về tài nguyên cho LLM khi thu thập dữ liệu và khám phá nội dung trang web của bạn.
Nhưng nó cũng mang lại một lợi ích bổ sung – làm phẳng toàn bộ nội dung – và đây có thể là điều tốt cho các thương hiệu và người sáng tạo nội dung.
Mặc dù nhiều người sáng tạo nội dung quan tâm đến những ưu điểm tiềm năng của đề xuất này, nhưng nó cũng có những người phản đối.
Nhưng xét đến bối cảnh thay đổi nhanh chóng của nội dung được tạo ra trong thế giới trí tuệ nhân tạo, llms.txt chắc chắn đáng để thảo luận.
Tiêu chuẩn mới được đề xuất cho khả năng truy cập AI vào nội dung trang web
Giám đốc điều hành Bluesky Jay Graber đã thúc đẩy cuộc thảo luận về quyền của người sáng tạo nội dung và kiểm soát dữ liệu, liên quan đến việc sử dụng để đào tạo AI, vào ngày 10 tháng 3 tại SXSW Interactive ở Austin, Texas.Mạnh mẽ và đầy tham vọng trong từng chi tiết, đề xuất được trích dẫn đưa ra nhiều điều cần cân nhắc về tương lai của quyền kiểm soát nội dung của người dùng trong nhu cầu dữ liệu và nội dung khổng lồ của LLM.
Nhưng một giao thức tiềm năng đơn giản hơn đã xuất hiện cho những người tạo nội dung web vào tháng 9 năm ngoái và mặc dù không rộng như đề xuất kia, llms.txt cung cấp một số đảm bảo về quyền kiểm soát tăng lên của chủ sở hữu, về mặt cái gì và mức độ nên được truy cập.
Hai đề xuất này không loại trừ lẫn nhau, nhưng giao thức llms.txt mới có vẻ tiến xa hơn.
Đề xuất llms.txt của Howard là một tiêu chuẩn lập chỉ mục và thu thập dữ liệu trang web bằng ngôn ngữ markdown đơn giản.
Với các mô hình AI tiêu thụ và tạo ra lượng nội dung web vô cùng lớn, chủ sở hữu nội dung đang tìm cách kiểm soát tốt hơn cách dữ liệu của họ được sử dụng hoặc ít nhất là tìm cách cung cấp ngữ cảnh về cách họ muốn dữ liệu được sử dụng.
Ngoài việc vượt qua ngưỡng khả năng thu thập dữ liệu cực kỳ cao của Google hoặc Bing, LLM cần một giải pháp cho phép họ tập trung ít hơn vào việc trở thành một công cụ thu thập dữ liệu khổng lồ và nhiều hơn vào phần "trí thông minh" trong các chức năng của họ, mặc dù chúng có thể là nhân tạo.
Về mặt lý thuyết, llms.txt cung cấp cách sử dụng tài nguyên kỹ thuật tốt hơn cho LLM.
Bài viết này sẽ khám phá:
- llms.txt là gì.
- Nó hoạt động như thế nào.
- Một số cách để suy nghĩ về nó.
- Liệu các LLM và chủ sở hữu nội dung có "mua vào" hay không.
- Tại sao bạn nên chú ý.
llms.txt là gì và nó làm gì
Đối với mục đích của bài viết này, tốt nhất là trích dẫn đề xuất của Howard để giúp tiết lộ những gì ông dự định thực hiện cho tiêu chuẩn mới này::Các ứng dụng tiềm năng cho giao thức được đề xuất này khá hấp dẫn đối với các lợi ích của GEO và tôi đã thử nghiệm nó kể từ tháng 12.
Về bản chất, llms.txt cho phép bạn cung cấp ngữ cảnh về cách nội dung của bạn có thể được các mô hình do AI điều khiển truy cập và sử dụng.
Tương tự như robots.txt, kiểm soát cách trình thu thập thông tin của công cụ tìm kiếm (hoặc nên) tương tác với một trang web, llms.txt sẽ thiết lập các hướng dẫn cho các mô hình AI thu thập và xử lý nội dung để đào tạo và tạo phản hồi.
Không có "chặn" thực sự nào và các lệnh robots.txt (ví dụ: "Disallow:") không dành cho tệp llms.txt. Khi được thiết lập đúng cách, thì nó giống như một "lựa chọn" về nội dung nào sẽ được hiển thị theo ngữ cảnh hoặc toàn bộ cho nền tảng AI hơn.
Bạn có thể chỉ cần đặt URL của một phần trang web, thêm URL có tóm tắt về trang web hoặc thậm chí cung cấp toàn bộ văn bản thô của trang web trong một hoặc nhiều tệp.
Tệp llms.txt trên một trong các trang web của tôi dài 115.378 từ, kích thước tệp 966 kb và chứa toàn bộ văn bản trang web đã được làm phẳng trong một tệp .txt duy nhất, được lưu trữ trên gốc tên miền. Nhưng tệp của bạn có thể nhỏ hơn, thậm chí có khả năng lớn hơn kích thước tệp này hoặc thậm chí được chia thành nhiều tệp. Nó có thể được lưu trữ trong nhiều thư mục của phân loại và kiến trúc của bạn, khi cần.
Bạn cũng có thể tạo các phiên bản đánh dấu .md của mỗi trang web mà bạn tin rằng xứng đáng được LLM chú ý. Nó rất tiện dụng khi thực hiện phân tích trang web sâu và không chỉ dành cho LLM. Cũng giống như các trang web phục vụ nhiều mục đích sử dụng khác nhau, llms.txt cũng theo sau về mặt này, với nhiều biến thể có thể có để cung cấp ngữ cảnh cho LLM.
Tạo tệp llms.txt hoặc llms-full.txt
Nó gần như "thanh lịch" trong sự đơn giản của nó, ở chỗ nó loại bỏ toàn bộ các trang web xuống bản chất ngôn ngữ và văn bản đơn thuần của chúng, giúp chúng dễ dàng phân tích cú pháp hơn bằng nền tảng yêu thích của bạn, cho vô số mục đích sử dụng trong phát triển nội dung, phân tích cấu trúc trang web, nghiên cứu thực thể và hầu như bất kỳ điều gì khác mà bạn có thể nghĩ ra.Nó cũng cung cấp một phương pháp chuẩn hóa để chủ sở hữu trang web cho phép hoặc không cho phép LLM thu thập và sử dụng nội dung của họ một cách rõ ràng. Đề xuất này đang thu hút sự chú ý trong số các nhà lãnh đạo ngành công nghệ và các chuyên gia SEO khi AI tiếp tục định hình lại bối cảnh kỹ thuật số. Tiện ích tuyệt đối để tăng tính liên quan là có, với lợi ích cho LLM, chủ sở hữu trang web và người dùng về mặt lý thuyết tìm thấy câu trả lời tốt hơn thông qua cái bắt tay văn bản nhỏ này.
Llms.txt hoạt động tương tự như robots.txt, chỉ theo nghĩa là tạo một tệp văn bản đơn giản trong thư mục gốc của trang web của họ. Giống như tiêu chuẩn tệp robots.txt, nó có thể được tuân thủ hoặc không, tùy thuộc vào việc tác nhân AI/LLM có muốn hay không. Nhưng để làm rõ một hiểu lầm phổ biến, KHÔNG CÓ ý định đưa các lệnh robots.txt vào tệp llms.txt.
Một số tệp llms.txt mẫu, đang hoạt động
- Anthropic: https://docs.anthropic.com/llms-full.txt
- Hugging Face: https://huggingface-projects-docs-llms-txt.hf.space/accelerate/llms.txt
- Perplexity: https://docs.perplexity.ai/llms-full.txt
- Trình quản lý LLMsTxt: https://llmstxtmanager.com/llms.txt
- Zapier: https://docs.zapier.com/llms-full.txt
Áp dụng
Nhiều LLM khác nhau đã lên tiếng ủng hộ tiêu chuẩn llms.txt và nhiều người đang sử dụng hoặc khám phá tính hữu ích của tiêu chuẩn này. llms.txt Hub đã biên soạn danh sách các nhà phát triển AI sử dụng tiêu chuẩn để lập tài liệu và tuyên bố là một trong những nguồn lớn nhất để xác định họ. Nhưng hãy nhớ rằng, llms.txt không chỉ dành cho các nhà phát triển, mà còn dành cho tất cả chủ sở hữu và nhà sản xuất nội dung web.Người tạo trang web và nội dung cũng có thể hưởng lợi rất nhiều từ tệp phẳng của trang web của họ. Sau khi tệp llms.txt được đặt, toàn bộ nội dung trang web có thể được phân tích, tuy nhiên nó có thể phù hợp với nhu cầu của phương pháp nghiên cứu của bạn.
Công cụ tạo llms.txt
Với giao thức cơ bản được nêu, có nhiều công cụ có sẵn để giúp tạo tệp của bạn. Tôi thấy rằng hầu hết sẽ tạo các trang web nhỏ hơn miễn phí và các trang web lớn hơn có thể là công việc tùy chỉnh. Tất nhiên, nhiều chủ sở hữu trang web sẽ chọn phát triển công cụ hoặc trình thu thập dữ liệu của riêng họ. Lưu ý - hãy nghiên cứu tính bảo mật của bất kỳ công cụ tạo nào trước khi sử dụng và xem xét các tệp của bạn trước khi tải lên. KHÔNG sử dụng bất kỳ công cụ nào mà không kiểm tra tính bảo mật trước. Sau đây là một số công cụ miễn phí để kiểm tra (nhưng vẫn tùy thuộc vào xác thực của bạn):
- Markdowner – Một công cụ mã nguồn mở miễn phí chuyển đổi nội dung trang web thành các tệp Markdown có cấu trúc tốt.
- Appify – Trình tạo llms.txt của Jacob Kopecky.
- Website LLM – Plugin WordPress này tạo tệp llms.txt cho bạn. Chỉ cần đặt chế độ thu thập thông tin thành "Post", "pages" hoặc cả hai là bạn đã có thể kinh doanh. Tôi là một trong mười người đầu tiên tải plugin này xuống; hiện đã có hơn 3.000 lượt tải xuống chỉ trong ba tháng.
- FireCrawl – Một trong những công cụ đầu tiên xuất hiện để tạo tệp llms.txt.
Tại sao llms.txt có thể quan trọng đối với SEO và GEO
Việc kiểm soát cách các mô hình AI tương tác với nội dung của bạn là rất quan trọng và chỉ cần có phiên bản trang web được làm phẳng hoàn toàn có thể giúp việc trích xuất, đào tạo và phân tích AI trở nên đơn giản hơn nhiều. Sau đây là một số lý do tại sao:- Bảo vệ nội dung độc quyền: Ngăn AI sử dụng nội dung gốc mà không được phép, nhưng chỉ dành cho các LLM chọn tuân thủ các chỉ thị.
- Quản lý danh tiếng thương hiệu: Về mặt lý thuyết, nó cung cấp cho các doanh nghiệp một số quyền kiểm soát đối với cách thông tin của họ xuất hiện trong các phản hồi do AI tạo ra.
- Phân tích ngôn ngữ và nội dung: Với phiên bản trang web được làm phẳng hoàn toàn, dễ dàng sử dụng bởi AI, bạn có thể thực hiện mọi loại phân tích thường yêu cầu một công cụ độc lập. Tần suất từ khóa, phân tích phân loại, phân tích thực thể, liên kết, phân tích cạnh tranh, v.v.
- Tương tác AI nâng cao: llms.txt giúp các LLM tương tác hiệu quả hơn với trang web của bạn, cho phép họ truy xuất thông tin chính xác và có liên quan. Không cần tiêu chuẩn nào cho tùy chọn này, chỉ cần một tệp sạch và phẳng của toàn bộ nội dung của bạn.
- Cải thiện khả năng hiển thị nội dung: Bằng cách hướng dẫn các hệ thống AI tập trung vào nội dung cụ thể, về mặt lý thuyết, llms.txt có thể "tối ưu hóa" trang web của bạn để lập chỉ mục AI, có khả năng cải thiện khả năng hiển thị của trang web của bạn trong kết quả tìm kiếm do AI hỗ trợ. Giống như SEO, không có gì đảm bảo. Nhưng xét về bản chất, bất kỳ sở thích nào mà LLM dành cho llms.txt đều là một bước tiến.
- Hiệu suất AI tốt hơn: Tệp đảm bảo rằng LLM có thể truy cập nội dung có giá trị nhất trên trang web của bạn, dẫn đến phản hồi AI chính xác hơn khi người dùng tương tác với các công cụ như chatbot hoặc công cụ tìm kiếm do AI hỗ trợ. Tôi sử dụng bản kết xuất "đầy đủ" của llms.txt và cá nhân tôi thấy phần tóm tắt hoặc danh sách URL không hữu ích hơn robots.txt hoặc sơ đồ trang web XML.
- Lợi thế cạnh tranh: Khi công nghệ AI tiếp tục phát triển, việc có tệp llms.txt có thể mang lại cho trang web của bạn lợi thế cạnh tranh bằng cách giúp trang web sẵn sàng hơn với AI.
Thách thức và hạn chế
Mặc dù llms.txt cung cấp giải pháp đầy hứa hẹn, nhưng vẫn còn một số thách thức chính:- Các công ty AI áp dụng: Không phải tất cả các công ty AI đều tuân thủ tiêu chuẩn và sẽ bỏ qua tệp và tiếp nhận toàn bộ nội dung của bạn theo bất kỳ cách nào.
- Các trang web áp dụng: Nói một cách đơn giản, các thương hiệu và nhà điều hành trang web sẽ phải tiến lên và tham gia nếu llms.txt thành công. Có thể không phải tất cả, nhưng sẽ cần một khối lượng lớn. Nếu không có bất kỳ loại "tối ưu hóa" khoa học nào khác đối với AI, thì chúng ta còn gì để mất? (Tôi vẫn thực sự nghĩ rằng việc áp dụng một thuật ngữ cũ như "tối ưu hóa" cho AI tạo sinh là một sai lầm. Nó chỉ có vẻ lười biếng về mặt ngôn ngữ).
- Trùng lặp với robots.txt và sơ đồ trang web XML: Các xung đột và sự không nhất quán tiềm ẩn giữa robots.txt, sơ đồ trang web XML và llms.txt có thể gây nhầm lẫn. Xin nhắc lại, tệp llms.txt không nhằm mục đích thay thế cho robots.txt. Như đã đề cập trước đó, tôi thấy giá trị nhất ở bản kết xuất "đầy đủ" của tệp văn bản.
- Từ khóa, nội dung và khả năng spam liên kết: Giống như việc nhồi nhét từ khóa được sử dụng trong thời kỳ SEO trước đây, không có gì ngăn cản bất kỳ ai lấp đầy llms.txt của họ bằng các khối lượng văn bản, từ khóa, liên kết và nội dung không cần thiết.
- Phơi bày nội dung của bạn cho các đối thủ cạnh tranh để họ tự phân tích. Mặc dù việc thu thập dữ liệu là nền tảng cơ bản của toàn bộ ngành tìm kiếm, nhưng nghiên cứu từ khóa và nội dung cạnh tranh không phải là điều gì mới mẻ. Nhưng việc có tệp đơn giản này sẽ hạ thấp rào cản một chút để các đối thủ cạnh tranh của bạn dễ dàng phân tích những gì bạn có - và không có - và sử dụng để tạo lợi thế cạnh tranh cho họ.
- “Chúng tôi không cần mọi người nghĩ rằng chúng [LLM] khác với bất kỳ con nhện nào khác. Ranh giới phân chia giữa ‘công cụ tìm kiếm’ và ‘llm’ hầu như không còn có thể tranh cãi nữa. Google, Perplexity và ChatGPT đã làm mờ ranh giới đó thành một ranh giới rất mờ nhạt với các phản hồi AI trên SERP. Yếu tố phân biệt duy nhất là Google là một công cụ tìm kiếm có LLM được gắn vào và ChatGPT là một LLM có công cụ tìm kiếm được gắn vào. Trong tương lai, rõ ràng là Google sẽ hợp nhất LLM của họ trực tiếp với cơ sở mã của công cụ tìm kiếm và xóa bỏ mọi ranh giới còn lại giữa hai bên. LLMs.txt chỉ đơn giản là làm lu mờ thực tế đó.”
Về điểm này, tôi hoàn toàn đồng ý. Nhưng đối với tôi, giá trị tiềm năng chủ yếu nằm ở phiên bản hiển thị văn bản "đầy đủ" của tệp này.
Nhà tiếp thị David Ogletree cũng có những nghi ngại tương tự:
- “Nếu có một điểm mấu chốt, thì đó là tôi thực sự không muốn mọi người tiếp tục ý tưởng rằng có sự khác biệt giữa LLM và Google. Đối với tôi, chúng là một và nên được đối xử như nhau.”
Tương lai của llms.txt và quản trị nội dung AI
Khi việc áp dụng AI tiếp tục tăng lên, nhu cầu quản trị nội dung có cấu trúc cũng tăng theo.llms.txt đại diện cho nỗ lực ban đầu nhằm tạo ra sự minh bạch và kiểm soát việc sử dụng nội dung AI. Việc nó có trở thành một tiêu chuẩn được chấp nhận rộng rãi hay không phụ thuộc vào sự hỗ trợ của ngành, sự hỗ trợ của chủ sở hữu trang web, các diễn biến về quy định và sự sẵn sàng tuân thủ của các công ty AI.
Bạn nên cập nhật thông tin về llms.txt và chuẩn bị điều chỉnh các chiến lược nội dung của họ khi tìm kiếm và khám phá nội dung do AI thúc đẩy phát triển.
Việc giới thiệu llms.txt đánh dấu một bước tiến quan trọng hướng tới việc cân bằng giữa đổi mới AI với quyền sở hữu nội dung và "khả năng thu thập dữ liệu và lập chỉ mục" của các trang web để LLM sử dụng và phân tích.
Bạn nên chủ động tìm hiểu việc triển khai để bảo vệ tài sản kỹ thuật số của mình và cũng cung cấp cho LLM một lộ trình để hiểu rõ hơn về cấu trúc và nội dung của trang web của bạn.
Khi AI tiếp tục định hình lại tìm kiếm trực tuyến và phân phối nội dung, việc có một chiến lược xác định cho tương tác AI với trang web của bạn sẽ là điều cần thiết.
llms.txt có thể tạo ra một chút khoa học cho GEO
Trong GEO, giống như SEO, về cơ bản là hầu như không có tiêu chuẩn khoa học nào để người tạo web dựa vào. Nói cách khác, các phương pháp thực hành nền tảng tốt nhất có thể xác minh dựa trên các chiến thuật cụ thể.Bất kỳ từ viết tắt nào có chữ "O" lớn (tối ưu hóa) đều là kỹ thuật hộp đen. Hoặc, như một giám đốc phát triển công nghệ khác mà tôi từng làm việc cùng gọi là "phép thuật", "giả kim thuật" hoặc "thầy cúng kỹ thuật số".
Ví dụ:
- Khi Google nói "tạo nội dung tuyệt vời cho người dùng, và sau đó bạn sẽ thành công trong tìm kiếm" - đó là một dự án nghệ thuật của bạn.
- Khi Google nói "chúng tôi theo dõi sơ đồ trang web XML như một phần trong hành trình thu thập thông tin của mình và có một vị trí cho nó trong Google Search Console", thì đó là một chút khoa học.
- Và tương tự đối với schema.org, robots.txt và thậm chí cả IndexNow. Đây là các tiêu chuẩn "đã được thống nhất" mà các công cụ tìm kiếm nói với chúng tôi một cách chắc chắn, "chúng tôi có cân nhắc các giao thức này, mặc dù theo quyết định riêng của chúng tôi".
Nếu bạn có lượng đối tượng nội dung rộng, thì việc khởi chạy tệp llms.txt của bạn ngay bây giờ có thể là điềm báo tốt cho bạn. Bạn không bao giờ biết LLM chuyên ngành hoặc chuyên sâu nào có thể muốn sử dụng nội dung của bạn cho một mục đích mới nào đó. Và trong một thế giới chuyển từ nhiều quyết định cần thiết của người tìm kiếm trên một trang kết quả lộn xộn, LLM cung cấp câu trả lời.
Nếu bạn đang chơi để giành chiến thắng, thì bạn muốn nội dung của mình là câu trả lời đó, vì nó có khả năng đáng giá vô số lượt tìm kiếm trên công cụ tìm kiếm.
Tôi đã bắt đầu triển khai llms.txt trên các trang web của riêng mình cách đây vài tháng và đang triển khai nó trên tất cả các trang web của khách hàng. Không có hại gì khi làm như vậy. Bất cứ điều gì có khả năng giúp "tối ưu hóa" nội dung của tôi đều nên được thực hiện, đặc biệt là khi là một tiêu chuẩn có khả năng được chấp nhận.
Tất cả các LLM có sử dụng nó không? Chắc chắn là nó thậm chí còn chưa đạt đến khối lượng tới hạn, nhưng một số đã báo cáo là có sự quan tâm.
Tệp llms.txt cũng có thể giúp bạn truy cập và thu thập thông tin trang web của riêng mình tốt hơn cho nhiều mục đích sử dụng AI khác nhau không? Chắc chắn là có.
Một trong những mục đích sử dụng chính mà tôi tìm thấy là phân tích các trang web của khách hàng theo nhiều cách khác nhau. Việc lưu toàn bộ nội dung trang web của bạn trong một tệp có thể cho phép thực hiện nhiều loại phân tích khác nhau mà trước đây không dễ để hiển thị.
Liệu nó có trở thành tiêu chuẩn không?
Chắc chắn vẫn phải chờ xem. llms.txt còn một chặng đường dài phía trước, nhưng tôi không cược rằng nó sẽ thành hiện thực.Khi các công ty đang tìm kiếm ý tưởng mới để cải thiện sự hiện diện của họ như "câu trả lời" trong LLM, thì nó cung cấp một tín hiệu mới cho việc tối ưu hóa AI và có thể là một bước tiến trong việc kết nối với LLM theo cách mà trước đây chỉ có thể so sánh với các công cụ tìm kiếm.
Và đừng ngạc nhiên nếu bạn bắt đầu nghe nhiều học viên SEO/GEO nói về llms.txt hơn trong thời gian tới, như một yếu tố cơ bản để tối ưu hóa trang web, cùng với robots.txt, sơ đồ trang web XML, lược đồ, IndexNow và các thành phần khác.
