الوصف
Expand هو مختبر بحث تطبيقي يبني أدوات تمكّن وكلاء الذكاء الاصطناعي من الوصول إلى الويب وفهمه بطريقة تشبه البشر. غالبًا ما تعتمد أدوات استخراج الويب التقليدية على تحليل HTML الخام، مما قد يفوت السياق المرئي الحاسم، والتخطيط، والبيانات المخفية التي تكون واضحة فقط في صفحة المتصفح المعروضة.
قراءة المزيد
تتناول Expand هذه المشكلة من خلال فتح أي عنوان URL في متصفح حقيقي، مما يسمح لنموذج Iris الخاص بها بتحليل الصفحة المعروضة بالكامل.
المنتج الأساسي، Fetch، يأخذ عنوان URL ويعيد محتوى الصفحة كـ Markdown منظم، مع الحفاظ على الجداول، والأيقونات، والتخطيط العام. من الضروري أيضًا أنه يستخرج بيانات JSON المخفية، المشار إليها باسم State JSON، والتي غالبًا ما تحتوي على البيانات الأساسية التي تدعم تطبيقات الويب الديناميكية. كل سطر من مخرجات Markdown مرتبط بمصدره الدقيق على الصفحة الأصلية، مما يوفر للوكلاء سياقًا يمكن التحقق منه لقراءاتم.
تقدم Expand مجموعة متنوعة من اللبنات الأساسية بخلاف Fetch. تعمل Iris وX-Ray على صفحات المتصفح، بينما تنشئ Wayback Machine لقطات قابلة للتكرار للصفحات التي تم جلبها. يحدد Highlights مقاطع ذات صلة على الصفحة للإجابة على أسئلة محددة، مما يقلل من الحاجة إلى معالجة الوكلاء لمستندات كاملة. تساعد Search الوكلاء في العثور على صفحات تستحق الجلب، وCrawl يمكّن الوكلاء من معالجة مواقع الويب بالكامل. WebSync يراقب المواقع باستمرار للتغييرات، مما يبقي الوكلاء على اطلاع.
تم تصميم المنصة للمطورين والوكلاء، حيث تقدم تكاملًا عبر CLI، وTypeScript SDK، وواجهة برمجة تطبيقات مباشرة. تتعامل تلقائيًا مع فحوصات الروبوتات الشائعة وCAPTCHAs مثل Cloudflare وTurnstile وreCAPTCHA للصفحات العامة، على الرغم من أنها لا تتجاوز تسجيل الدخول أو الجدران المدفوعة. التسعير يعتمد على الائتمانات، حيث تكلف 1,000 ائتمان 1 دولار. تكلف عملية Fetch القياسية 1 ائتمان، مع تكاليف إضافية للميزات مثل Highlights، والمستندات المحولة، ونماذج الرؤية، والفيديو، والصوت المنسوخ. النظام يتقاضى فقط مقابل المحتوى المقدم، وليس مقابل المحاولات الفاشلة.
تهدف Expand إلى تمكين وكلاء الذكاء الاصطناعي بفهم أكثر اكتمالاً ودقة للويب، متجاوزة تحليل HTML البسيط لتفسير السياق المرئي والغني بالبيانات للصفحات المعروضة. هذه القدرة حيوية لوكلاء الأداء في المهام المعقدة والتفاعل مع المعلومات عبر الإنترنت بفعالية مثل البشر.
- الفئةأدوات بناء وكلاء الذكاء الاصطناعي
- نموذج التسعيرقائم على الرصيد
- النشرسحابي
- المنصاتالويب
الميزات الأساسية لـ Expand
عرض المتصفح الحقيقي: يفتح عناوين URL في متصفح حقيقي لمعالجة الصفحات المعروضة، وليس فقط HTML.
مخرجات Markdown المنظمة: تعيد صفحات الويب كـ Markdown، مع الحفاظ على الجداول، والأيقونات، والتخطيط.
استخراج JSON المخفي (State JSON): يستخرج البيانات الأساسية من صفحات الويب الديناميكية.
ربط المصدر: كل سطر من المخرجات مرتبط بمكانه الدقيق على الصفحة الأصلية.
الوصول إلى واجهة برمجة التطبيقات: يوفر واجهة برمجة تطبيقات قوية للوكلاء للتفاعل مع محتوى الويب.
SDKs وCLI: يقدم TypeScript SDK وواجهة سطر الأوامر للتكامل.
تجاوز الروبوتات وCAPTCHA: يتعامل تلقائيًا مع فحوصات الروبوتات الشائعة وCAPTCHAs للصفحات العامة.
لقطات الصفحة: ينشئ لقطات قابلة للتكرار للصفحات التي تم جلبها.
تمييز المحتوى: يحدد ويستخرج مقاطع ذات صلة تجيب على أسئلة محددة.
زحف المواقع: يمكّن الوكلاء من زحف مواقع الويب بالكامل لجمع البيانات الشاملة.
مراقبة تغييرات الويب (WebSync): يراقب المواقع باستمرار للتحديثات والتغييرات.
الفوترة المعتمدة على الائتمانات: يتقاضى بناءً على الائتمانات المدفوعة مسبقًا للمخرجات المقدمة، وليس الرموز.
الإفصاح التدريجي: يعيد المحتوى الرئيسي أولاً، مع مؤشرات للبيانات المحتجزة من أجل الكفاءة.
روابط الاقتباس: يوفر روابط اقتباس لمقاطع مميزة للتحقق.
أدلة إعداد الوكلاء: يقدم /start.md لتكوين الوكلاء بسهولة.
كيفية استخدام Expand؟
توصيل الوكيل: استخدم /start.md، CLI، TypeScript SDK، أو واجهة برمجة التطبيقات لتكامل Expand مع وكيلك.
إرسال عنوان URL: قدم عنوان URL لصفحة إلى واجهة برمجة تطبيقات Fetch الخاصة بـ Expand.
استلام المخرجات المنظمة: احصل على الصفحة المعروضة مرة أخرى كـ Markdown، وState JSON، وSnapshot.
معالجة المحتوى: استخدم المخرجات المنظمة لمهام الوكيل، مستفيدًا من روابط المصدر للسياق.
استخراج التفاصيل: استخدم Highlights للعثور على مقاطع تجيب على الأسئلة أو وضع JSON للحقول المنفصلة.
مراقبة المواقع: نفذ Crawl لمعالجة الموقع بالكامل أو WebSync للكشف المستمر عن التغييرات.
حالات استخدام Expand
- الوصول إلى الويب لوكلاء الذكاء الاصطناعي
- استخراج البيانات المنظمة
- استخراج الويب الآلي
- تلخيص المحتوى
- مراقبة تغييرات المواقع
- تحليل محتوى الويب التاريخي
- تكامل أدوات المطورين
- سياق معزز للوكيل
- البحث وجمع البيانات
- المعلومات التنافسية





