Fix AI scraping with Jina Reader/Search and require Qwen for summaries

ai_ext.py

@@ -1,5 +1,5 @@
 import os, re, json, time, random, html as html_lib
-from urllib.parse import quote_plus, urlparse
+from urllib.parse import quote_plus, quote, urlparse
 from typing import Optional
 import requests
 from bs4 import BeautifulSoup
@@ -45,6 +45,62 @@ def _clean_text(s: str) -> str:
     return re.sub(r"\s+", " ", s).strip()
 
 
+def _domain(u):
+    try:
+        return urlparse(u).netloc.replace("www.", "")
+    except Exception:
+        return ""
+
+
+def _reader_url(target_url: str) -> str:
+    safe = quote(target_url, safe=":/?#[]@!$&'()*+,;=%")
+    return "https://r.jina.ai/http://" + safe
+
+
+def jina_reader_markdown(url: str) -> str:
+    """No-key fallback for sites blocking direct scrape, returns markdown/text."""
+    jr = _reader_url(url)
+    r = requests.get(jr, headers={"Accept":"text/markdown,text/plain,*/*", "X-Return-Format":"markdown", "User-Agent":"Mozilla/5.0"}, timeout=35)
+    r.raise_for_status()
+    return r.text or ""
+
+
+def _parse_jina_markdown(md: str, url: str):
+    lines = [x.rstrip() for x in (md or "").splitlines()]
+    title = ""
+    image = ""
+    content_lines = []
+    in_content = False
+    for ln in lines:
+        if ln.startswith("Title:") and not title:
+            title = _clean_text(ln.replace("Title:", "", 1))
+            continue
+        if ln.startswith("URL Source:"):
+            continue
+        if ln.startswith("Markdown Content:"):
+            in_content = True
+            continue
+        if re.search(r'!\[[^\]]*\]\((https?://[^)]+)\)', ln) and not image:
+            m = re.search(r'!\[[^\]]*\]\((https?://[^)]+)\)', ln)
+            if m:image = m.group(1)
+        if in_content or (title and not ln.startswith("Title:")):
+            if ln.strip():
+                content_lines.append(ln)
+    text = "\n".join(content_lines)
+    text = re.sub(r'!\[[^\]]*\]\([^)]+\)', '', text)
+    text = re.sub(r'\[[^\]]+\]\((https?://[^)]+)\)', lambda m: m.group(0).split('](')[0].strip('['), text)
+    paras = []
+    for part in re.split(r'\n{2,}|\n(?=#{1,3}\s)', text):
+        t = _clean_text(re.sub(r'^#{1,6}\s*', '', part))
+        if len(t) >= 40:
+            paras.append(t)
+        if len(paras) >= 35:
+            break
+    if not title and paras:
+        title = paras[0][:90]
+    return {"url": url, "title": title or url, "summary": paras[0] if paras else "", "text": "\n".join(paras), "image": image, "images": [image] if image else [], "via":"jina"}
+
+
 def _best_content_block(soup):
     best, best_score = None, 0
     for el in soup.find_all(["article", "main", "section", "div"]):
@@ -59,8 +115,11 @@ def _best_content_block(soup):
     return best
 
 
-def scrape_any_url(url: str):
+def scrape_any_url_direct(url: str):
     r = requests.get(url, headers=HEADERS, timeout=18)
+    # If site blocks or returns almost empty content, let caller fallback to Jina.
+    if r.status_code in {401, 403, 406, 409, 429, 451, 503}:
+        raise RuntimeError(f"blocked status {r.status_code}")
     r.encoding = "utf-8"
     soup = BeautifulSoup(r.text, "lxml")
     for tag in soup.find_all(["script", "style", "nav", "footer", "aside", "form", "noscript"]):
@@ -95,7 +154,22 @@ def scrape_any_url(url: str):
             break
     if not image and images:
         image = images[0]
-    return {"url": url, "title": _clean_text(title), "summary": _clean_text(summary), "text": "\n".join(paras), "image": image, "images": images}
+    data = {"url": url, "title": _clean_text(title), "summary": _clean_text(summary), "text": "\n".join(paras), "image": image, "images": images, "via":"direct"}
+    if len(data["text"]) < 160:
+        raise RuntimeError("direct scrape too short")
+    return data
+
+
+def scrape_any_url(url: str):
+    """Direct scrape first, Jina Reader fallback for blocked JS/WAF sites like vatvostudio.vn."""
+    try:
+        return scrape_any_url_direct(url)
+    except Exception as direct_error:
+        md = jina_reader_markdown(url)
+        data = _parse_jina_markdown(md, url)
+        if len(data.get("text", "")) < 120:
+            raise RuntimeError(f"Jina Reader also returned too little content; direct={direct_error}")
+        return data
 
 
 def pollinations_image_url(topic: str, width=1024, height=576):
@@ -103,53 +177,58 @@ def pollinations_image_url(topic: str, width=1024, height=576):
     return f"https://image.pollinations.ai/prompt/{quote_plus(prompt)}?width={width}&height={height}&seed={random.randint(1,999999)}&nologo=true&private=true"
 
 
-def _domain(u):
+def jina_search(query: str, limit=6):
+    """No-key Jina Search; stronger than DuckDuckGo HTML scraping."""
     try:
-        return urlparse(u).netloc.replace("www.", "")
+        url = "https://s.jina.ai/" + quote(query, safe="")
+        r = requests.get(url, headers={"Accept":"application/json", "User-Agent":"Mozilla/5.0"}, timeout=30)
+        if r.status_code == 200 and r.text.strip().startswith("{"):
+            payload = r.json()
+            data = payload.get("data", [])
+            if isinstance(data, dict):data=[data]
+            out=[]
+            for item in data[:limit]:
+                out.append({"title":_clean_text(item.get("title","")),"url":item.get("url",""),"description":_clean_text(item.get("description","")),"content":_clean_text(item.get("content",""))[:1200]})
+            if out:return out
     except Exception:
-        return ""
+        pass
+    return []
 
 
-def web_context(topic: str, limit=6):
-    """Search web and fetch short excerpts from result pages so topic posts are grounded, not generic."""
-    results = []
+def duck_context(topic: str, limit=6):
     try:
-        search_url = "https://duckduckgo.com/html/?q=" + quote_plus(topic + " tin tức phân tích bối cảnh")
-        r = requests.get(search_url, headers=HEADERS, timeout=12)
+        url = "https://duckduckgo.com/html/?q=" + quote_plus(topic + " tin tức phân tích bối cảnh")
+        r = requests.get(url, headers=HEADERS, timeout=12)
         soup = BeautifulSoup(r.text, "lxml")
-        for res in soup.select(".result")[:limit * 2]:
-            a = res.select_one(".result__a") or res.select_one("a.result__url") or res.find("a", href=True)
+        results=[]
+        for res in soup.select(".result")[:limit]:
+            a = res.select_one(".result__a") or res.find("a", href=True)
             href = a.get("href", "") if a else ""
             title = _clean_text(a.get_text(" ", strip=True) if a else "")
             sn = res.select_one(".result__snippet")
             snippet = _clean_text(sn.get_text(" ", strip=True) if sn else "")
-            if href.startswith("//duckduckgo.com/l/?"):
-                # DDG redirect URLs often include uddg=<encoded>; keep as fallback if parsing fails.
-                import urllib.parse as up
-                q = up.urlparse("https:" + href).query
-                href = up.parse_qs(q).get("uddg", [href])[0]
-            if href.startswith("http") and (title or snippet):
-                results.append({"title": title, "url": href, "snippet": snippet})
-            if len(results) >= limit:
-                break
+            if title or snippet:results.append({"title":title,"url":href,"description":snippet,"content":snippet})
+        return results
     except Exception:
-        pass
-    # Fetch excerpts from top pages; this makes output much less generic.
-    enriched = []
-    for item in results[:4]:
-        excerpt = item.get("snippet", "")
-        try:
-            page = scrape_any_url(item["url"])
-            text = page.get("summary") or page.get("text", "")
-            text = _clean_text(text)[:650]
-            if text:
-                excerpt = text
-        except Exception:
-            pass
-        enriched.append({**item, "excerpt": excerpt})
-    if not enriched and results:
-        enriched = [{**x, "excerpt": x.get("snippet", "")} for x in results]
-    context = "\n".join([f"- {x.get('title') or _domain(x.get('url',''))} ({_domain(x.get('url',''))}): {x.get('excerpt','')}" for x in enriched if x.get("excerpt") or x.get("title")])
+        return []
+
+
+def web_context(topic: str, limit=6):
+    results = jina_search(topic + " tin tức phân tích bối cảnh", limit=limit)
+    if not results:
+        results = duck_context(topic, limit=limit)
+    # Enrich first 2 results with Reader if content short.
+    enriched=[]
+    for item in results[:limit]:
+        content = item.get("content") or item.get("description") or ""
+        if len(content) < 250 and item.get("url", "").startswith("http"):
+            try:
+                page = scrape_any_url(item["url"])
+                content = (page.get("summary") or "") + " " + page.get("text", "")[:900]
+            except Exception:
+                pass
+        enriched.append({**item, "excerpt": _clean_text(content)[:1200]})
+    context = "\n".join([f"- {x.get('title') or _domain(x.get('url',''))} ({_domain(x.get('url',''))}): {x.get('excerpt') or x.get('description','')}" for x in enriched if x.get("excerpt") or x.get("title")])
     return context, enriched
 
 
@@ -173,19 +252,6 @@ async def qwen_generate(prompt: str, image_url: Optional[str] = None, max_tokens
         return None
 
 
-def fallback_rewrite(title, raw_text):
-    text = _clean_text(raw_text)
-    chunks = []
-    while text and len(chunks) < 7:
-        part = text[:620]
-        cut = max(part.rfind(". "), part.rfind("! "), part.rfind("? "))
-        if cut > 220:
-            part = part[:cut+1]
-        chunks.append(part.strip())
-        text = text[len(part):].strip()
-    return f"{title}\n\n" + "\n\n".join(chunks)
-
-
 def make_post(title, text, image, source_url, kind, sources=None):
     return {"id": str(int(time.time()*1000)) + str(random.randint(100,999)), "title": title, "text": text, "img": image, "url": source_url, "kind": kind, "sources": sources or [], "ts": int(time.time())}
 
@@ -199,15 +265,16 @@ def api_ai_wall():
 async def api_ai_topic(request: Request):
     body = await request.json()
     topic = _clean_text(body.get("topic", ""))
-    if not topic:
-        return JSONResponse({"error":"missing topic"}, status_code=400)
+    if not topic:return JSONResponse({"error":"missing topic"}, status_code=400)
     ctx, sources = web_context(topic)
+    if not ctx:
+        return JSONResponse({"error":"Không lấy được dữ liệu internet cho chủ đề này. Hãy thử chủ đề cụ thể hơn."}, status_code=422)
     image = pollinations_image_url(topic)
     prompt = f"""
 Hãy viết một dàn ý bài viết tiếng Việt tự nhiên cho chủ đề: {topic}
 
 Yêu cầu:
-- Phải dựa trên các nguồn/bối cảnh internet bên dưới; nếu nguồn không đủ, nói rõ góc nhìn là tổng quan.
+- Phải dựa trên các nguồn/bối cảnh internet bên dưới.
 - Có tiêu đề hấp dẫn nhưng không giật tít.
 - 1 đoạn mở bài ngắn nêu bối cảnh thực tế.
 - 5-7 luận điểm chính, mỗi luận điểm có 1-2 câu giải thích cụ thể.
@@ -216,76 +283,66 @@ Yêu cầu:
 - Văn phong tự nhiên, dễ đọc.
 
 Bối cảnh/nguồn tìm được trên internet:
-{ctx or 'Không lấy được nguồn cụ thể; hãy viết tổng quan, tránh khẳng định số liệu hoặc sự kiện cụ thể.'}
+{ctx}
 """
-    text = await qwen_generate(prompt, image_url=image, max_tokens=1500)
+    text = await qwen_generate(prompt, image_url=image, max_tokens=1600)
     if not text:
-        source_lines = "\n".join([f"• {s.get('title') or _domain(s.get('url',''))} ({_domain(s.get('url',''))})" for s in sources[:4]])
-        text = f"{topic}\n\nMở bài: Chủ đề này có nhiều khía cạnh cần xem xét trong bối cảnh hiện nay.\n\nDàn ý:\n• Bối cảnh chung: {sources[0]['excerpt'][:220] if sources else 'Cần nhìn chủ đề trong mối liên hệ với đời sống, công nghệ và xã hội.'}\n• Vì sao đáng chú ý: chủ đề có thể tác động tới cách người dùng tiếp nhận thông tin hoặc ra quyết định.\n• Các tác động chính: cần xem xét cả lợi ích, rủi ro và nhóm đối tượng chịu ảnh hưởng.\n• Góc nhìn thực tiễn: nên đối chiếu nhiều nguồn thay vì dựa vào một nhận định đơn lẻ.\n• Hướng khai thác bài viết: đặt câu hỏi điều gì đang thay đổi, ai được lợi, ai gặp rủi ro.\n\nKết luận: Đây là chủ đề nên được trình bày cân bằng, có dẫn nguồn và tránh khẳng định quá mức.\n\nNguồn tham khảo:\n{source_lines}"
+        return JSONResponse({"error":"Qwen2.5-VL chưa sẵn sàng hoặc thiếu HF_TOKEN, nên không thể tạo bài từ chủ đề theo yêu cầu."}, status_code=503)
     post = make_post(topic, text, image, "", "topic", sources=sources[:5])
-    posts = _load_ai_wall(); posts.insert(0, post); _save_ai_wall(posts)
-    return JSONResponse({"post": post})
+    posts=_load_ai_wall();posts.insert(0,post);_save_ai_wall(posts)
+    return JSONResponse({"post":post})
 
 
 @app.post("/api/ai/url")
 async def api_ai_url(request: Request):
-    body = await request.json()
-    url = _clean_text(body.get("url", ""))
-    if not url.startswith("http"):
-        return JSONResponse({"error":"missing url"}, status_code=400)
-    try:
-        data = scrape_any_url(url)
-    except Exception:
-        return JSONResponse({"error":"Không scrape được URL"}, status_code=422)
-    raw = (data.get("summary", "") + "\n" + data.get("text", "")).strip()
-    if len(raw) < 80:
-        return JSONResponse({"error":"URL không có đủ nội dung để tóm tắt"}, status_code=422)
-    prompt = f"""
+    body=await request.json();url=_clean_text(body.get("url", ""))
+    if not url.startswith("http"):return JSONResponse({"error":"missing url"}, status_code=400)
+    try:data=scrape_any_url(url)
+    except Exception as e:return JSONResponse({"error":"Không scrape được URL: "+str(e)[:180]}, status_code=422)
+    raw=(data.get("summary","")+"\n"+data.get("text","")).strip()
+    if len(raw)<120:return JSONResponse({"error":"URL không có đủ nội dung để Qwen tóm tắt"}, status_code=422)
+    prompt=f"""
 Hãy đọc nội dung scrape dưới đây và viết lại thành một bài ngắn gọn đưa lên Tường AI VNEWS.
 
 Yêu cầu:
+- BẮT BUỘC dùng nội dung nguồn, không tự bịa.
 - Không cắt khúc, không bỏ mất ý chính.
 - 3-6 đoạn ngắn, văn phong tự nhiên.
 - Giữ sự kiện, nhân vật, bối cảnh đúng theo nguồn.
 - Không thêm chi tiết không có trong nguồn.
-- Có thể dùng ảnh như bối cảnh thị giác nếu ảnh được cung cấp.
 
 Tiêu đề gốc: {data.get('title','')}
+Nguồn scrape: {data.get('via','')}
 Nội dung gốc:
-{raw[:15000]}
+{raw[:16000]}
 """
-    text = await qwen_generate(prompt, image_url=data.get("image") or None, max_tokens=1700)
+    text=await qwen_generate(prompt, image_url=data.get("image") or None, max_tokens=1800)
     if not text:
-        text = fallback_rewrite(data.get("title", "Bài viết"), raw)
-    post = make_post(data.get("title") or "Bài viết", text, data.get("image") or "", url, "url", sources=[{"title": data.get("title"), "url": url, "excerpt": raw[:500]}])
-    posts = _load_ai_wall(); posts.insert(0, post); _save_ai_wall(posts)
-    return JSONResponse({"post": post})
+        return JSONResponse({"error":"Qwen2.5-VL chưa sẵn sàng hoặc thiếu HF_TOKEN, nên không thể tóm tắt theo yêu cầu bắt buộc."}, status_code=503)
+    post=make_post(data.get("title") or "Bài viết", text, data.get("image") or "", url, "url", sources=[{"title":data.get("title"),"url":url,"excerpt":raw[:500],"via":data.get("via")}])
+    posts=_load_ai_wall();posts.insert(0,post);_save_ai_wall(posts)
+    return JSONResponse({"post":post})
 
 
 @app.post("/api/rewrite_share")
 async def api_rewrite_share(request: Request):
-    body = await request.json()
-    url = _clean_text(body.get("url", ""))
-    if not url.startswith("http"):
-        return JSONResponse({"error":"missing url"}, status_code=400)
-    try:
-        data = scrape_any_url(url)
-    except Exception:
-        return JSONResponse({"error":"Không đọc được bài viết"}, status_code=422)
-    raw = (data.get("summary", "") + "\n" + data.get("text", "")).strip()
-    prompt = f"Viết lại bài sau bằng tiếng Việt tự nhiên, đầy đủ ý, không cắt cụt, 4-7 đoạn:\n\nTiêu đề: {data.get('title','')}\n\nNội dung:\n{raw[:15000]}"
-    text = await qwen_generate(prompt, image_url=data.get("image") or None, max_tokens=1700)
-    if not text:
-        text = fallback_rewrite(data.get("title", "Bài viết"), raw)
-    post = make_post(data.get("title") or "Bài viết", text, data.get("image") or "", url, "rewrite")
-    posts = _load_ai_wall(); posts.insert(0, post); _save_ai_wall(posts)
-    return JSONResponse({"post": post})
+    body=await request.json();url=_clean_text(body.get("url", ""))
+    if not url.startswith("http"):return JSONResponse({"error":"missing url"}, status_code=400)
+    try:data=scrape_any_url(url)
+    except Exception as e:return JSONResponse({"error":"Không đọc được bài viết: "+str(e)[:180]}, status_code=422)
+    raw=(data.get("summary","")+"\n"+data.get("text","")).strip()
+    prompt=f"Viết lại bài sau bằng tiếng Việt tự nhiên, đầy đủ ý, không cắt cụt, 4-7 đoạn. Không thêm chi tiết ngoài nguồn.\n\nTiêu đề: {data.get('title','')}\n\nNội dung:\n{raw[:16000]}"
+    text=await qwen_generate(prompt, image_url=data.get("image") or None, max_tokens=1800)
+    if not text:return JSONResponse({"error":"Qwen2.5-VL chưa sẵn sàng hoặc thiếu HF_TOKEN."}, status_code=503)
+    post=make_post(data.get("title") or "Bài viết", text, data.get("image") or "", url, "rewrite")
+    posts=_load_ai_wall();posts.insert(0,post);_save_ai_wall(posts)
+    return JSONResponse({"post":post})
 
 
 # Override index route to inject AI composer/wall without modifying large index.html.
-app.router.routes = [r for r in app.router.routes if not (getattr(r, 'path', None) == '/' and 'GET' in getattr(r, 'methods', set()))]
+app.router.routes=[r for r in app.router.routes if not (getattr(r,'path',None)=='/' and 'GET' in getattr(r,'methods',set()))]
 
-AI_INJECT = r'''
+AI_INJECT=r'''
 <style>
 .ai-compose{margin:6px 4px;background:#141414;border:1px solid #2b2b2b;border-radius:10px;padding:10px}.ai-compose-title{font-size:13px;color:#5cb87a;font-weight:800;margin-bottom:8px}.ai-row{display:flex;gap:6px;margin-bottom:6px}.ai-row input{flex:1;background:#222;border:1px solid #333;color:#eee;border-radius:8px;padding:8px;font-size:12px}.ai-row button{background:#2d8659;border:0;color:white;border-radius:8px;padding:8px 10px;font-size:12px;font-weight:700}.ai-row button.secondary{background:#333}.ai-wall-extra{margin:6px 4px;background:#1a1a1a;border:1px solid #2a2a2a;border-radius:8px;overflow:hidden}.ai-wall-card{flex:0 0 250px;background:#141414;border:1px solid #2b2b2b;border-radius:10px;padding:8px}.ai-wall-img{width:100%;aspect-ratio:16/9;background:#222;border-radius:8px;overflow:hidden;margin-bottom:6px}.ai-wall-img img{width:100%;height:100%;object-fit:cover}.ai-wall-title{font-size:12px;color:#5cb87a;font-weight:800;line-height:1.3;margin-bottom:4px}.ai-wall-text{font-size:11px;color:#bbb;line-height:1.45;white-space:pre-wrap;display:-webkit-box;-webkit-line-clamp:5;-webkit-box-orient:vertical;overflow:hidden}.ai-wall-card button{margin-top:8px;width:100%;border:1px solid #333;background:#222;color:#ddd;border-radius:14px;padding:6px 8px;font-size:10px}</style>
 <script>
@@ -299,14 +356,13 @@ window.aiReadWall=function(i){const p=aiWall[i];if(!p)return;showView('view-arti
 async function postJson(url,data){const st=document.getElementById('ai-compose-status');if(st)st.textContent='AI đang xử lý...';const r=await fetch(url,{method:'POST',headers:{'Content-Type':'application/json'},body:JSON.stringify(data)});const j=await r.json();if(!r.ok||j.error)throw new Error(j.error||'Lỗi');if(st)st.textContent='Đã đăng lên Tường AI';await refreshAiWall();return j;}
 window.aiCreateTopic=function(){const v=(document.getElementById('ai-topic-input')?.value||'').trim();if(!v)return alert('Nhập chủ đề');postJson('/api/ai/topic',{topic:v}).catch(e=>alert(e.message));};
 window.aiCreateUrl=function(){const input=document.getElementById('ai-url-input');const v=(input?.value||'').trim();if(!v)return alert('Dán URL trước');if(!/^https?:\/\//i.test(v))return alert('URL cần bắt đầu bằng http:// hoặc https://');postJson('/api/ai/url',{url:v}).catch(e=>alert(e.message));};
-const oldLoad=window.loadHome;if(typeof oldLoad==='function'){window.loadHome=async function(){const keep=currentInputs();await oldLoad.apply(this,arguments);setTimeout(()=>refreshAiWall(),50);};}
+const oldLoad=window.loadHome;if(typeof oldLoad==='function'){window.loadHome=async function(){await oldLoad.apply(this,arguments);setTimeout(()=>refreshAiWall(),50);};}
 setTimeout(refreshAiWall,1200);
 })();
 </script>
 '''
 
-@app.get("/")
+@app.get('/')
 async def index_ai():
-    with open("/app/static/index.html", "r", encoding="utf-8") as f:
-        html = f.read()
-    return HTMLResponse(html.replace("</body>", AI_INJECT + "\n</body>"))
+    with open('/app/static/index.html','r',encoding='utf-8') as f:html=f.read()
+    return HTMLResponse(html.replace('</body>',AI_INJECT+'\n</body>'))