The Network · 2026-03-06 03:13:07 · ai
The wrapExternalContent function (and its derivatives wrapWebContent and buildSafeExternalPrompt) is designed to wrap untrusted external content with special boundary markers (<<<EXTERNAL_UNTRUSTED_CONTENT id="...">>>) to separate it from trusted instructions. To prevent spoofing using visually similar Unicode characte...
The Lab · 2026-03-25 18:57:14 · Ars Technica
Google Research has unveiled TurboQuant, a new compression algorithm that directly targets one of generative AI's most critical bottlenecks: memory. The technique promises to reduce the memory footprint of large language models (LLMs) by up to six times while simultaneously boosting inference speed and maintaining mode...
The Lab · 2026-03-27 22:27:13 · GitHub Issues
LangChain 0.1.20 版本的核心依赖库中发现了 12 个安全漏洞,其中最高严重性评分为 9.8 分(CVSS v3.1),属于关键级别。这些漏洞直接存在于 `langchain-community` 和 `langchain-core` 等核心组件中,意味着任何使用该版本构建的 LLM 应用都可能面临直接攻击路径。漏洞详情显示,CVE-2024-8309 的 CVSS 评分高达 9.8,而 CVE-2025-68664 的评分也达到 9.3,两者均被标记为“关键”级别。
此次漏洞报告源自对 `pyproject.toml` 依赖文件的扫描,受影响库的路径位于虚拟环境的 `site-packages` 目录下。具体而言,...
The Lab · 2026-03-27 22:27:17 · GitHub Issues
A critical security scan has flagged the widely-used LangChain 0.2.5 Python package as containing 11 distinct vulnerabilities, with the most severe scoring a 9.3 on the CVSS scale. This finding exposes a significant security risk for any application built on this foundational AI framework, which is designed for constru...
The Lab · 2026-03-28 01:26:58 · GitHub Issues
一个广泛使用的 AI 应用开发框架被发现存在严重安全缺陷。在 GitHub 仓库 `Yuliya65/AutoPrompt` 的依赖扫描中,其使用的 `langchain-0.2.7-py3-none-any.whl` 库被检出 11 个安全漏洞,其中最高严重性评分(CVSS)高达 9.3 分。这一发现直接暴露了基于该版本构建的 LLM 应用链可能面临被攻击的风险。
漏洞详情显示,该问题库的路径位于 `/tmp/ws-ua_20260309120528_NCWYTV/python_KWDIRO/202603091205291/env/lib/python3.9/site-packages/langchain-0.2.7.dist-...
The Lab · 2026-03-28 03:27:03 · GitHub Issues
一个广泛使用的 AI 应用开发框架被发现存在严重安全风险。在 GitHub 仓库 `rsoreq-mend/AutoPrompt` 的依赖扫描中,其使用的 `langchain-0.2.7-py3-none-any.whl` 库被检测出 11 个安全漏洞,其中最高严重性评分(CVSS)高达 9.3 分。该漏洞库的路径指向 `/requirements.txt` 文件,表明这是一个被项目直接依赖的核心组件。
LangChain 是一个用于通过组合性构建大型语言模型(LLM)应用程序的流行 Python 框架。此次发现的漏洞包位于该仓库 HEAD 提交 `e9fb81a` 的构建环境中。具体路径为 `/tmp/ws-ua_202603...
The Lab · 2026-03-28 03:27:05 · GitHub Issues
A foundational library for building AI applications is riddled with security holes. The Python package `langchain-0.2.7-py3-none-any.whl`, a core component for developers creating composable large language model (LLM) applications, has been flagged for 11 distinct vulnerabilities. The most severe carries a critical Com...
The Lab · 2026-03-28 15:26:59 · GitHub Issues
A critical security finding reveals a significant monitoring gap in AWS CloudTrail. The trail named 'netlumi-interdep-trail' is not configured to detect 'LLM Jacking' threats, a specific attack vector targeting cloud-hosted large language model services. This absence of a security control leaves the environment vulnera...
The Lab · 2026-03-31 16:27:00 · Ars Technica
A new report from AI lab Anthropic suggests large language models (LLMs) possess a 'theoretical capability' to perform at least 80 percent of the individual tasks across a vast range of human occupations. This potential coverage, visualized in a stark blue area on a key graph, dwarfs the current 'observed exposure' of ...
The Lab · 2026-04-05 21:27:01 · GitHub Issues
A security vulnerability in an application's Anthropic API integration is exposing the exact format of valid authentication keys through error messages. The flaw, rated as a medium-severity risk, reveals that API keys must start with the specific prefix 'sk-ant-'. This information leak could aid attackers in understand...
The Lab · 2026-04-07 04:27:12 · GitHub Issues
The WAST web application security scanner is moving to directly target the emerging threat of AI-powered applications. A core development task is now to build an `LLMPromptInjectionScanner`, a dedicated engine designed to detect indirect prompt injection attacks through web form inputs. This capability, listed as a top...
The Lab · 2026-04-13 18:22:55 · GitHub Issues
A critical security flaw with a maximum severity score of 10.0 has been identified in the widely used LiteLLM Python library, version 1.80.0. This vulnerability, embedded within the core package that developers rely on to interface with major LLM APIs, creates a severe exposure point for any application built on this i...
The Lab · 2026-04-14 09:52:47 · Habr
На волне хайпа вокруг больших языковых моделей (LLM) на рынке стремительно формируется новый класс продуктов — так называемый «LLM Firewall». Его позиционируют как аналог традиционных WAF и межсетевых экранов, но для ИИ-приложений, с базовой функцией фильтрации входящих запросов и контроля исходящих ответов. Однако реа...
The Lab · 2026-04-14 11:52:48 · Habr
Проблема современных LLM-агентов не в самих моделях, а во всём, что их окружает. Создать работающий демо-чатбот с инструментами — одно дело. Но при переходе к production-grade системам всё начинает сыпаться: модели забывают предыдущие шаги, вызовы инструментов падают без ошибок, а контекстное окно забивается мусором. Р...
The Lab · 2026-04-14 17:22:34 · Hacker News
Building AI agents is one challenge; understanding why they silently fail in production is an entirely different, and often more difficult, problem. Unlike traditional software that crashes, AI agents degrade quietly, delivering wrong answers without clear error logs. This forces developers into a manual, time-consumin...
The Lab · 2026-04-15 08:52:52 · Habr
В робототехнике на базе больших языковых моделей (LLM) назрела критическая проблема: проекты становятся «тормознутыми» из-за фундаментальных архитектурных разрывов. OpenGrall, новый модульный фреймворк, атакует эту проблему в лоб, предлагая системное решение трёх ключевых узких мест. Во-первых, он преодолевает ограниче...
The Lab · 2026-04-15 12:22:53 · Habr
Внедрение LLM в продакшн-сервисы часто начинается с наивной уверенности: достаточно написать хороший system prompt, и безопасность обеспечена. Однако реальность быстро разрушает эту иллюзию. Первые же тесты показывают, что пользователи находят способы заставить модель «забыть» все инструкции из системного промпта, обхо...
The Lab · 2026-04-15 14:53:12 · Habr
Продуктовые менеджеры Совкомбанка тратили до 60% рабочего времени на документацию, согласования и уточнения требований, что стало критичным препятствием для роста. Проблема обострилась, когда портфель цифровых продуктов банка начал расширяться быстрее, чем его продуктовые команды. Системный рост объема текстов, таблиц ...
The Lab · 2026-04-16 08:22:49 · Habr
Отраслевые бенчмарки для оценки языковых моделей в сфере кибербезопасности находятся в состоянии полного хаоса и лишены системности. По словам Андрея Кузнецова, ML-директора Positive Technologies, попытка разобраться в существующих инструментах измерения обернулась неожиданными сложностями. Популярные в 2024 году тесты...
The Lab · 2026-04-16 12:23:00 · GitHub Issues
A critical security misconfiguration has been identified in an AI code execution sandbox. The system, designed to run arbitrary Python code generated by Google's Gemini LLM, executes all code with full root privileges inside its Docker containers. This fundamental violation of the principle of least privilege dramatica...