登录
主页
 文章
分布式爬虫架构（StormCrawler）
StormCrawler运用Apache Storm技术打造的应用型分布式爬虫架构，专为大规模实时并行网络数据的处理而设计。它能够高效地抓取大量网页数据，并提供了可扩展的架构，适用于大规模的数据采集任务。通过利用Storm的分布式计算特性，StormCrawler可以在多个节点上并行运行，大大提高了爬虫的速度和效率。
2025-01-07
1161
2
5
基于Java的快速开发框架（Diboot）
Diboot是一个基于Java的快速开发框架，主要用于简化企业级应用开发的流程。它采用了一系列的设计模式和技术，帮助开发者更高效地构建高质量的Web应用、后端服务等各类软件系统。例如，在开发一个包含用户管理、权限控制、数据存储和展示等功能的企业资源规划（ERP）系统时，Diboot可以发挥很大的作用。其2.2.0版本在IAM模块增加了组织架构管理、岗位管理、数据权限控制等功能，可通过简单的配置和代码生成，实现对数据权限的精细化管理。
2025-01-07
641
8
9
统一身份认证授权管理（ArkID）
ArkID是一个用于统一身份认证和授权管理的系统。它的主要目的是在复杂的企业级或多系统应用环境中，对用户的身份进行集中验证，并对用户访问各种资源的权限进行精细的管理。例如，在一个大型企业中有多个不同的业务系统，如人力资源管理系统、财务管理系统、客户关系管理系统等。员工需要使用不同的账号和密码来访问这些系统，这不仅麻烦，而且存在安全隐患。ArkID可以将这些分散的身份认证整合起来，员工只需要使用一组账号和密码（单点登录）就可以访问所有授权的系统。支持LDAP、OAuth2、SAML、OpenID等多种标准协议，具有细粒度权限控制和完整的WEB管理功能。
2025-01-07
1079
0
12
全球地址地籍图库（OpenAddresses）
OpenAddresses是一个全球性的开源库，汇集世界各地的地址、地籍图以及建筑轮廓数据来源，采用现代化的Git协作模式管理和更新，数据免费且可供广泛使用，可为地图应用、物流配送、智慧城市等众多场景提供基础数据.构建一个数据仓库，让任何人都能轻松获取地址、地籍图以及建筑轮廓等信息，推动开放数据的发展，并激发创新。OpenAddresses的数据来源广泛，包括政府机构、地理信息公司、社区组织和个人贡献等，且以Markdown格式记录了各个数据集的信息，包括链接和覆盖区域描述。
2025-01-06
947
6
5
网络爬虫框架（Scrapy）
Scrapy是一个完整的网络爬虫框架，不仅可以进行网页抓取，还能对抓取到的数据进行处理和存储。支持使用CSS选择器和XPath表达式来提取数据，可将数据以多种格式（如CSV、JSON、XML）导出。基于Twisted框架构建，具有异步I/O机制，能够同时处理多个网页请求，大大提高了爬取效率。
2025-01-06
819
9
7
开源网络入侵检测和防御系统（Suricata）
Suricata 是一个高性能的开源网络入侵检测和防御系统（IDS/IPS），由 Open Information Security Foundation（OISF）开发。它能够实时分析网络流量，识别和防御各种网络攻击，提高网络环境的安全性。支持入侵检测系统（IDS）、入侵防御系统（IPS）和网络安全监控（NSM）等多种功能。
2025-01-05
998
2
13
开源安全监控平台（Wazuh）
Wazuh是一个开源的安全监控平台，其核心是轻量级的端点代理，可部署在需要监控的系统上实时收集关键安全数据，并传输到中央管理服务器。该服务器具备深入的分析能力，能通过规则引擎识别潜在安全威胁和异常行为，还可与Elastic Stack无缝集成，提供强大的搜索和数据可视化功能，可用于入侵检测、日志数据分析、文件完整性监控、漏洞检测等多种安全监控场景。
2025-01-05
988
9
6
开源大数据安全监控与分析平台（Apache Metron）
Apache Metron集成了多种开源大数据技术的安全监控与分析平台，基于Kappa架构，使用Apache Storm作为处理组件，Apache Kafka作为统一数据总线。能够以极高的速度捕获和存储任何类型的安全遥测数据，实时应用威胁情报、地理位置和DNS信息等丰富数据，为收集的遥测数据提供上下文和情境意识，从而实现快速检测和响应高级安全威胁，适用于企业、政府机构、金融机构等需要强大安全分析能力的大数据环境。
2025-01-04
661
2
6
开源知识库管理系统（BookStack）
BookStack是一个开源的知识库管理系统，具有简洁的界面和易于使用的编辑器，支持 Markdown 语法，可方便地创建和编辑文档，提供了版本控制、搜索功能和权限管理等基本功能。适用于小型团队和个人进行知识管理和文档共享，尤其适合对知识库的结构和功能要求不高的用户。
2025-01-04
1000
2
12
如何提高（ArcFace）人脸图像特征提取的准确率
ArcFace 是一种先进的人脸识别技术，专注于人脸图像特征提取。核心是通过深度神经网络将人脸图像映射到一个高维特征空间，在这个空间中，同类人脸（属于同一个人的人脸）的特征距离较近，不同类人脸（属于不同人的人脸）的特征距离较远，从而实现高效准确的人脸识别。
2025-01-03
647
7
4
开源的数字存储库（DSpace）
DSpace专为学术机构、图书馆、博物馆等组织设计，用于收集、保存和共享学术成果与研究数据。支持开放获取原则，具有高度可定制性和强大的社区支持，提供灵活的访问控制机制。主要适用于学术机构、图书馆、博物馆、研究中心等，用于管理和发布学术资源、文化遗产、研究数据等。
2025-01-03
643
0
11
安全内容自动化协议框架（OpenSCAP）
Open Security Content Automation Protocol（OpenSCAP）是一个用于安全内容自动化协议（SCAP）的开源框架，它提供了一套标准化的方法和工具，用于评估和管理系统的安全性。OpenSCAP可以对操作系统、应用程序和网络设备等进行安全配置检查、漏洞扫描和合规性评估，依据不同的安全标准和策略，生成详细的安全报告和建议，帮助企业确保其信息技术系统符合相关的安全要求和法规标准。
2025-01-02
547
2
1
证书和密钥管理软件（XCA）
XCA是一款功能全面的开源且跨平台的证书和密钥管理软件，具有直观易用的图形化用户界面。支持创建、导入和导出证书，管理证书吊销列表，颁发证书签名请求，创建和管理自签名根证书和中间证书机构，密钥对生成与管理等功能，适用于企业内部PKI/CA系统搭建与管理、为应用程序和服务颁发可信证书、测试与开发环境的证书管理、私有云环境中的安全通信以及IoT设备的安全认证等场景。
2025-01-02
777
1
11
元数据管理工具（LinkedIn WhereHows）
WhereHows提供对结构化和非结构化元数据的全面管理，具有强大的数据目录和搜索功能，便于数据发现和使用，由LinkedIn开源，拥有强大的社区支持和文档资源。适合需要全面元数据管理和数据目录功能的公司，尤其是大型互联网企业或拥有海量数据的企业。提供了直观的Web界面，用户可以通过浏览器访问该平台，进行数据发现、血缘查看、注释、讨论等操作。界面简洁易用，方便非技术人员也能快速上手。
2025-01-02
542
4
14
身份和访问管理解决方案（Keycloak）
Keycloak是一个开源的身份和访问管理解决方案，适用于现代应用程序和服务。项目地址：https://www.keycloak.org/提供强大而灵活的身份验证和授权机制，可轻松集成到各种应用程序中；支持单点登录，用户一次登录可在多个关联系统间无缝切换；允许管理员对用户进行有效管理，并提供自定义认证流程以满足特定业务需求。
2025-01-01
1185
6
3
开源身份验证框架（Supertokens）
Supertokens是一个开源的身份验证框架，可简化现代Web和移动应用的用户认证流程，确保数据安全性。使用最新安全标准，如HTTPS、JWT签名以及防止CSRF攻击的方法；支持多种编程语言和框架，如Node.js、Python、React、Vue等；结合了电子邮件验证、密码验证和社交登录，提供全面的身份验证解决方案；通过JWT令牌进行无状态会话管理，减轻服务器负担。
2025-01-01
1069
3
6
数据目录和元数据管理（Metacat）
Metacat是一个开源的数据目录和元数据管理工具，它能够有效地处理和管理跨多种数据源和数据存储系统的元数据。其设计目的是帮助企业构建一个统一的数据目录，使得数据使用者能够更容易地发现、理解和使用数据。Metacat能与多种数据库、数据仓库和数据湖集成，支持复杂的数据生态系统。提供丰富的API，便于开发者进行二次开发和系统集成，支持多种元数据存储方式。
2024-12-31
1042
2
13
中央认证服务（CAS）
Central Authentication Service（CAS）即中央认证服务，是由耶鲁大学发起的企业级开源项目，采用Java语言编写，使用Apache2.0协议，为Web应用系统提供可靠的SSO解决方案。支持CAS v1、v2和v3协议，以及SAML v1和v2协议、OAuth v2协议、OpenID & OpenID Connect协议等；支持通过JAAS、LDAP、RDBMS、X.509等多种组件进行身份验证；支持将身份验证委派至WSFED、Facebook、Twitter等服务来完成；支持通过ABAC、Time/Date等进行授权控制。
2024-12-31
871
7
3
数据资源管理系统（CKAN）
CKAN（Comprehensive Knowledge Archive Network）是一个开源的数据管理系统，主要用于发布、共享和管理数据资源。它提供了一个集中式的平台，使得政府机构、企业、研究机构和社会组织等能够有效地组织和利用数据。从本质上讲，CKAN就像是一个数据仓库，但是它更侧重于数据的发现、共享和协作。它可以存储各种类型的数据，包括但不限于数据集（如统计数据、地理信息数据）、文档（如数据字典、数据使用手册）和链接（指向外部数据资源的链接）。
2024-12-31
943
5
13
数据科学平台（Nebari）
Nebari是一个开源的数据科学平台，构建于可扩展性和协作性之上，集成了JupyterHub和Dask Gateway等工具，利用Terraform、Helm、GitHub Actions等技术，可应用于学术研究、企业级数据平台、教育机构、高性能计算等场景。一、技术架构1.基于Kubernetes：Nebari利用Kubernetes强大的容器编排和管理能力，实现对计算资源的高效调度和管理，确保平台在大规模数据处理和多用户并发访问时的稳定性和可靠性。
2024-12-31
928
5
12
- -
© 2021 - 现在 杭州极深数据有限公司 版权所有 联系我们 
浙公网安备 33018302001059号  浙ICP备18026513号-1号