这是高信息技术和社交网络的数字化的时代。
有人喜欢它,有人不喜欢,有人试图隐藏真实身份信息,不会出现在任何社交网络中、删除所有密码和注册。想要做到这点正在变得越来越难。
然而,事实上,您可以使用 OSINT 技术找到有关每个用户的任何信息,这一事实首先得到了20世纪50年代美国间谍机构的公开证实。
今天的互联网速度更快了、更容易获得想要的东西。正如您所知,你可以找到几乎一切 —— 只要您擅长搜索。
但最重要的问题是,它还给我们带来了什么 —— 好处还是麻烦?
毕竟,事实证明,我们没有多少选择的权利,也没有机会在网络中被忽视。甚至一个孩子都可以应对“电话号码搜索”这样的简单任务。
每年 OSINT 技术的可能性都会快速增长、并变得真正无限!
想想普通用户在互联网上都干了什么。你就能知道 OSINT 可以多强大。
以下是 Domo Data Never Sleeps 5.0 的统计数据,*仅仅*每分钟 —— 请注意是每分钟:
– Snapchat 发布 527,760 张照片;
– 超过 120 位专业人士加入领英;
– YouTube 用户正在观看 4,146,600 个视频;
– 向 Twitter 发送了 456,000 条推文;
– Instagram 上有 46,740 张新照片出现 ……
是每分钟。而且仅仅是社交媒体。
然后还有电子邮件、在线支付、数百个热门应用程序、云存储、工作站点和服务等等,这使得开源调查可以在搜索和处理任何信息方面拥有无限的可能性。
但是,人们尚未完全考虑搜索引擎的吸引力 —— 全球每天50亿的最新数据!
普通的网络搜索和 OSINT 技术之间的主要区别在于方法的深度、以及各种方法和算法的可用性。
这些方法和算法可以帮助我们实现任何任务:检测网络上用户的数字足迹、进行深度调查、追踪其数字关系链……
可以根据搜索任务和您拥有的初始数据使用它们。
1.确定您拥有的源信息(照片、姓名、电子邮件地址、电话号码等);
2.确定您想要了解的最终目标;
3.借助某些服务收集网络信息;
4.分析和反向查找收到的信息;
5.使用新接收的数据返回搜索;
6.确认假设、或获得新假设。
OSINT 技术与互联网上的简单搜索有何不同?
不同在于:普通的搜索将在 OSINT 功能刚刚开始的地方结束。
对于 OSINT 技术,没有统一的方法和模式化的调查算法,每个案例都是独特的,需要一个单独的方法。也就是说需要您的经验+创造力。
这不是能够通过讲座传授的。
您需要不断参考成功的演示案例、积极研究新工具的使用技巧、以及最重要的是,不断尝试挑战自己。
在这里看到工具箱《超级情报收集工具库:开源验证和调查工具及使用方法》;在我们的 OSINT 栏目看到很多操作案例演示《OSINT》—— 不断更新中。
get到思考方式很重要,而不是工具,思考方式能帮助您知道什么时候使用什么工具是最好的。
本文只介绍搜索引擎。也就是贯穿 OSINT 的一条主线。
搜索引擎不一定是谷歌,虽然谷歌的确很强大,但需要根据您的调查目标,选取最适合的搜索引擎 —— 尤其是,如果您的调查内容非常敏感,您肯定不会希望在调查结论实现变革目标之前被当局抓到。
也就是说,隐蔽性是您首先应该考虑的内容。
本手册将把隐私放在第一个。
面向隐私的搜索引擎
什么是“面向隐私”:意思是它们不会出卖你,不会记录你的动作,也没有什么可以提供给警察和间谍的。至少是这样承诺的。
- DuckDuckGo:在线调查人的常用,在Tor浏览器搜索。
- Startpage:从 Google 获取结果但是不跟踪其用户。
- Peekier:面向隐私的搜索引擎,使用自己的搜索算法获取结果。
- Qwant:总部设在法国的家伙。
- Oscobo:总部设在英国家伙。
- Swisscows:瑞士的隐私安全 WEB 搜索。
- Privatelee:私密搜索网络和图像。
- Gigablast:开源的搜索引擎。
- Gibiru:未经审查的匿名搜索引擎。
元搜索引擎
什么是元搜索引擎:元搜索引擎又称集合型搜索引擎,将多个单一搜索引擎集成在一起,提供统一的检索界面,将用户的检索提问同时提交给多个独立的搜索引擎,同时检索多个数据库;并根据多个独立搜索引擎的检索结果进行二次加工,如对检索结果去重复、排序等。
- Excite
- Search
- MetaGer
- Zapmeta
- etools: 汇总主要国际搜索引擎的结果,不收集不共享其用户的个人信息,保护用户隐私。此搜索引擎非常快,并显示每个搜索查询的摘要 —— 在右侧 —— 详细说明其结果的来源。
- All the interne: 查询主要搜索引擎,包括亚马逊和eBay等购物网站。
- izito: 汇总来自多个来源(Yahoo,Bing,Wikipedia,YouTube 和其他网点)的数据,以生成包括图像、视频、新闻和文章在内的最佳结果。
- Metacrawler: 来自 Google 和 Yahoo 的汇总结果。
- My all search: 通过 Bing、DuckDuckGo、AOL Search、Ask、Oscobo、Mojeek、ZapMeta、MetaCrawler 汇总结果。
- Carrot2: 开源;聚合结果来自 GoogleAPI、Bing API、eTools Meta Search、Lucene、SOLR 等。
- elocalfinder: 从 Google、Yahoo!、Ask 和 Bing 获取结果。
- Opentext: 元搜索引擎基于 Google、Yahoo!、Ask、Bing、Wikipedia 和 Open Directory。
- All-in-One
- Searx
FTP搜索引擎
什么是FTP搜索引擎:是指专门用于搜索网络上匿名 FTP 服务器上各类文件的搜索引擎。FTP 搜索引擎相对 WWW 搜索引擎来说,并不提供摘要,一般仅提供文件的名称、类型、大小、URL 等信息。
文件搜索引擎
此工具使用可以轻松搜索各种非 HTML(标准网页)文件格式。某些文件通常用于不同目的,您需要事先知道您要找的是什么格式。
图片搜索引擎
社交媒体网站共享的图片:
- Lakako
- Flickr
- Flicker map:
- My Pics map: 在 Google 地图上查看 Flickr 照片。
- idGettr: 查找 Flicker ID账号,也可搜群组。
- Flickr Hive Mind: 用于 Flickr 摄影数据库的数据挖掘工具。
- Websta: 高级搜索 Instagram 网站。
- Stalkture: Instagram 的在线Web查看器。
- Mininsta: 高级搜索 Instagram。
在专门的网站和新闻媒体上出现的图像:
- Gettyimages: 包含来自新闻、娱乐、时尚、体育和档案的图像。
- Reuters pictures
- News press
- Associated Press images portal
- PA images
- European pressphoto agency
- Canadian Press images archive
反向图像搜索(除了谷歌之外还有):
- Karmadecay
- TinEye
- REVERSE IMAGE SEARCH
- Imagebrief
- Cam finds App: 这是适用于 Android 和 Apple 设备的应用程序。它使用视觉搜索技术识别上传的图片,并提供相关图像和大量网络搜索的即时结果。
- Image Identification Project
物联网(IoT)设备搜索引擎
- Shodan: 它是该功能领域的鼻祖。至今都是非常好用的。
- ZoomEye
- 123cam
- Airport webcams
- Insecam
- Lookr
- Earthcam
- Openstreetcam
- Opentopia
- Pictimo
- Reolink — list of unsecured cameras
- The webcam network
- Thingful
- Thingiverse
- Webcam.nl (NL)
- Webcams.travel
- Worldcam
- censys
搜索漏洞利用:
新闻/报纸搜索引擎
- 1stHeadlines: 突发新闻
- Google News Archive
- Google Newspaper Archive
- News Now
- Newspaper Archives: 报纸档案 1607–2017年。
- All you can read
- Newspapers Search
- Findmypast: 美国和世界历史报纸档案(中国、丹麦、法国、德国、牙买加、和南非也可在该集合中搜索)。
- Daily Earth
- Search U.S. Newspaper Directory, 1690-Present
- Newspaper Map
- World News
- The paperboy
- Newsography: 国际关系和武装冲突全球新闻聚合器和历史数据库。
- Online Newspapers: 全球在线报纸目录。
- YouGotTheNews: 搜索数以千计的国家、企业和本地新闻来源。
- Library of Congress Newspapers directory & 100 Years Ago Today: 使用美国国会图书馆的这两个链接搜索美国报纸,1690年至今。
利基搜索引擎
- Secret Search Engine Labs: 向您展示主流搜索巨头经常忽略的的搜索结果。
- AllAreaCodes: 电话和区号搜索
查专利的搜索引擎
- Google Advanced Patent Search Engine
- European Patent Office
- Israel Patent Office Database
- Norwegian Industrial Property Office
- Swedish Patent and Registration Office
- Switzerland
- Taiwan Intellectual Property Office
- Japan Patent Office
- World Intellectual Property Organization (WIPO)
- Korean Intellectual Property Rights Information Service (KIPRIS)
- State Intellectual Property Office (SIPO) of the People’s Republic of China
- Australia Patent Search
- Canadian Intellectual Property Office
- Danish Patent and Trademark Office
- Finnish Patent and Registration Office
- France Patent Search
- Germany Patent Office
- UK Patent Search Engine
- India Patent Office
- stopfakes: 美国商务部国际贸易管理局(ITA)负责管理 STOPfakes.gov,以协助美国企业在全球市场上的所谓知识产权。
- FreePatentsOnline: 专利元数据搜索引擎。
- Patent Lens
- Directory of Intellectual Property Offices Worldwide
灰色文献搜索引擎
什么是灰色文献:是指介于正式发行的白色文献、和不公开出版并具有隐密性的黑色文献之间的文献,即 虽已出版但难以使用一般方式获得。
目前对灰色文献的定义多取自1997年举行的“第三次国际灰色文献会议”中所提出的:不经营利出版者控制的,而由各级政府、学术单位、工商业界所产制的各类印刷与电子形式的资料。
想搜索重要的东西使用以下搜索引擎:
- Academia
- Academic index
- Academic torrents
- American Doctoral Dissertations
- ArchiveGrid
- Google scholar
- Bielefeld academic search engine
- Archive portal Europe
- Social Science Research Network
- National library of Australia
- ScienceDirect
- PQDT Open
- The national archive of the United Kingdom
- Oxford academic
- Page Press
- CERN Document Server
- High wire
- Grey guide
- Beyond citation
- Crossref
透明度革命网站
- WikiLeaks
- Cryptome
- GlobaLeaks: 开源自由软件,旨在实现安全和匿名的揭露。
- BalkanLeaks: 这是 Wikileaks 最成功的复制品。我们介绍过它,详见《与中国何其相似,巴尔干解密喜忧参半》
- Al Jazeera’s Investigative Unit: 这是阿拉伯国家的透明度革命。
—— 社交媒体情报 ——
《什么是社交媒体情报?你的推特如何成为抓捕你的理由?》这里面有介绍。这种东西不仅警察和间谍能用,也是 OSINT 的重要工具。
以下推荐的都是工具,只要您能正确使用,它们很有效但也很危险。请不要恶意使用(当然,恶意者长期研究这些,他们对此非常熟悉)
本手册介绍它们是为了隐私保护者,如果您不希望被 doxing 和 trolling,不希望因网上言论而入狱,请根据我们的《大清洗》指南中介绍的思路,搜索自己,并移除有可能会令您陷入危险的信息。
Facebook 的:
(由于 Facebook 图谱搜索功能关闭,故至少四个最好用的搜索引擎失效。在这里看到原因《Facebook 正在令真相挖掘事业陷入困境》)
- Lookup ID: 查找 Facebook个人 ID /群组 ID /页面 ID。
- FindMyFbid: 查找 Facebook 个人数字ID。
- Facebook Search Tool: 在Facebook上进行高级搜索。
- LikeAlyzer: 分析和监控 Facebook 页面。
- Face Live: Facebook 直播视频搜索。
- Wallflux: 提供 RSS feeds, Facebook 群组和页面中最近帖子的更新。
- Facebook People/Pages/Places name directory
- Information for Law Enforcement/Authorities when seeking information from Facebook
- Who posted what?: Facebook 关键字搜索生成器。它搜索 Facebook 帖子并可以将结果限制在特定日期。
- ExtractFace: 自动从 Facebook 个人资料中提取数据。
Twitter 的:
- Twitter search home
- Twitter advanced search page
- Twitter Deck
- All My Tweets: 查看任何 Twitter 帐户发布的所有公开推文。
- Trendsmap: 展示世界各地的 Twitter上最受欢迎的趋势、主题标签和关键字。
- Foller: 分析 Twitter 帐户(个人资料公开信息、推文和粉丝数量、主题、标签、提及等等)。
- First Tweet: 查找任何搜索关键字或链接的第一条推文。
- Social bearing: 分析 Twitter 帐户。
- Twitter Email Test
- Twicsy
- Follower wonk
- Sleeping Time: 预测 Twitter 上任何人几点睡觉(这也有用?是的,比如钓鱼攻击,选取目标对象精力不足的时段下手胜算更大/ 或者研究目标人使用的时区结合其他线索以估计其地理位置)。
- Simple Twitter Profile Analyzer (Python script).
- Tag board: 在 Twitter、Facebook 上搜索主题标签。
- TINFOLEAK
- TET: 检查输入的电子邮件地址是否用于 Twitter 帐户。
- Spoonbill: 监控您在 Twitter 上关注的人员的个人资料变化。
- Export Tweet: 这是一个非常先进的 Twitter 分析服务,您可以下载生成的报告以供离线使用。要解锁完整功能,您需要付费。
LinkedIn 的:
- Recently Updated Profiles
- LinkedIn Contact Extractor
- LinkedIn Résumés
- LinkedIn People Finder (International)
Instagram 的:
- INK361
- iconosquare
- picodash: 一个强大的搜索引擎,可以探索 Instagram 和 Twitter 的照片、视频、用户和位置。
- ToFo
Reddit 的:
- metareddit: 搜索 subreddits.
- Mostly Harmless: 查找您当前正在查看的页面,看看它是否曾经提交过 reddit。
- redditarchive
- Reddit Enhancement Suite: Google Chrome加载项。
- reddit investigator: 调查 Reddit 用户。
- reddit metrics: 用于跟踪 reddits 用户统计信息、并发现 reddit 上发展最快的社区。
- atomiks: 分析 Reddit 用户。
- SnoopSnoo: 深入了解任何 reddit 用户的活动。
- Reddit Comment Search: 搜索特定 reddit 用户的评论。
社交媒体心理分析工具
我们做过这样的演示,《情感分析:如何在社交网络上抓取并分析大众对某些话题的情绪?》以及《对特朗普推文的情感分析: Python 2019-10-25